Aller au contenu
TifinaghBench

ⴰⵣⵓⵍAzul ! C’est « bonjour » en amazigh.

Quels modèles d’IA connaissent l’amazigh ?

Nous testons à quel point les modèles d’IA connaissent les mots amazighs écrits en tifinagh, dans trois dialectes, sans dictionnaire ni recherche web pour les aider.

Les meilleurs répondent juste à environ 3 questions sur 10 : GPT-6.1-Sol et GPT-6-Astra, avec 29,9 sur 100.

Classement

Qu’est-ce que le score TifinaghBench ?
À quel point un modèle connaît les mots amazighs, de 0 à 100. Il fait la moyenne de deux tâches dans trois dialectes : dire ce que veut dire un mot en tifinagh, et écrire un mot anglais en tifinagh. 30, c’est environ 3 bonnes réponses sur 10.
Que veut dire ± ?
La marge d’erreur. Chaque modèle a répondu sur 1 000 mots par dialecte : avec un autre échantillon, le score pourrait bouger d’environ autant. Deux modèles plus proches que leurs marges combinées sont à égalité.
Que veut dire ex æquo ?
L’écart entre ces modèles est plus petit que la marge d’erreur : on ne peut pas dire lequel est meilleur. Ils partagent le rang.
Qu’est-ce qu’un harnais ?
L’application dans laquelle le modèle a tourné : Codex, Claude Code ou OpenCode, les assistants de code que l’on utilise au quotidien. Outils et recherche web étaient désactivés.
Qu’est-ce que le raisonnement ?
Le temps de réflexion accordé au modèle avant de répondre. Un réglage plus élevé réfléchit plus longtemps et coûte plus cher.
  1. 1ex æquo: Rang partagé : l’écart avec le modèle à égalité reste dans le bruit de mesure.
    GPT-6.1-Sol

    OpenAI · Codex · raisonnement élevé

    29,9± 1,0
  2. 1ex æquo: Rang partagé : l’écart avec le modèle à égalité reste dans le bruit de mesure.
    GPT-6-Astra

    OpenAI · Codex · raisonnement faible

    29,4± 1,0
  3. Écart net : 2,1 points sous le groupe précédent
  4. 3
    Claude Opus 5.5

    Anthropic · Claude Code · raisonnement élevé

    27,3± 1,0
  5. Écart net : 9,1 points sous le groupe précédent
  6. 4
    GPT-6-Luna

    OpenAI · Codex · raisonnement élevé

    18,2± 0,8
  7. Écart net : 1,4 points sous le groupe précédent
  8. 5
    DeepSeek v4.1 Flash

    DeepSeek · OpenCode · raisonnement élevé

    16,8± 0,8
  9. Écart net : 3,9 points sous le groupe précédent
  10. 6ex æquo: Rang partagé : l’écart avec le modèle à égalité reste dans le bruit de mesure.
    Claude Sonnet 5.5

    Anthropic · Claude Code · raisonnement élevé

    12,9± 0,7
  11. 6ex æquo: Rang partagé : l’écart avec le modèle à égalité reste dans le bruit de mesure.
    GLM 5.3 Flash

    Zhipu AI · OpenCode · raisonnement élevé

    12,0± 0,7
  12. Écart net : 4,0 points sous le groupe précédent
  13. 8
    Claude Haiku 5.5

    Anthropic · Claude Code · raisonnement élevé

    8,0± 0,6
  14. Écart net : 6,6 points sous le groupe précédent
  15. 9
    MiniMax M3.1 Flash

    MiniMax · OpenCode · raisonnement élevé

    1,4± 0,3

0–100, avec intervalle à 95 %.