Constats
Ce que les essais montrent au-delà du classement. Chaque titre de cette page est calculé à partir des résultats publiés : il reste vrai quand des modèles s’ajoutent.
Lire l’écriture n’est pas connaître les mots
Chaque ligne est un modèle, de sa capacité à passer des lettres tifinagh aux lettres latines (à gauche) à sa connaissance des mots (à droite). Presque tous les modèles maîtrisent l’alphabet, mais peu connaissent le vocabulaire.
Tous les modèles lisent le tifinagh mieux qu’ils ne l’écrivent
Tifinagh → anglais demande le sens d’un mot ; anglais → tifinagh demande au modèle d’écrire le mot lui-même. En moyenne sur les trois dialectes, le modèle médian obtient un score 3,5 fois plus élevé en lecture qu’en écriture.
- Écriture (anglais → tifinagh)
- Lecture (tifinagh → anglais)
| Modèle | Écriture (anglais → tifinagh) | Lecture (tifinagh → anglais) |
|---|---|---|
| GPT-6.1-Sol | 15,8 | 43,9 |
| GPT-6-Astra | 15,8 | 43,0 |
| Claude Opus 5.5 | 15,2 | 39,4 |
| GPT-6-Luna | 8,1 | 28,2 |
| DeepSeek v4.1 Flash | 8,8 | 24,8 |
| Claude Sonnet 5.5 | 5,1 | 20,7 |
| GLM 5.3 Flash | 5,1 | 18,8 |
| Claude Haiku 5.5 | 3,4 | 12,6 |
| MiniMax M3.1 Flash | 0,4 | 2,4 |
Le kabyle est le dialecte le plus facile pour tous les modèles
Score de sens dans chaque dialecte, les deux tâches de sens réunies. Lisez l’écart avec prudence : le lexique kabyle est le plus petit des trois et ses graphies tifinagh ont été générées à partir de l’écriture latine ; ce n’est donc pas tout à fait le même test.
- Amazighe standard marocain
- Tarifit
- Kabyle
| Modèle | Amazighe standard marocain | Tarifit | Kabyle |
|---|---|---|---|
| GPT-6.1-Sol | 21,1 | 23,3 | 45,2 |
| GPT-6-Astra | 20,4 | 23,4 | 44,4 |
| Claude Opus 5.5 | 15,8 | 22,1 | 44,0 |
| GPT-6-Luna | 9,8 | 10,9 | 33,8 |
| DeepSeek v4.1 Flash | 9,4 | 10,2 | 30,7 |
| Claude Sonnet 5.5 | 5,1 | 8,2 | 25,3 |
| GLM 5.3 Flash | 6,0 | 6,9 | 23,1 |
| Claude Haiku 5.5 | 2,4 | 4,7 | 16,9 |
| MiniMax M3.1 Flash | 0,9 | 1,3 | 2,0 |
Les conventions d’écriture font varier le score d’écriture jusqu’à 19 points, et le score TifinaghBench d’au plus 1
Les dictionnaires écrivent les mêmes sons de façons différentes, et le dictionnaire tarifit omet le schwa de façon irrégulière. La notation stricte n’accepte que la graphie du dictionnaire ; les scores officiels acceptent aussi les conventions standard. Cela sauve beaucoup de translittérations, mais presque aucun sens : un modèle qui ne connaît pas un mot ne gagne rien aux règles d’orthographe.
Score d’écriture
- Orthographe stricte
- Conventions acceptées
| Modèle | Orthographe stricte | Conventions acceptées |
|---|---|---|
| GPT-6.1-Sol | 77,5 | 96,5 |
| GPT-6-Astra | 77,7 | 96,4 |
| Claude Opus 5.5 | 77,6 | 96,0 |
| GPT-6-Luna | 70,8 | 88,3 |
| DeepSeek v4.1 Flash | 77,3 | 93,1 |
| Claude Sonnet 5.5 | 73,6 | 89,4 |
| GLM 5.3 Flash | 65,4 | 80,6 |
| Claude Haiku 5.5 | 70,1 | 81,3 |
| MiniMax M3.1 Flash | 48,5 | 56,5 |
TifinaghBench
- Orthographe stricte
- Conventions acceptées
| Modèle | Orthographe stricte | Conventions acceptées |
|---|---|---|
| GPT-6.1-Sol | 29,0 | 29,9 |
| GPT-6-Astra | 28,5 | 29,4 |
| Claude Opus 5.5 | 26,3 | 27,3 |
| GPT-6-Luna | 17,7 | 18,2 |
| DeepSeek v4.1 Flash | 16,3 | 16,8 |
| Claude Sonnet 5.5 | 12,3 | 12,9 |
| GLM 5.3 Flash | 11,7 | 12,0 |
| Claude Haiku 5.5 | 7,9 | 8,0 |
| MiniMax M3.1 Flash | 1,4 | 1,4 |
Les graphies tifinagh fausses sont rarement presque justes
Pour anglais → tifinagh, le taux d’erreur par caractère compte les modifications nécessaires pour atteindre une graphie acceptée, divisées par sa longueur. Sur l’ensemble des réponses, le modèle médian devrait changer 82 % des caractères : la plupart des réponses fausses sont un autre mot, pas une coquille.
| Modèle | Taux d’erreur par caractère |
|---|---|
| GPT-6.1-Sol | 66,3 % |
| GPT-6-Astra | 65,5 % |
| Claude Opus 5.5 | 67,8 % |
| GPT-6-Luna | 81,9 % |
| DeepSeek v4.1 Flash | 79,1 % |
| Claude Sonnet 5.5 | 81,7 % |
| GLM 5.3 Flash | 87,5 % |
| Claude Haiku 5.5 | 86,7 % |
| MiniMax M3.1 Flash | 90,9 % |