Lancez-le sur votre modèle

• Node.js 22.13 ou plus récent
• Au moins un harnais installé et connecté : Codex, Claude Code ou OpenCode
• Claude Code pour le juge officiel, Claude Haiku 5.5
• Les jeux de données (voir ci-dessous)

Les jeux de données ne sont pas encore publiés : nous attendons l’autorisation des ayants droit des dictionnaires. D’ici là, la CLI a besoin de votre propre copie au format documenté. Format attendu des jeux de données

La CLI demande le harnais, le modèle, les dialectes, les tâches, le juge et la taille d’échantillon, puis affiche la progression en direct.

git clone https://github.com/Itri-Cloud-Labs/TifinaghBench.git
cd TifinaghBench/cli
npm install
npm run dev

Les essais du classement utilisent exactement ces réglages ; seuls le harnais, le modèle et le niveau de raisonnement changent. Les questions sont groupées par 100 mots par session, ce qui fait tenir un essai complet dans un abonnement à 20 $.

npm run build
node dist/cli.js \
  --harness=<codex|claude-code|opencode> \
  --model=<model id> \
  --reasoning=<level> \
  --dialects=ircam,tarifit,kabyle \
  --tasks=tif-to-en,en-to-tif,transliterate \
  --judge-harness=claude-code --judge-model=claude-haiku-5-5 \
  --sample=1000 --batch-size=100 --seed=1 -y

Si un essai s’arrête sur une limite d’usage, relancez la même commande une fois la limite réinitialisée : il reprend là où il s’était arrêté.

Les résultats complets citent les dictionnaires : seul l’export sans contenu peut être publié.

node dist/cli.js --export-public results/<run folder> \
  --output ../results/<run folder>

Ouvrez une pull request qui ajoute le dossier exporté à results/. Le classement et ce site se reconstruisent à partir de lui.

Ouvrir le dépôt