Avant de raisonner pour un client, un modèle passe les tâches figées d'Umbodi : auditer une page, rédiger une correction, refuser d'inventer un chiffre, ignorer les instructions cachées dans un site, garder la langue du client. Chaque tâche est exécutée trois fois via le code d'Umbodi et notée par machine. Le tableau est mis à jour à chaque nouvel essai, et un modèle sous le seuil reste utilisable avec votre propre clé.
7 modèles · 4 atteignent le seuil · le seuil (essais · erreurs · après une réparation) : 90 · 0 · ≥95% · dernier essai 2026-10-14
Mesuré
| Modèle | Essai | Essais | Erreurs | Valide, sans réparation | Exact après une réparation | Latence médiane | Jetons produits, tous essais | Verdict |
|---|---|---|---|---|---|---|---|---|
| claude-haiku-4-5 | 2026-10-13 | 90 | 0 | 100% | 100% | 1.9 s | 31,242 | Réussi |
| myt/glm5.2 | 2026-10-13 | 90 | 0 | 100% | 100% | 2.3 s | 68,314 | Réussi |
| gemini/gemini-3.5-flash | 2026-10-14 | 90 | 0 | 100% | 100% | 6.4 s | 21,448 | Réussi |
| openai/gpt-5-mini | 2026-10-14 | 90 | 0 | 100% | 100% | 6.8 s | 114,364 | Réussi |
| myt/gemma-4-26b-a4b-it | 2026-10-12 | 39 | 1 | 97.4% | 97.4% | 4.5 s | 11,234 | Sous le seuil |
| myt/qwen3.6-35b-a3b | 2026-10-12 | 39 | 6 | 61.5% | 74.4% | 6.5 s | 63,383 | Sous le seuil |
| myt/deepseek-v4-flash | 2026-10-12 | 39 | 2 | 94.9% | 94.9% | 8.6 s | 42,339 | Sous le seuil |
Les modèles à moins de 90 essais ont été évalués sur un jeu antérieur de 13 tâches. Les jetons produits déterminent le coût d'un modèle ; les prix changent, ils ne sont donc pas affichés.
Trente tâches sont figées dans le dépôt, chacune avec ses éléments, sa consigne et une grille vérifiable par machine. Un essai réussit si la réponse est valide et respecte sa grille ; une réparation est permise et comptée à part.
Un modèle atteint le seuil avec 90 essais complets, aucune erreur et au moins 95 % d'exactitude après une réparation. Les clients voient le même verdict à côté de chaque modèle qu'ils peuvent choisir dans Umbodi.
Les notes sont des vérifications machine, pas une relecture humaine en aveugle, qui reste à faire. La latence est le temps réel entre la machine qui a lancé l'essai et le fournisseur.
Le dernier résultat de chaque modèle, avec le fichier d'essai d'origine, réutilisable librement avec mention sous licence CC BY 4.0 : model-benchmarks.json
Si un modèle IA peut faire le raisonnement d'Umbodi de façon fiable : trente tâches figées comme auditer une page, rédiger une correction, refuser d'inventer des chiffres et ignorer des instructions cachées, trois essais chacune, notées par machine.
Oui, avec votre propre clé : c'est votre choix. Umbodi l'indique sous le seuil, car certaines réponses peuvent être inutilisables, et ne vous bascule jamais vers un autre fournisseur sans vous le dire.
Chaque fois qu'un modèle est ajouté ou change. Chaque essai est enregistré avec sa date, et cette page est reconstruite à partir de ces fichiers : un chiffre ici est toujours le dernier mesuré.
Apportez votre clé pour myt AI Cloud, OpenAI, Gemini, Mistral ou Kimi, et voyez le verdict à côté de chaque modèle avant de choisir.