Antes de razonar para un cliente, un modelo pasa las tareas fijas de Umbodi: auditar una página, redactar una corrección, negarse a inventar una cifra, ignorar instrucciones ocultas en un sitio, mantener el idioma del cliente. Cada tarea se ejecuta tres veces con el código de Umbodi y se puntúa por máquina. La tabla se actualiza con cada nueva ejecución, y un modelo por debajo del nivel puede elegirse con tu propia clave.
7 modelos · 4 superan el nivel · el nivel (intentos · errores · tras una reparación): 90 · 0 · ≥95% · última ejecución 2026-10-14
Medido
| Modelo | Ejecución | Intentos | Errores | Válido, sin reparación | Correcto tras una reparación | Latencia mediana | Tokens de salida, todos los intentos | Veredicto |
|---|---|---|---|---|---|---|---|---|
| claude-haiku-4-5 | 2026-10-13 | 90 | 0 | 100% | 100% | 1.9 s | 31,242 | Superado |
| myt/glm5.2 | 2026-10-13 | 90 | 0 | 100% | 100% | 2.3 s | 68,314 | Superado |
| gemini/gemini-3.5-flash | 2026-10-14 | 90 | 0 | 100% | 100% | 6.4 s | 21,448 | Superado |
| openai/gpt-5-mini | 2026-10-14 | 90 | 0 | 100% | 100% | 6.8 s | 114,364 | Superado |
| myt/gemma-4-26b-a4b-it | 2026-10-12 | 39 | 1 | 97.4% | 97.4% | 4.5 s | 11,234 | Por debajo del nivel |
| myt/qwen3.6-35b-a3b | 2026-10-12 | 39 | 6 | 61.5% | 74.4% | 6.5 s | 63,383 | Por debajo del nivel |
| myt/deepseek-v4-flash | 2026-10-12 | 39 | 2 | 94.9% | 94.9% | 8.6 s | 42,339 | Por debajo del nivel |
Los modelos con menos de 90 intentos se evaluaron con un conjunto anterior de 13 tareas. Los tokens de salida determinan el coste de un modelo; los precios cambian, por eso no se muestran.
Treinta tareas están fijadas en el repositorio, cada una con su evidencia, su instrucción y una rúbrica que una máquina puede comprobar. Un intento supera si la respuesta es válida y cumple su rúbrica; se permite una reparación, que se informa aparte.
Un modelo supera el nivel con 90 intentos completos, sin errores y al menos un 95 % de acierto tras una reparación. Los clientes ven el mismo veredicto junto a cada modelo que pueden elegir en Umbodi.
Las puntuaciones son comprobaciones automáticas, no una revisión humana a ciegas, que aún está pendiente. La latencia es el tiempo real entre la máquina que ejecutó la prueba y el proveedor.
El último resultado de cada modelo, con el archivo de prueba del que procede, reutilizable con atribución bajo CC BY 4.0: model-benchmarks.json
Si un modelo de IA puede hacer el razonamiento de Umbodi de forma fiable: treinta tareas fijas como auditar una página, redactar una corrección, negarse a inventar cifras e ignorar instrucciones ocultas, tres intentos cada una, puntuadas por máquina.
Sí, con tu propia clave: es tu decisión. Umbodi lo marca por debajo del nivel, porque algunas respuestas pueden no servir, y nunca te cambia a otro proveedor sin decírtelo.
Cada vez que se añade o cambia un modelo. Cada ejecución se guarda con su fecha y esta página se reconstruye a partir de esos archivos, así que una cifra aquí es siempre la última medida.
Trae tu propia clave para myt AI Cloud, OpenAI, Gemini, Mistral o Kimi, y ve el veredicto junto a cada modelo antes de elegir.