Verificación y evaluación
Cómo comprobar que el agente hizo bien el trabajo sin fiarte de su palabra: darle formas de verificarse a sí mismo, revisar el resultado y el proceso, y comparar configuraciones con honestidad.
Antes de empezar
- Diseñar tareas para un agenteTécnica
Cómo convertir una idea en un encargo que el agente pueda ejecutar y tú puedas revisar: objetivo, contexto, límites, resultado esperado y cómo saber que está terminado.
Publicado
La idea clave: “he terminado” es una afirmación, no una prueba. Dale al agente formas de comprobar su propio trabajo —pruebas, tipos, linter— y comprueba tú el resultado con evidencias, no con su resumen.
El problema
Los agentes producen resultados que parecen correctos. A veces lo son. Otras veces esconden un error silencioso, un archivo que no debía tocarse o una prueba que “pasa” porque el agente la modificó para que pasara. Si te fías del resumen final, descubrirás el problema tarde.
Dos ideas distintas
- Verificar es comprobar si este resultado cumple esta tarea. ¿Pasan las pruebas? ¿Se respetaron los límites?
- Evaluar es estudiar cómo se comporta una configuración en varios casos para decidir si un cambio en el harness —un
AGENTS.mdnuevo, una Skill— lo mejora o lo empeora.
La verificación la necesitas en cada tarea. La evaluación, cuando quieres comparar configuraciones.
Cómo funciona la verificación
1. Que el agente pueda verificarse solo
Una de las mejoras más útiles en un harness es darle al agente comprobaciones que pueda ejecutar él mismo: pruebas, comprobación de tipos, linter, build. Con ellas, el agente prueba su trabajo, ve el error y lo corrige antes de entregártelo. Sin ellas, solo puede suponer que funciona.
Por eso los comandos de verificación deben estar en tu AGENTS.md, y los criterios de aceptación de cada encargo deben poder comprobarse con ellos.
2. Comprueba el resultado, no el resumen
Antes de aceptar un cambio:
- Lee el diff. ¿Toca solo lo que debía? ¿Ha cambiado alguna prueba existente?
- Ejecuta tú las comprobaciones, o confirma que se ejecutaron de verdad.
- Repasa los criterios de aceptación del encargo, uno por uno.
3. Revisa también el proceso
El resultado final no cuenta toda la historia. El historial de la sesión —qué archivos leyó, qué comandos ejecutó, qué errores encontró— te dice cómo llegó hasta ahí. Cuando algo sale mal, la pista suele estar en ese historial: ¿leyó una versión antigua de un archivo?, ¿ignoró un error de una herramienta?, ¿se saltó un paso? Guárdalo cuando quieras aprender de un fallo.
4. Lo que una prueba no ve
Hay cosas que no se pueden comprobar automáticamente: si el diseño es adecuado, si el código se podrá mantener, si la solución resuelve el problema real. Ahí sigue haciendo falta una revisión humana. Un segundo agente revisor puede ayudar, pero también se equivoca y necesita criterios claros.
Ejemplo práctico
Para la tarea de summarizeReading, convierte cada criterio en una comprobación concreta:
| Criterio | Cómo se comprueba |
|---|---|
countWords sigue funcionando |
Las pruebas existentes pasan y el diff no las modifica |
| Cuenta palabras con espacios repetidos | Prueba con " hola mundo " → 2 |
| Extrae la primera frase | Pruebas con ., !, ? y sin signo final |
| Respeta los límites | El diff no toca README.md ni package.json |
| Todo pasa | node --test termina sin errores |
La tabla no mide si el agente es “bueno” en general. Dice qué evidencia necesitas para aceptar este encargo.
Evaluar configuraciones
Si quieres saber si un cambio en el harness ayuda, compara con honestidad:
- Mantén todo igual salvo una cosa: el mismo modelo, la misma tarea y el mismo proyecto.
- Guarda los resultados tal como salieron, antes de corregirlos. Si arreglas algo a mano antes de registrarlo, ya no estás midiendo la configuración.
- Conserva también los fallos y los resultados dudosos. Son parte de la evidencia.
- No generalices a partir de un solo caso. Una ejecución muestra lo que pasó una vez, no una regla.
Errores comunes
- Aceptar “todas las pruebas pasan” sin comprobarlo. Ejecuta las pruebas o mira la salida real.
- No mirar si cambió las pruebas. Un agente puede “arreglar” una prueba que falla modificando la prueba.
- Confundir “funciona” con “está bien”. Que compile no significa que cumpla la tarea.
- Pruebas que no prueban nada. Una prueba que siempre pasa da una falsa seguridad. Comprueba que falla cuando el código está mal.
- Pedirle al mismo agente que se evalúe y creerle sin más. La autorrevisión ayuda a detectar errores, pero no sustituye una comprobación independiente.
Cuándo usarlo
Siempre que el resultado importe. Empieza por lo mínimo: un comando de pruebas que el agente pueda ejecutar y una revisión del diff. Añade más comprobaciones cuando veas repetirse el mismo tipo de error.
Siguiente paso
Pedirle al agente que se verifique funciona casi siempre, pero no siempre. Hooks explica cómo hacer que las comprobaciones se ejecuten solas, sin depender de que el agente se acuerde.
Fuentes
Consultadas el 2026-10-05.
- Working with evals, guía de OpenAI.
- Effective harnesses for long-running agents, Anthropic. Describe cómo el agente verifica cada funcionalidad de extremo a extremo antes de marcarla como terminada.
Contenido relacionado
- Estado y memoriaTécnica
Cómo hacer que una tarea larga sobreviva al final de una sesión: guardar el progreso fuera del modelo, en archivos y en Git, y distinguir el estado de la tarea de la memoria a largo plazo.
Publicado - Hooks: comprobaciones que se ejecutan solasTécnica
Comandos que se ejecutan automáticamente en momentos concretos del trabajo del agente, como antes de editar un archivo o al terminar, para que los pasos importantes no dependan de que el agente se acuerde.
Publicado