Verificación y evaluación

Cómo comprobar que el agente hizo bien el trabajo sin fiarte de su palabra: darle formas de verificarse a sí mismo, revisar el resultado y el proceso, y comparar configuraciones con honestidad.

Antes de empezar

  • Diseñar tareas para un agenteTécnica

    Cómo convertir una idea en un encargo que el agente pueda ejecutar y tú puedas revisar: objetivo, contexto, límites, resultado esperado y cómo saber que está terminado.

    Publicado

La idea clave: “he terminado” es una afirmación, no una prueba. Dale al agente formas de comprobar su propio trabajo —pruebas, tipos, linter— y comprueba tú el resultado con evidencias, no con su resumen.

El problema

Los agentes producen resultados que parecen correctos. A veces lo son. Otras veces esconden un error silencioso, un archivo que no debía tocarse o una prueba que “pasa” porque el agente la modificó para que pasara. Si te fías del resumen final, descubrirás el problema tarde.

Dos ideas distintas

  • Verificar es comprobar si este resultado cumple esta tarea. ¿Pasan las pruebas? ¿Se respetaron los límites?
  • Evaluar es estudiar cómo se comporta una configuración en varios casos para decidir si un cambio en el harness —un AGENTS.md nuevo, una Skill— lo mejora o lo empeora.

La verificación la necesitas en cada tarea. La evaluación, cuando quieres comparar configuraciones.

Cómo funciona la verificación

1. Que el agente pueda verificarse solo

Una de las mejoras más útiles en un harness es darle al agente comprobaciones que pueda ejecutar él mismo: pruebas, comprobación de tipos, linter, build. Con ellas, el agente prueba su trabajo, ve el error y lo corrige antes de entregártelo. Sin ellas, solo puede suponer que funciona.

Por eso los comandos de verificación deben estar en tu AGENTS.md, y los criterios de aceptación de cada encargo deben poder comprobarse con ellos.

2. Comprueba el resultado, no el resumen

Antes de aceptar un cambio:

  • Lee el diff. ¿Toca solo lo que debía? ¿Ha cambiado alguna prueba existente?
  • Ejecuta tú las comprobaciones, o confirma que se ejecutaron de verdad.
  • Repasa los criterios de aceptación del encargo, uno por uno.

3. Revisa también el proceso

El resultado final no cuenta toda la historia. El historial de la sesión —qué archivos leyó, qué comandos ejecutó, qué errores encontró— te dice cómo llegó hasta ahí. Cuando algo sale mal, la pista suele estar en ese historial: ¿leyó una versión antigua de un archivo?, ¿ignoró un error de una herramienta?, ¿se saltó un paso? Guárdalo cuando quieras aprender de un fallo.

4. Lo que una prueba no ve

Hay cosas que no se pueden comprobar automáticamente: si el diseño es adecuado, si el código se podrá mantener, si la solución resuelve el problema real. Ahí sigue haciendo falta una revisión humana. Un segundo agente revisor puede ayudar, pero también se equivoca y necesita criterios claros.

Ejemplo práctico

Para la tarea de summarizeReading, convierte cada criterio en una comprobación concreta:

Criterio Cómo se comprueba
countWords sigue funcionando Las pruebas existentes pasan y el diff no las modifica
Cuenta palabras con espacios repetidos Prueba con " hola mundo " → 2
Extrae la primera frase Pruebas con ., !, ? y sin signo final
Respeta los límites El diff no toca README.md ni package.json
Todo pasa node --test termina sin errores

La tabla no mide si el agente es “bueno” en general. Dice qué evidencia necesitas para aceptar este encargo.

Evaluar configuraciones

Si quieres saber si un cambio en el harness ayuda, compara con honestidad:

  • Mantén todo igual salvo una cosa: el mismo modelo, la misma tarea y el mismo proyecto.
  • Guarda los resultados tal como salieron, antes de corregirlos. Si arreglas algo a mano antes de registrarlo, ya no estás midiendo la configuración.
  • Conserva también los fallos y los resultados dudosos. Son parte de la evidencia.
  • No generalices a partir de un solo caso. Una ejecución muestra lo que pasó una vez, no una regla.

Errores comunes

  • Aceptar “todas las pruebas pasan” sin comprobarlo. Ejecuta las pruebas o mira la salida real.
  • No mirar si cambió las pruebas. Un agente puede “arreglar” una prueba que falla modificando la prueba.
  • Confundir “funciona” con “está bien”. Que compile no significa que cumpla la tarea.
  • Pruebas que no prueban nada. Una prueba que siempre pasa da una falsa seguridad. Comprueba que falla cuando el código está mal.
  • Pedirle al mismo agente que se evalúe y creerle sin más. La autorrevisión ayuda a detectar errores, pero no sustituye una comprobación independiente.

Cuándo usarlo

Siempre que el resultado importe. Empieza por lo mínimo: un comando de pruebas que el agente pueda ejecutar y una revisión del diff. Añade más comprobaciones cuando veas repetirse el mismo tipo de error.

Siguiente paso

Pedirle al agente que se verifique funciona casi siempre, pero no siempre. Hooks explica cómo hacer que las comprobaciones se ejecuten solas, sin depender de que el agente se acuerde.

Fuentes

Consultadas el 2026-10-05.

  • Estado y memoriaTécnica

    Cómo hacer que una tarea larga sobreviva al final de una sesión: guardar el progreso fuera del modelo, en archivos y en Git, y distinguir el estado de la tarea de la memoria a largo plazo.

    Publicado
  • Hooks: comprobaciones que se ejecutan solasTécnica

    Comandos que se ejecutan automáticamente en momentos concretos del trabajo del agente, como antes de editar un archivo o al terminar, para que los pasos importantes no dependan de que el agente se acuerde.

    Publicado