Debate adversarial entre agentes
Pusimos agentes de IA a criticarse los planes y el código en bucle. Se ponían de acuerdo demasiado rápido y el debate acababa peor que la primera respuesta del modelo más capaz. Descartado.
El debate entre agentes es una idea popular: uno propone, otro ataca, iteran, y la respuesta que sobrevive debería ser mejor que cualquiera de los dos primeros borradores.
Lo probamos en nuestro propio trabajo: nuestra plataforma y los proyectos internos donde la IA escribe el código. El objetivo eran las decisiones que más importan, los planes y el código.
Paso a paso.
- 01
Un agente escribía un plan o un cambio. Otro agente lo criticaba. El primero respondía a la crítica y corregía, y el bucle se repetía.
- 02
Algunas parejas enfrentaban un modelo fuerte con uno más débil, para ver si una segunda opinión aportaba algo.
- 03
Comparamos la respuesta final con la primera respuesta del modelo más fuerte por sí solo.
- 04
El bucle lo empeoró. Las respuestas que salían del debate eran peores que la primera respuesta del modelo más capaz por sí solo.
Con qué está hecho Agentes de IA revisándose entre sí (descartado) · Revisiones independientes con IA
Los agentes se ponen de acuerdo con demasiada facilidad. El bucle terminaba en consenso, y consenso no es lo mismo que acierto.
Mezclar capacidades lo empeora. Un modelo fuerte debatiendo con uno más débil solía acabar peor que la primera respuesta del fuerte.
Cada ronda suma tokens y tiempo. La calidad no subía con ellos.
Lo que decidimos.
Descartado. Cada decisión la toma ahora el modelo más capaz, y la seguimos. Seguimos revisando, pero con pasadas independientes: cada revisor comprueba una parte contra el código y el plan, sin negociar con el autor. Las conclusiones vuelven al modelo más fuerte, que decide qué se arregla.
No pagas por agentes que se convencen entre sí. Las decisiones de diseño de tu proyecto las toma el modelo más fuerte disponible, las comprueban revisiones independientes contra el código real y las verifica una persona. Menos tokens en conversación, más en comprobaciones que encuentran defectos reales.
- Este veredicto trata de bucles en los que los agentes se responden. Las revisiones independientes de una sola pasada se mantienen.
- Cada revisor recibe una parte concreta y una lista de comprobación, no un debate abierto.
- Los desacuerdos se resuelven con pruebas en el código o los decide una persona.
Mantenemos las revisiones independientes y las medimos por lo que detectan y los tests no.
¿El debate entre agentes mejora la calidad del código hecho con IA?
En nuestras pruebas, no. Los agentes llegaban rápido a un acuerdo, y mezclar un modelo fuerte con uno más débil acababa peor que el fuerte solo.
¿Qué funciona mejor que agentes criticándose entre sí?
El modelo más capaz decide, revisores independientes comprueban partes del trabajo contra el código y una persona verifica.