Un equipo que dirige consultas a través de un especialista en codificación, un especialista en lógica y un modelo generalista asume que cada uno cubrirá los puntos ciegos de los demás. Un nuevo estudio La evaluación de 67 modelos de frontera de 21 proveedores muestra que la suposición es matemáticamente errónea, y la falla tiene un nombre: el techo de co-fracaso.
La suposición funciona así: siempre que dos modelos no fallen con exactamente las mismas indicaciones, se supone que combinarlos crea una purple de seguridad contra fallas.
El verdadero límite de la orquestación no es la frecuencia con la que los modelos no están de acuerdo, sino el porcentaje de indicaciones en las que cada modelo del grupo da la respuesta incorrecta a la vez. Al ignorar el techo de co-fracaso, las empresas están construyendo una infraestructura de enrutamiento compleja y costosa para perseguir ganancias de desempeño que no existen. Afortunadamente, los desarrolladores pueden usar esta misma matemática para crear una prueba gratuita que decide exactamente cuándo la orquestación multimodelo realmente dará sus frutos.
Los costos ocultos de la estrategia multimodelo
Para orquestar múltiples modelos de lenguaje, los desarrolladores suelen confiar en tres arquitecturas. Los enrutadores modelo actúan como policías de tráfico, enviando consultas complejas a modelos costosos y consultas simples a los más baratos. Las cascadas envían todos los mensajes a un modelo económico primero y solo escalan a un modelo premium si el sistema inicial indica poca confianza. Finalmente, enfoques como Mezcla de agentes (MoA) fusionan múltiples modelos haciéndoles la misma pregunta y generando una respuesta sintetizada a partir de sus resultados combinados.
Estas arquitecturas introducen un «precio sombra» a los costos de inferencia. Cada vez que un equipo de desarrollo implementa un enrutador o una cascada, paga una prima en latencia adicional del sistema, mantenimiento complejo de la infraestructura y mayores riesgos de gobernanza en múltiples proveedores de API.
Para justificar estos costos operativos, los ingenieros se basan en la «correlación de errores por pares» para seleccionar su grupo de modelos. Think about que un desarrollador tiene el Modelo A, que escribe excelente Python pero falla en SQL, y el Modelo B, que escribe excelente SQL pero falla en Python. Debido a que fallan en diferentes tipos de indicaciones, su correlación de error por pares es baja. El desarrollador supone que al colocar una capa de enrutamiento frente a ellos, han creado un sistema compuesto que rara vez falla en la codificación.
Según el estudio, combinar diversos modelos basándose en una baja correlación puede perjudicar el rendimiento si los modelos no son igualmente capaces: cuando se vota entre modelos diversos pero desiguales, los más débiles a menudo se unen y superan en votos al más inteligente.
Josef Chen, autor del artículo, dijo a VentureBeat que en sus experimentos, «la votación por mayoría ingenua en modelos desiguales tuvo una ganancia media negativa (menos 10 puntos en nuestra combinación dura): los miembros diversos pero más débiles superan en votos al fuerte». El consejo práctico para los desarrolladores es «combinar sólo modelos dentro de una banda de calidad equivalente». Si no puede igualar la calidad, tome la base de un solo modelo y gaste su presupuesto en el mejor modelo disponible.
El documento proporciona un punto brillante para este enfoque con respecto a las arquitecturas MoA. Al crear conjuntos, los equipos suelen utilizar «Self-MoA», donde consultan el mismo modelo premium varias veces para generar una respuesta sintetizada. Los investigadores descubrieron que, con una calidad equivalente, construir un conjunto diverso de modelos con baja correlación por pares supera a una configuración Self-MoA de alta correlación.
Sin embargo, cuando los equipos utilizan esa misma métrica de correlación por pares para predecir la precisión absoluta de su sistema basic, las matemáticas fallan.
«Así que los equipos pagan los gastos generales de orquestación por adelantado (latencia, complejidad, operaciones de múltiples proveedores) asumiendo que un dividendo de diversidad llega más tarde», dijo Chen. «Por lo basic, no es así, porque los mejores modelos actuales concuerdan y, peor aún, fallan en las mismas preguntas… el mensaje simplemente transmite poca señal sobre qué modelo será el correcto cuando la frontera no esté de acuerdo».
Por qué fallan las matemáticas: el techo de cofracaso
El hallazgo principal del estudio se centra en una métrica llamada «tasa de co-fracaso», el nombre formal para el escenario totalmente equivocado descrito anteriormente. Ningún enrutador, sistema de votación o cascada podrá alcanzar una precisión superior al límite que impone.
El conjunto de codificación, lógica y generalismo muestra una baja correlación por pares en las indicaciones de rutina; rara vez fallan juntos. Pero el techo del co-fracaso representa el oscuro y altamente complejo caso límite que supera los límites de las arquitecturas de IA actuales. Si un mensaje es tan difícil que los tres modelos alucinan o fallan, no importa cuán inteligentemente el enrutador distribuya la tarea. Toda la piscina se borra de una vez.
Los investigadores probaron su grupo de 67 modelos, que incluía GPT-5.5, Claude Opus 4.8 y Gemini 3.1 Professional, en el punto de referencia matemático abierto MATH-500. Basados en la correlación estándar por pares, los modelos estadísticos predijeron que todo el grupo desaparecería simultáneamente en sólo el 2,3% de las preguntas. En realidad, la tasa de co-fracaso fue del 5,2%.
Las métricas de correlación estándar subestimaron la tasa de fracaso aproximadamente 2,25 veces. El culpable no es sólo una dificultad independiente, sino un punto de falla compartido.
«El impulsor es lo que llamamos un átomo de modo común: una porción de consultas en las que todo el mercado falla en conjunto, que ninguna estadística por pares puede detectar», dijo Chen. «Agregar un modelo número 20 a su piscina no compra cobertura de cola. La cola se comparte».
Los investigadores también encontraron que el formato de la tarea desencadena directamente el fracaso conjunto. Cuando tomaron preguntas científicas de nivel de posgrado del punto de referencia GPQA y las cambiaron de formatos de opción múltiple a formatos de respuesta libre, la cola totalmente incorrecta se expandió al 12,7%.
Sin embargo, los desarrolladores pueden diseñar alrededor del techo. «La implicación de ingeniería es incómoda: las configuraciones multimodelo compran menos exactamente donde los equipos más los quieren, en una generación abierta», dijo Chen. «En cualquier lugar donde se pueda convertir la generación en verificación o selección restringida (resultados estructurados, respuestas verificables, pruebas de ejecución), se vuelve a abrir el techo».
En última instancia, los investigadores descubrieron que este límite limita las aplicaciones de IA de dos maneras distintas, según el dominio:
-
Entornos limitados (por ejemplo, matemáticas abiertas): La tasa de co-fracaso es alta. La tarea es demasiado difícil y todos los modelos fallan simultáneamente. Ninguna cantidad de enrutamiento puede superar la falta de capacidad subyacente.
-
Entornos vinculados a la realizabilidad (p. ej., ciencias de posgrado): La tasa de co-fracaso es cercana a cero, lo que significa que al menos un modelo del grupo suele saber la respuesta. Sin embargo, los modelos discrepan tan sutilmente que una capa de enrutamiento no puede elegir de manera confiable la respuesta correcta sin un oráculo omnisciente.
La verificación de cordura previa a la implementación de $0
Antes de dedicar horas de ingeniería a construir un enrutador, los equipos pueden calcular su límite de rendimiento absoluto de forma gratuita utilizando una fórmula matemática llamada límite de Clopper-Pearson.
El límite Clopper-Pearson funciona como una calculadora del peor de los casos. Si lanza una moneda diez veces y obtiene ocho caras, no puede garantizar que la moneda salga cara el 80% de las veces para siempre. El límite toma una pequeña muestra de preguntas del examen y genera un límite matemáticamente garantizado.
Aplicado a modelos de lenguaje, supongamos que un equipo prueba un grupo de cinco agentes en 50 consultas de muestra y descubre que todos fallan en solo dos preguntas. Un desarrollador podría asumir que su sistema multiagente alcanzará una precisión del 96 % en la producción. La fórmula Clopper-Pearson corrige este optimismo. Analiza el pequeño tamaño de la muestra y proporciona una garantía matemática de que la verdadera tasa de co-fracaso podría llegar al 12%.
Para utilizar esto en la práctica, las empresas deben crear un conjunto de datos disponible. Una empresa de tecnología financiera, por ejemplo, podría tomar 200 tickets complejos de atención al cliente del trimestre anterior y hacer que agentes humanos escriban resoluciones perfectas que sirvan como punto de referencia. Si bien esto parece un proyecto guide pesado, los equipos de ingeniería maduros pueden automatizar todo el cálculo del techo.
«La integración es trivial: es un trabajo de conteo de los registros de evaluación que los equipos ya producen», señala Chen, «por lo que se ejecuta en la misma etapa de CI que el conjunto de evaluación y se vuelve a activar cada vez que cambia el grupo de modelos o la carga de trabajo».
Luego, el equipo de ingeniería compara sus modelos candidatos con estos 200 tickets una vez y registra los resultados. Cuando quieran evaluar configuraciones de múltiples modelos, pueden usar la medida de tasa de co-fallo para predecir la máxima precisión que pueden obtener del sistema sin ejecutar consultas adicionales.
Una conclusión importante a la que llega el estudio es que en tareas en las que las respuestas se pueden verificar definitivamente, la combinación de modelos rara vez supera al uso del mejor modelo del mercado, a menos que el equipo posea una señal de enrutamiento a nivel de consulta excepcionalmente fuerte.
En un entorno empresarial, una tarea definitivamente comprobada tiene una respuesta objetiva y de tolerancia cero. Esto incluye generar una consulta SQL que debe ejecutarse sin errores, extraer el complete de una factura específica de un PDF de 50 páginas o formatear una carga útil JSON que coincida perfectamente con un esquema estricto. Para estas tareas, las empresas suelen estar mejor pagando una prima por el modelo de frontera más inteligente en lugar de combinar tres modelos más baratos y esperar que un enrutador elija la salida correcta. El estudio no probó tareas subjetivas y no calificadas, como redactar textos de advertising; los autores señalan que si estos hallazgos se mantienen fuera de sus puntos de referencia verificables sigue siendo una cuestión abierta.
Debido a que esta verificación matemática es gratuita, los equipos empresariales pueden realizar un seguimiento de sus propias tasas de co-fracaso a medida que aparecen nuevos modelos.
«La medición no cuesta nada, por lo que cualquier equipo puede rastrear su propia tasa de co-fracaso a través de generaciones de modelos y observar si la cola se está cerrando», cube Chen. En última instancia, «la palanca que mantienen los compradores es la heterogeneidad del modo de fracaso y la rotación del mercado, no el recuento de modelos».
