La reciente decisión de DeepSeek de reducir drásticamente el precio de su modelo V4-Professional en un 75% debería haber sido una buena noticia para los proveedores y desarrolladores de IA empresarial. En cambio, muchos están descubriendo que los modelos más baratos no se traducen automáticamente en márgenes más saludables.
La razón es easy: mientras los costos de inferencia caen en picado, los sistemas de agentes consumen vorazmente tokens más rápido de lo que bajan los precios. Durante las últimas dos décadas, la economía del software program estuvo dictada por la misma regla. La infraestructura se volvió más barata cada año, mientras que las aplicaciones se volvieron más capaces. Inicialmente se planteó la hipótesis de que la IA seguía el mismo patrón. A medida que los modelos de frontera mejoraron y los precios de los tokens cayeron, muchos asumieron que la inferencia se convertiría en un gasto operativo insignificante. Esa suposición ha comenzado a desmoronarse exponencialmente.
Un chatbot suele convertir la pregunta de un usuario en una llamada modelo. Un agente lo convierte en una cadena de decisiones de planificación, recuperación, uso de herramientas, verificación, resumen y seguimiento. El usuario ve una respuesta. El vendedor paga por el bucle. Ese es el problema 100x: la misma solicitud seen para el usuario puede costar mucho más para servir como un flujo de trabajo agente que como un chatbot o una respuesta de generación aumentada de recuperación (RAG). En flujos de trabajo de mayor duración, el multiplicador es mayor. La caída de los precios de los modelos ayuda, pero no repara una arquitectura de producto que convierte un aviso en docenas de operaciones facturables.
La magnitud de lo que ahora está en juego queda clara en la forma en que los propios proveedores de modelos fijan el precio de las relaciones con los desarrolladores. El programa propuesto por OpenAI para otorgar a cada startup de Y Combinator $2 millones en créditos API (una cantidad que habría financiado una ronda inicial completa en cualquier ciclo tecnológico anterior, y cuando la misma cohorte se las arregló con unos pocos miles de dólares en créditos de AWS) es menos un beneficio de reclutamiento que una admisión de lo que ahora cuesta administrar una empresa nativa de IA durante su primer año de producto. Para las empresas establecidas que modernizan agentes en líneas de productos existentes, las cifras absolutas son aún mayores.
¿Qué es la amplificación de tokens?
En un chatbot de un solo turno, un mensaje de usuario produce aproximadamente una llamada de modelo. La relación entre los insumos y la facturación es de aproximadamente 1:5.
En un agente de varios pasos implementado en atención al cliente, operaciones de ventas, finanzas, revisión authorized e ingeniería, esa proporción suele llegar a 1:700 o superior. Cada iteración del bucle lleva adelante la conversación acumulativa, los resultados de las herramientas y los rastros de razonamiento. Cada paso añade; no se cae nada.
Una consulta de agente «easy» como «¿Sobre qué preguntó nuestro principal cliente la semana pasada? normalmente toca siete operaciones con precio antes de devolver una respuesta:
-
Aviso de usuario (~50 tokens)
-
Definiciones de herramientas y mensajes del sistema (~3000 tokens, repetidos en cada llamada)
-
Recuperación (~5000 tokens de contexto)
-
Llamada de modelo n.º 1: selección de herramientas (8000 entradas/200 salidas)
-
Ejecución de herramientas (~4000 tokens devueltos)
-
Llamada de modelo n.º 2: resumen (12 000 entradas/400 salidas)
-
Llamada modelo n.º 3: decisión de seguimiento (12 400 entradas/100 salidas)
En una frase, se facturan aproximadamente 35.000 tokens de entrada. En algún lugar entre $0,10 y $0,40 por consulta en un modelo de frontera. Multiplique eso por un millón de consultas al mes (el volumen en juego para cualquier función empresarial B2B) y la línea de pedido será de seis cifras.
Por qué esto rompe el modelo de negocio de IA existente
La historia de precios dominante para la IA empresarial ha sido SaaS basado en asientos: Pago por usuario por mes, entrega de capacidad de agente, margen de captura. Ese modelo supone un costo por usuario razonablemente limitado.
La amplificación de tokens rompe la suposición. Un usuario avanzado que ejecuta 50 invocaciones de agentes por día con un plan de $40 por puesto puede costar más en inferencia que los cargos del plan. La amplificación de tokens rompe el modelo de precios tradicional de SaaS. Cuando la actividad diaria del agente de un usuario avanzado cuesta más en inferencia que su tarifa de suscripción mensual, los márgenes brutos de los proveedores se vuelven negativos, una paradoja que se agrava a medida que los clientes profundizan su adopción de agentes, la misma curva de uso que los proveedores están vendiendo a sus juntas directivas. Varios proveedores ahora están reportando en privado márgenes brutos negativos para usuarios intensivos, reflejando informes recientes de gastos en la nube de la cohorte Bessemer ‘Supernova’, donde la correlación entre la adopción de agentes de IA y la contracción del margen bruto ha pasado de ser un riesgo teórico a un principal obstáculo en las pérdidas y ganancias.
Los síntomas visibles han comenzado a filtrarse a la cobertura pública. Bloomberg documentó esta semana una brecha cada vez mayor entre las demostraciones de advertising Agentforce de Salesforce y las capacidades que realmente se envían a los clientes. Este es el tipo de brecha que se abre, como period de esperar, cuando la funcionalidad prometida es técnicamente posible pero no resulta económica de servir al precio que implica el plan de asientos. Salesforce es el caso más observado, no el único.
«Para mi equipo, el costo de la computación va mucho más allá de los costos de los empleados». — Bryan Catanzaro, vicepresidente de aprendizaje profundo aplicado, Nvidia
La implicación estratégica no es que «la IA es cara». Es que el modelo de negocio dominante asumido por la mayoría de los planes empresariales nativos de IA no sobrevive al contacto con cargas de trabajo de agentes.
Un ejemplo sencillo
Considere un proveedor de software program empresarial que cobra 40 dólares por usuario al mes por un asistente de soporte habilitado para IA. En conclusión, un chatbot tradicional podría costar sólo unos pocos centavos por usuario y día, lo que dejaría márgenes brutos saludables.
Ahora reemplace ese chatbot con un flujo de trabajo totalmente agente capaz de investigar tickets, consultar sistemas internos, redactar respuestas, validar resultados y escalar excepciones. Si un usuario intensivo ejecuta de 50 a 100 solicitudes de agentes por día, el consumo de inferencia puede aumentar en un orden de magnitud. Lo que alguna vez fue un costo de infraestructura insignificante se convierte en un gasto operativo materials.
Esto crea una dinámica inusual: los clientes que reciben el mayor valor del producto suelen ser los clientes que generan los mayores costos de inferencia. En casos extremos, los proveedores pueden encontrarse con que sus usuarios más comprometidos aporten las menores ganancias. El resultado es una creciente comprensión en todo el software program empresarial de que la adopción de agentes y la expansión de márgenes ya no están alineadas automáticamente.
La orquestación de agentes es el nuevo foso
Las respuestas técnicas son conocidas y convergentes. No son novedosos, pero son fundamentales para la supervivencia.
-
Enrutamiento consciente de los costos: Esta técnica implica un pequeño modelo de clasificador que determine qué nivel (equivalentes a Haiku, Sonnet, Opus) maneja cada consulta. Los enrutadores bien ajustados reducen los costos de inferencia en aproximadamente un 60% sin ninguna degradación en la calidad
-
Almacenamiento en caché rápido: Anthropic, OpenAI y Google ahora ofrecen descuentos del 75 al 90 % en prefijos almacenados en caché.
-
Disciplina de contexto: Puede truncar las salidas de las herramientas, podar los rastros de razonamiento y limitar la profundidad de las herramientas para evitar que su agente caiga en una madriguera de conejo.
-
Decodificación especulativa: para implementaciones autohospedadas, esta técnica garantiza de 2 a 3 veces un rendimiento efectivo en las mismas GPU.
«Las organizaciones que utilizan una gobernanza basada en la orquestación reportan mayores ganancias de productividad: una capa de orquestación holística se asocia con un impacto en la productividad seis veces mayor que los enfoques basados únicamente en el cumplimiento» – IBM
Las empresas que construyen bien esta capa están empezando a parecerse menos a operadores de microservicios y más a sistemas de comercio financiero: Cada decisión de ruta tiene un precio, cada ruta con sus propias pérdidas y ganancias, cada inquilino con un presupuesto medido.
Qué deberían hacer realmente los líderes empresariales
FNuestros movimientos separan a las empresas que todavía tendrán margen en 24 meses de las que no lo tendrán:
-
Haga del costo de inferencia una métrica de primera clase. Realice un seguimiento por función, por inquilino y por clase de consulta de la misma manera que se realizaba el seguimiento del costo de la nube a partir de mediados de la década de 2010.
-
Haga un presupuesto como un comprador de medios. Establezca límites máximos de costo por cada mil consultas por función. Taparlos. Alerta sobre excesos. La ingeniería no hará cumplir esto por sí sola.
-
Trate el enrutador como una infraestructura central, no como una optimización. Es el nuevo equilibrador de carga.
-
Avisos de auditoría trimestralmente. Un aviso del sistema de 4.000 tokens que creció orgánicamente durante seis meses es un billete de seis cifras en cámara lenta. La mayoría de los equipos nunca han leído sus propios mensajes de producción de principio a fin.
-
Negociar compromisos de volumen con antelación. Los proveedores del modelo Frontier ahora ofrecen compromisos prepagos de estilo de instancia reservada con descuentos sustanciales. El precio de lista es el peor precio que cualquier empresa jamás pagará.
Los próximos 24 meses
El cambio estructural que subyace a la IA agente no es que sea caro. Como lo subraya el recorte de precios de DeepSeek de hoy, los costos unitarios de inferencia de frontera están cayendo aproximadamente 3 veces por año, y la curva no se está desacelerando.
El cambio es que la amplificación está superando los recortes de precios. Reducir los costos por token en un 75% no ayuda a una empresa cuyos agentes generan 700 veces más tokens por consulta de usuario de lo que suponía su modelo de precios. Por primera vez desde que comenzó la period de la nube, las decisiones de arquitectura vuelven a ser decisiones financieras en tiempo actual. Un rediseño rápido es un evento marginal. Un bucle de agente mal vinculado es una interrupción con una tarjeta de crédito adjunta.
Las empresas que sobrevivan a los próximos 24 meses de precios de infraestructura de IA no serán las que utilicen el modelo más barato. Serán aquellos cuyos agentes sean inteligentes. y Sepa lo que cuestan pensar.
Ese es el problema 100X. Y está llegando más rápido de lo que los recortes de precios pueden ocultarlo.
Maitreyi Chatterjee es ingeniera de software program senior en una gran empresa de tecnología.
Devansh Agarwal trabaja como ingeniero de aprendizaje automático en una empresa de tecnología líder.
¡Bienvenido a la comunidad VentureBeat!
Nuestro programa de publicaciones invitadas es donde los expertos técnicos comparten conocimientos y brindan análisis profundos neutrales y no adquiridos sobre inteligencia synthetic, infraestructura de datos, ciberseguridad y otras tecnologías de vanguardia que dan forma al futuro de las empresas.
Leer más de nuestro programa de publicaciones de invitados y consulte nuestro pautas ¡Si estás interesado en contribuir con un artículo propio!
