Presentado por sombrero rojo
En el reciente evento AI Impression de VentureBeat, donde la discusión se centró en lo que separa a las empresas que escalan la IA agente de aquellas que se estancan en modo piloto, Brian Gracely, director senior de estrategia de cartera de Purple Hat, detalló con qué se topan realmente las empresas una vez que los agentes alcanzan la producción.
Se sumergió en la disciplina de costos, los puntos ciegos de seguridad exclusivos de los sistemas autónomos y la fricción organizacional que determina si la adopción de agentes se extiende más allá de los primeros campeones.
Las empresas están sobreestimando su retraso en materia de agentes de IA
A muchos líderes empresariales, especialmente aquellos que siguen las conferencias magistrales de la industria y los anuncios de IA, les preocupa estar ya peligrosamente rezagados detrás de los competidores que implementan agentes a escala. Pero según Gracely, gran parte de esa ansiedad refleja una thought errónea sobre la rapidez con la que las organizaciones aprenden una vez que comienzan a construir. Los equipos suelen avanzar en la curva de aprendizaje mucho más rápido de lo que esperan.
Sin embargo, ese rápido progreso crea un desafío diferente. A medida que se expande el uso de agentes, los costos de la IA aumentan con la misma rapidez, lo que hace que la gestión de costos deje de ser una preocupación de ingeniería para convertirse en una discusión recurrente en la sala de juntas.
El uso de IA agente es mucho mayor que durante la period de los chatbots, lo que hace que los costos de la IA sean una preocupación creciente para las empresas. Al mismo tiempo, las organizaciones son cada vez más conscientes de su dependencia de un pequeño número de proveedores de modelos. Según Gracely, esa combinación está impulsando a muchas empresas a explorar alternativas que les brinden un mayor management sobre los costos y la infraestructura.
«Los dos o tres principales proveedores ya le están diciendo al mercado que están perdiendo dinero y están tratando de salir a bolsa para compensar esas diferencias», explicó. «En algún momento, la dependencia de eso significa que vas a comprar a un nivel de costo muy alto o vas a encontrar alternativas para controlar lo que estás haciendo».
Ajustar el tamaño de los modelos de IA es la palanca más rápida para reducir los costos de los agentes
El mayor problema de costos es que las empresas gastan de más al optar por el modelo más capaz disponible, independientemente de la complejidad de la tarea.
«Si simplemente estoy tratando de resolver un reclamo de seguro, no necesito saber sobre la historia de la civilización occidental en mi modelo, no necesito saber los resultados de la Copa Mundial de fútbol», dijo Gracely.
El enrutamiento semántico es el mecanismo que muchas empresas utilizan para hacer ese juicio automáticamente, clasificando las solicitudes y enviando cada una a un modelo del tamaño de la tarea sin requerir que los usuarios elijan, mientras que las técnicas de infraestructura como el almacenamiento en caché de consultas repetitivas reducen la frecuencia con la que una solicitud debe llegar al cómputo de la GPU. En conjunto, dijo, estas herramientas eliminan la suposición de que la eficiencia y la innovación van en direcciones opuestas.
«Hay muchas cosas que puedes hacer a nivel de infraestructura de GPU, y bastante en términos de flexibilidad de modelos», explicó. «Estos ofrecen excelentes opciones en términos de las palancas que se intenta accionar, ya sea que se necesite eficiencia o innovación. Esa no debería ser una elección binaria».
La disciplina financiera necesaria para el gasto de tokens es related a las prácticas FinOps que tardaron años en madurar para tomar el management del gasto en computación en la nube. Esos marcos subyacentes se transferirán incluso a medida que cambie el vocabulario, dijo Gracely, especialmente a medida que las organizaciones impulsen la educación interna sobre la selección de modelos para que los equipos dejen de optar por la opción más destacada para tareas que no la necesitan.
«De la misma manera que primero tuvimos que enseñar a la gente de finanzas qué es una instancia EC2 y qué es un depósito S3, tendrás que empezar a explicarles los tokens», dijo. «No siempre necesitamos un Rolls-Royce. No siempre necesitamos caviar, porque estamos tratando de hacer cosas básicas».
La velocidad de los parches ahora es basic a medida que las herramientas de inteligencia synthetic encuentran vulnerabilidades más rápido
El descubrimiento de vulnerabilidades impulsado por la IA está obligando a las empresas a repensar la rapidez con la que pueden identificar, validar e implementar parches. Es posible que los ciclos de administración de parches establecidos desde hace mucho tiempo ya no sean lo suficientemente rápidos en un entorno donde la IA puede descubrir (y los atacantes pueden explotar) nuevas vulnerabilidades mucho más rápidamente.
«La mayoría de las empresas probablemente tendrán una ventana de entre siete y 14 días para mantenerse a la vanguardia», dijo. «Hay grupos, incluido Purple Hat, que van a crear parches para estos, pero la ventana del embargo será corta».
La IA también está cambiando lo que los defensores deben buscar. En lugar de simplemente descubrir fallas críticas aisladas, las herramientas de seguridad de IA pueden identificar combinaciones de vulnerabilidades aparentemente menores que se vuelven peligrosas solo cuando se encadenan. A medida que se aceleran tanto la complejidad del software program como el descubrimiento de vulnerabilidades, Gracely argumentó que la capacidad de administrar y actualizar software program rápidamente se está convirtiendo en una capacidad estratégica en lugar de simplemente operativa.
Los expertos en la materia y los equipos de cumplimiento deciden si los agentes escalan
Al remaining, la adopción organizacional se scale back a la necesidad de una participación profunda y sostenida de los expertos en la materia cuyo conocimiento el agente debe codificar, lo que hace que ganarse su aceptación sea un requisito previo y no una ocurrencia tardía.
«Hay que pensar en los incentivos, en lo que se hace por las personas que participan en este trabajo para que no se sientan amenazadas de que les quitarán el trabajo, y en cómo se incentiva a las personas a largo plazo para que cooperen con esa innovación», dijo.
Los artículos patrocinados son contenido producido por una empresa que paga por la publicación o tiene una relación comercial con VentureBeat, y siempre están claramente marcados. Para más información, póngase en contacto ventas@venturebeat.com.
