Los días del incomparable dominio del mercado de Nvidia no han terminado, pero están surgiendo desafíos y opciones de todas direcciones.
ZMLuna startup francesa de IA de moda respaldado del ganador del Premio Turing Yann LeCun, ha lanzado un software program de rendimiento de inferencia que permite una variedad de modelos de lenguaje grandes de código abierto correr en un variedad de patatas fritas – incluidos Nvidia, AMD, TPU de Google, Apple Metallic e Intel Arc.
Con ZML/LLMDel servidor de inferencia LLM recientemente lanzado, la ambición de la compañía es romper los silos existentes y hacer que diferentes chips estén disponibles para casos de uso de IA a su velocidad máxima disponible y, a veces, más rápido, dijo a TechCrunch el fundador de ZML, Steeve Morin.
A medida que la IA se integra en nuestro trabajo y vida cotidiana, la optimización de la inferencia (también conocida como el procesamiento de indicaciones) ha superado en importancia al entrenamiento de modelos, pero a menudo se siente irregular detrás de escena, con barreras de software program y arquitectura que conducen a la dependencia del proveedor, dijo Morin.
La promesa de lograr el máximo rendimiento en una variedad de chips es una hazaña tecnológica, pero también podría ser un disruptor del mercado, en medio de crecientes temores sobre los costos relacionados con la IA.
ZML espera ofrecer a las empresas y a las nubes la opción de utilizar una combinación de chips, algunos de los cuales podrían ser menos costosos o consumir menos energía. “La thought es devolver a las personas el poder de crear su propio sistema y lograr ganancias reales de eficiencia que permitan [AI] para ser difundido”, dijo Morin.
Un soporte de software program de este tipo podría ayudar a los nuevos fabricantes de chips de IA, muchos de los cuales son de Europa, observó Morin, citando Axelera, fractil, Kalray, OLIX, Q.ANT, siperla, Spinncloudy VSORA. Pero más que su región de origen, lo que le importa es que ZML pueda trabajar con ellos en “cosas que no se han hecho antes en ningún lugar del mundo”.
Eso no significa que Morin sea bajista con respecto a Nvidia. el no esen parte debido a su oferta existente. Le dijo a TechCrunch que ZML tiene una buena relación con el gigante de los chips de inteligencia synthetic, que se ha estado preparando para el aumento de la inferencia.
La inferencia ha sido un área de inversión tan intensa que la tendencia ha sido aclamada como «inferencia fiebre del oro.” Así que ZML tiene competencia como Baseten, valorada recientemente en 13.000 millones de dólares; Inferact, de los creadores del proyecto de código abierto vllm; así como RadixArkla empresa comercial detrás de SGLang.
Tanto vLLM como SGLang compiten parcialmente con LLMD, pero las ambiciones de Morin para ZML cubren un espectro más amplio. «Hemos llegado al punto en el que estamos codiseñando silicio», dijo. Además, atribuyó al reducido equipo de 20 personas de ZML la razón por la que la startup con sede en París ha podido avanzar rápidamente, con más lanzamientos en los planes.
También ayudó que este pequeño equipo esté bien financiado para su tamaño. Gracias a su trayectoria como vicepresidente de ingeniería de Zenly, que Snapchat adquirió por nueve cifras en 2017, Morin recaudó 20 millones de dólares de empresas de riesgo como 20VC de Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures de Xavier Niel, Kindred Capital, LocalGlobe y Puzzle Ventures.
A diferencia del primer proyecto público de ZML, el enfoque centrado en la inferencia Marco de aprendizaje automático lanzado en 2024 y actualizado en marzoZML/LLMD no es de código abierto. Pero se lanza como un producto gratuito con el objetivo de aprender sobre su uso. “Prefiero medir y [then generate revenue] donde es más efectivo sin obstaculizar estúpidamente mi crecimiento porque he sido demasiado codicioso desde el principio”, dijo Morin.
Es demasiado pronto para saber cuándo ZML/LLMD podría convertirse en un producto pago y cómo será su adopción. Pero la tabla de límites máximos de la startup confirma que otros fundadores están prestando atención, incluido el fundador de Dagger y Docker, Solomon Hykes, Clément Delangue y Julien Chaumond de Hugging Face, así como LeCun, ahora con AMI Labs. Esto también refuerza el argumento de que las nuevas empresas europeas de IA ahora pueden construir desde casa. “No podía hacer ZML en ningún otro lugar que no fuera París”, dijo Morin.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.
