Uma nova disciplina de gastos está a tomar conta das empresas americanas, à medida que os CFOs e os conselhos de administração começam a reprimir os gastos ineficientes com inteligência synthetic. A mudança tem o potencial de remodelar o comércio de IA.
Nos últimos dois anos, o handbook tem sido padronizar o modelo de IA mais poderoso e direcionar todas as consultas por meio dele, independentemente da complexidade. Agora, com as contas da IA muito acima dos orçamentos, as empresas começam a questionar se cada tarefa realmente precisa da fronteira. Dois líderes no centro da construção da IA disseram à CNBC esta semana que uma solução está surgindo: roteamento de modelo.
O que é roteamento de modelo?
O roteamento é uma ferramenta que combina o trabalho com o modelo, enviando problemas difíceis para modelos de fronteira caros e problemas fáceis para alternativas mais baratas e mais rápidas.
Scott Wu, CEO da Cognition, que fabrica o agente de codificação Devin, disse que os ganhos no trabalho rotineiro são enormes. Para grande parte do trabalho padrão, disse ele, as empresas podem obter uma eficiência de custos de cinco a dez vezes melhor usando modelos que ainda sejam bons o suficiente para a tarefa.
A maioria das empresas hoje não faz roteamento. O CEO da Glean, Arvind Jain, estimou que cerca de 95% do uso de IA empresarial ainda ocorre nos modelos de fronteira mais caros, mesmo para tarefas que alternativas mais baratas poderiam facilmente realizar. Wu deu o exemplo de pedir a um modelo que nomeasse o terceiro presidente dos EUA. Cada um, por mais caro que seja, dirá que foi Thomas Jefferson.
Arvind Jain, CEO da Glean, no palco SaaS Monster durante o primeiro dia do Net Summit 2022 na Altice Enviornment em Lisboa, Portugal, no dia 2 de novembro de 2022.
Harry Murphy | Arquivo esportivo | Imagens Getty
A pressão por trás da mudança é uma curva de custos que surpreendeu até mesmo as maiores empresas de tecnologia. Jeetu Patel, diretor de produtos da Ciscoexpôs a matemática. Com cerca de US$ 200 de uso de token por funcionário por semana, isso equivale a cerca de US$ 10.000 por ano por pessoa. Com 90.000 funcionários, uma empresa fatura US$ 900 milhões anualmente.
Patel disse que a Cisco superou seu próprio orçamento e teve que se ajustar, com 30 mil engenheiros agora construindo produtos escritos em grande parte com IA. A Cisco realocou recursos, priorizando tokens em detrimento de outros gastos.
Fornecedores sob pressão
As empresas de IA reconhecem a ansiedade.
A Cognition anunciou o que chama de garantia de produtividade de IA. se a Devin oferecer menos valor de engenharia do que o cliente está pagando, a Cognition financiará o uso em até US$ 10 milhões até que esteja à altura. Wu enquadrou-o como uma forma de eliminar o ruído de uma métrica que tem perseguido a indústria: o retorno do investimento.
Em vez de medir atividades como tokens consumidos ou linhas de código, disse Wu, a Cognition estima o número de horas de engenharia humana que seu agente realmente economiza e respalda essa estimativa com um reembolso. Você pode gastar bilhões de tokens e não fazer nada com isso, disse ele. As empresas deveriam lutar pela produção e não pela actividade.
Se as empresas começarem a direcionar o trabalho fácil e de alto volume para modelos de código aberto mais baratos fora da China ou de outro lugar, a OpenAI e a Anthropic deixarão de ser pagas por cada tarefa. Eles só conseguem os trabalhos mais complexos. Ambas as empresas construíram seus negócios, e o Expectativas de IPO em torno deles, no pressuposto de uma enorme procura a preços premium.
Patel não acha que isso afunde os laboratórios de fronteira e diz que a tecnologia de ponta continuará valiosa. Mas ele vê o modelo de preços mudando. Os laboratórios terão que ser mais eficientes na forma como os modelos são usados, em vez de simplesmente cobrar mais, o que Patel prevê que levará a um esforço concertado da indústria.
A questão era se as empresas continuariam a gastar à medida que as suas contas de IA aumentassem. Parece agora que muitos simplesmente encontrarão uma maneira de gastar de forma inteligente. O poder de precificação está mudando das empresas que vendem IA premium para as empresas que a compram.
Os laboratórios de fronteira ainda cobrarão um prêmio pelo trabalho mais árduo. Mas quanto do mercado é composto por outras coisas? A resposta pode ajudar muito a determinar as avaliações das principais empresas de IA.
