Na quarta-feira, a OpenAI revelou seu primeiro processador de inferência personalizado, projetado e fabricado em colaboração com a Broadcom. Chamado Jalapeño, o novo processador foi projetado especificamente para as necessidades exclusivas dos sistemas de inferência da OpenAI. Os próprios modelos de IA da OpenAI ajudaram no desenvolvimento do chip, disse a empresa.
Embora o chip ainda esteja sendo testado, a OpenAI afirma que os primeiros resultados mostram um desempenho por watt significativamente melhor do que as alternativas atuais de última geração.
A parceria foi anunciado oficialmente em outubromas os planos de chips da OpenAI têm há muito tempo há rumores como forma de reduzir a dependência da empresa das GPUs da Nvidia. Google e Amazônia ambos construíram chips personalizados para atender a um propósito semelhante, geralmente chamados de “aceleradores de IA” – silício projetado especificamente para acelerar cargas de trabalho de aprendizado de máquina.
O presidente da OpenAI, Greg Brockman, explicou a abordagem da empresa para o desenvolvimento de chips em seu podcast internoemblem após o anúncio da parceria Broadcom.
“Temos uma compreensão profunda da carga de trabalho”, disse Brockman no episódio. “Estamos realmente procurando cargas de trabalho específicas que não são atendidas, [and asking] como podemos construir algo que seja capaz de acelerar o que é possível?”
O Jalapeño foi projetado especificamente para inferência, o processo de execução de modelos de IA pré-construídos em resposta a comandos do usuário. No anúncio, a OpenAI enfatizou o baixo custo operacional do chip ao executar modelos de codificação em tempo actual. É provável que tarefas mais intensivas em desempenho, como o pré-treinamento, ainda dependam do {hardware} Nvidia, mas mesmo pequenas reduções nos custos de inferência podem ajudar muito a melhorar os resultados financeiros da empresa.
A otimização desse sistema de inferência pode ser um fator essential no futuro da economia da IA — e é provável que ocorra em todos os níveis da pilha. A OpenAI já está construindo produtos de agência como o Codex e os modelos que os alimentam, bem como information facilities para executar esses modelos. A mudança para chips específicos permite que a empresa vá ainda mais longe nesse processo, conforme explicou a empresa em seu anúncio.
“A OpenAI não está apenas desenvolvendo modelos de fronteira ou construindo produtos sobre eles; ela está projetando a infraestrutura subjacente a eles: arquitetura de chips, kernels, sistemas de memória, rede, agendamento, sistemas de implantação e experiência de produto”, escreveu a empresa. “Como o OpenAI opera em toda a pilha, cada camada pode ser otimizada em torno do mesmo objetivo: tornar seus modelos mais rápidos, mais confiáveis e mais acessíveis para os usuários.”
Quando você compra por meio de hyperlinks em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.
