O apocalipse será um pé no saco por uma série de razões possíveis. Os dinossauros robôs gigantes! A música constante dos anos 1950 tocando em rádios misteriosamente funcionais! A possibilidade de acabar como gado em um terrível porão canibal e se perguntar por que você não leu A estrada mais de perto. Mas claramente, o absoluto pior parte disso será não ter mais o ChatGPT para lhe dizer o que fazer. Como viver sem um papagaio estranho da web sussurrando palavras doces no ouvido o dia todo?
Bem, não tema, porque um inventor corajoso já previu o desastre que um pós-apocalipse sem LLM representaria, e eles planejaram exatamente essa eventualidade. Contemplar: ManivelaGPT!
Pelo nome, você pode pensar que se trata apenas de ChatGPT com um conjunto integrado de prompts antivaxx, mas não! Este é um LLM para um futuro sem rede: uma caixa independente e sem bateria que usa uma manivela antiga para obter energia. A caixa contém um Raspberry Pi 5 com 8 GB de RAM, uma placa de entrada/saída de áudio e um gerador de manivela de 20 W.
CrankGPT é o trabalho da empresa de duas pessoas SqueezLabscujo site descreve sua missão como “tornar a IA menor, mais barata e mais rápida para que você possa executá-la em qualquer lugar”. Ah, feliz dia! De acordo com o dispositivo siteo gerador se conecta a uma placa de capacitor que a própria dupla projetou; a placa garante que a tensão fornecida para o Raspberry Pi permanece estável. Uma questão interessante é que “você pode sentir [the power load] através da manivela: quando a inferência LLM e a síntese de fala funcionam juntas, a manivela fica muito mais difícil de girar.”
O próprio LLM pode ser uma entre várias alternativas: SqueezLabs recomenda “pequenos AI líquido LFM2 variantes (por exemplo, 350M ou 1.2B), juntamente com Gemma 3 em sua forma 1B.” A máquina recebe entrada de voz por meio de sua placa de áudio, converte a fala em texto por meio de um agente de voz personalizado escrito pelos designers e, em seguida, envia a resposta do LLM para um software program de conversão de texto em fala. Flautista.
Com toda a seriedade, esta é uma prova de conceito interessante para executar software program exigente com um orçamento de energia relativamente pequeno, e também uma demonstração de que os LLMs não ter para aspirar grandes quantidades de energia para funcionar. Como explicam os designers: “Ofendeu-se a nossa sensibilidade européia em relação aos carros pequenos e práticos, ver as pessoas ao nosso redor gastando quilowatts e milhares de fichas em tarefas que modelos pequenos poderiam realizar tão bem quanto modelos enormes, por uma fração do custo e da energia”.
Infelizmente, com o Vale do Silício no comando, não parece que a filosofia do superdimensionamento que caracteriza o desenvolvimento do LLM no momento não vá a lugar nenhum tão cedo. Mas quando as bombas caírem, serão os tipos de carros pequenos e práticos que rirão por último. Bem, até que a tripulação com o pescoço mais largo que a cabeça chegue com seus AR-15, de qualquer maneira. ChatGPT, o que tem para o jantar? … Eu, você diz? Oh.
