Nem toda empresa pode ou deve construir seu próprio modelo de linguagem de IA de fronteira. No entanto, o aproveitar controlar o modelo é algo que a maioria das empresas pode e deve personalizar para seus propósitos específicos.
Claro, é mais fácil falar do que fazer. UMos recursos dos agentes ainda são amplamente ajustados por meio de depuração handbook e advert hoc — um processo que depende muito da intuição, em vez de ciclos de suggestions sistemáticos, tornando difícil acompanhar o ritmo dos LLMs em rápida evolução.
Para resolver este desafio, pesquisadores do Laboratório de Inteligência Synthetic de Xangai introduziram “Auto-arnês“, um novo paradigma no qual um agente baseado em LLM melhora sistematicamente suas próprias regras operacionais. Ao examinar seus próprios traços de execução para aplicar edições, o sistema troca suposições manuais por evidências empíricas.
Equipamentos de autoaperfeiçoamento podem permitir que as equipes de desenvolvimento implantem agentes personalizados robustos que adaptam continuamente seus próprios protocolos de execução para superar pontos fracos específicos do modelo.
O desafio da engenharia de chicotes
O desempenho de um agente baseado em LLM não é determinado apenas pelo seu modelo básico subjacente, mas também pelo seu aproveitamento: o sistema circundante que fornece contexto e permite que o modelo interaja com o ambiente. Um chicote inclui componentes como prompts do sistema, ferramentas, memória, regras de verificação, políticas de tempo de execução, lógica de orquestração e procedimentos de recuperação de falhas.
Essa camada é essential porque muitas falhas comuns de agentes decorrem do chicote e não do modelo. Por exemplo, um agente pode relatar sucesso sem verificar a resposta do modelo (por exemplo, executando o código para ver se ele passa nos testes) ou pode tentar novamente uma ação que falhou repetidamente. O chicote também é responsável por evitar a deterioração ou sobrecarga do contexto quando o histórico de interação do agente cresce muito. Exemplos de chicotes populares incluem agente SWE, Claude Code, Codex e OpenHands.
A engenharia de chicotes continua sendo um desafio significativo, mas o gargalo não é necessariamente que os humanos sejam muito lentos ou incapazes.
Na verdade, Hangfan Zhang, principal autor do artigo Self-Harness, disse ao VentureBeat que “em muitos casos, um engenheiro experiente com profundo conhecimento do domínio ainda pode propor mudanças melhores do que um LLM pode hoje”.
Em vez disso, o verdadeiro gargalo da engenharia handbook é que ela depende fortemente de depuração advert hoc, em vez de um ciclo de suggestions empírico e verificável. “A questão mais profunda é que o atual paradigma de engenharia de chicotes muitas vezes carece de um ciclo de suggestions sistemático”, explicou Zhang. “Muitas edições são feitas com base na intuição, em algumas falhas observadas ou na depuração advert hoc.”
Com novos modelos sendo lançados em ritmo acelerado, depender da intuição humana para ajustar manualmente os chicotes específicos do modelo torna-se cada vez mais caro e insustentável. Embora algumas abordagens utilizem modelos mais fortes para melhorar a capacidade dos agentes-alvo mais fracos, esta dependência da orientação externa tem os seus próprios desafios, uma vez que estes modelos podem ser dispendiosos, indisponíveis para modelos de fronteira ou incompatíveis com os modos de falha do modelo-alvo.
Como funciona o autocontrole
O paradigma Self-Harness permite que um agente baseado em LLM melhore seu próprio aproveitamento sem depender de engenheiros humanos ou modelos externos mais fortes.
Essa autoevolução contínua é impulsionada por um ciclo iterativo de três estágios que transforma evidências comportamentais em atualizações de aproveitamento:
-
Mineração de fraqueza: A partir de um equipamento inicial, o agente executa um conjunto de tarefas, produzindo rastros de execução com resultados verificáveis. O agente categoriza rastreamentos com falha e tenta detectar padrões de falha específicos do modelo.
-
Proposta de aproveitamento: Com base nesses padrões de falha, o agente usa uma função de “proponente” para gerar um conjunto de modificações de chicote diversas, porém mínimas, cada uma vinculada a um mecanismo de falha específico para evitar correções excessivamente gerais.
-
Validação da proposta: O sistema avalia as modificações candidatas por meio de testes de regressão. Uma edição só será promovida se melhorar o desempenho sem causar degradação mensurável nas tarefas suspensas. Se múltiplas modificações candidatas passarem nos testes de regressão, elas serão mescladas na próxima versão do equipamento, que servirá como ponto de partida para a próxima iteração.
Para visualizar por que uma empresa precisaria disso, think about um agente automatizado de correção de problemas que lê a documentação interna, escreve patches e abre solicitações pull. Se a empresa atualizar seu estilo de documentação, o agente poderá falhar repentinamente, extraindo o contexto errado ou escrevendo patches incorretos.
Superficialmente, o agente simplesmente parece quebrado. Mas o Self-Harness transforma essa falha ambígua em um problema solucionável. “Os rastreamentos de falhas expõem onde o agente está fazendo uso indevido do novo formato de documentação; o proponente pode gerar uma edição de chicote direcionada… e o avaliador pode decidir se essa edição melhora os casos de falha sem regredir outros casos”, disse Zhang.
Autocontrole em ação
Os pesquisadores avaliaram o autocontrole em Terminal-Banco-2.0um benchmark que testa a execução geral baseada em ferramentas, incluindo gerenciamento de artefatos, uso de comandos, comportamento de verificação e recuperação de erros de execução. Eles aplicaram o auto-arnês com MiniMax M2.5, Qwen3.5-35B-A3B e GLM-5.
Para isolar o impacto do equipamento autoevolutivo, eles começaram com um equipamento mínimo construído no SDK do DeepAgent, contendo apenas o immediate do sistema voltado para o benchmark e o sistema de arquivos padrão e as ferramentas de shell. O back-end do modelo, o conjunto de ferramentas, o ambiente de benchmark e o avaliador foram mantidos inalterados, enquanto apenas o equipamento pôde variar.
Os resultados quantitativos mostram que os agentes melhoraram seu desempenho por meio de edições automatizadas de equipamentos. Em tarefas pendentes, o desempenho aumentou significativamente em todos os níveis, variando de 33 a 60 por cento melhorias relativas para diferentes modelos.
É importante ressaltar que uma regra de aceitação explícita promove apenas as edições que melhoram o desempenho sem introduzir regressões inaceitáveis. O que torna o Self-Harness poderoso para aplicativos corporativos é que ele não apenas torna o immediate mais longo ou adiciona instruções genéricas. Em vez disso, introduz mudanças direcionadas que refletem os problemas recorrentes que cada modelo encontra durante a execução.
Por exemplo, sob o equipamento de linha de base, o MiniMax M2.5 ficaria preso explorando incessantemente as configurações do conjunto de dados até que o ambiente de execução expirasse, deixando de produzir quaisquer resultados. Através do Self-Harness, o sistema identificou essa falha específica e escreveu um “loop breaker” em sua política de tempo de execução, forçando o agente a parar e redirecionar sua abordagem após 50 chamadas de ferramenta. Também foi adicionada uma regra para criar uma versão inicial dos artefatos necessários o mais cedo possível.
Por outro lado, o Qwen-3.5 tinha o hábito de encontrar um erro de substituição de arquivo e, em seguida, tentar cegamente o mesmo comando repetidamente, eventualmente excluindo os arquivos necessários por confusão antes de parar. O autocontrole corrigiu isso introduzindo uma disciplina estrita de repetição de comando (proibindo comandos duplicados exatos) e um mecanismo que forçava o agente a recriar imediatamente quaisquer artefatos ausentes se ocorresse um erro de arquivo.
O GLM-5 lutava para preservar as mudanças ambientais em diferentes comandos e muitas vezes perdia tempo com downloads massivos ou finalizava tarefas mesmo quando as verificações de integridade falhavam. Seu chicote autogerado introduziu regras instruindo o agente a persistir variáveis PATH em sessões de shell, limitar a computação externa e reparar quaisquer falhas nas verificações de integridade antes de concluir sua execução.
Os custos ocultos dos chicotes automatizados
Embora o Self-Harness automatize o tedioso trabalho de rastrear falhas idiossincráticas de modelos, os tomadores de decisão devem ser realistas quanto às compensações. Substituir a engenharia humana por tentativa e erro automatizado requer uma sobrecarga computacional significativa.
“O autocontrole substitui parte da carga de engenharia humana pela geração repetida de propostas, avaliação paralela de candidatos e testes de regressão”, disse Zhang. “Isso pode significar mais tokens de API, mais latência durante a otimização e mais infraestrutura para executar tarefas de avaliação.”
Além disso, este sistema depende da precisão do seu pipeline de avaliação. Durante seus experimentos no Terminal-Bench-2.0, os pesquisadores confiaram em verificadores rigorosos e determinísticos para garantir que as edições do agente fossem realmente úteis. Sem essa verdade rigorosa, um sistema automatizado corre o risco de promover atualizações ruins. “[The] o sistema de avaliação não é um componente opcional; é o que nos permite trocar a intuição humana por evidências empíricas”, disse Zhang.
Esta dependência de verificadores rigorosos também determina onde o Self-Harness deve ser implantado. “Os melhores alvos de implantação hoje são ambientes onde as falhas podem ser medidas e onde a tentativa e erro é relativamente segura”, disse Zhang, apontando a codificação, a automação do fluxo de trabalho interno e os pipelines de dados DevOps como casos de uso ideais.
Por outro lado, as empresas devem evitar automatizar totalmente os recursos em campos de alto risco ou subjetivos. “Os sinais de alerta mais claros são domínios onde a avaliação é subjetiva, atrasada, não determinística ou dispendiosa para ser errada, como tomada de decisões médicas, infraestrutura crítica de segurança ou decisões legais”.
De ajustadores imediatos a arquitetos de suggestions
A introdução de agentes de autoaperfeiçoamento não significa que a codificação ou os fluxos de trabalho corporativos se tornarão subitamente livres de humanos. A qualidade da colaboração entre o engenheiro humano e a IA ainda é basic e difícil de capturar com benchmarks automatizados.
Em vez disso, a profissão de engenharia está subindo na camada de abstração. “O papel dos engenheiros corporativos mudará de corrigir manualmente prompts individuais ou chamadas de ferramentas para projetar sistemas de suggestions que possibilitem a melhoria do agente”, previu Zhang. Seguindo em frente, “o engenheiro se torna menos um ajustador imediato e mais um arquiteto de suggestions”.
À medida que os modelos básicos se tornam mais capazes, eles absorverão naturalmente muitas capacidades que atualmente exigem engenharia handbook de chicotes. “Mas quando isso acontecer, o equipamento não desaparecerá; seu escopo se expandirá para conectar o modelo a ambientes externos mais ricos”, disse Zhang. “Até que essa fronteira ultrapasse o que os humanos podem avaliar, os humanos continuarão a ser fornecedores críticos de suggestions.”
