Os agentes de IA são cada vez mais proficientes na execução de tarefas empresariais de forma autónoma, mas os líderes de TI são cautelosos na concessão de permissões para aceder aos sistemas empresariais.
Parte do desafio reside na forma como a confiabilidade da IA é medida. Os padrões do setor geralmente dependem de pontuações EVAL, que fornecem um instantâneo estático do desempenho, em vez de uma medida da confiabilidade geral. Essas métricas podem não conseguir capturar a previsibilidade entre prompts, ambientes e tipos de entrada, disse Bryan Silverthorn, diretor do laboratório de pesquisa AGI Autonomy da Amazon.
O laboratório de pesquisa de autonomia AGI da Amazon está indo além dos benchmarks de desempenho brutos, concentrando-se em uma estrutura estruturada centrada em consistência, robustez, previsibilidade e segurança, disse Silverthorn ao VentureBeat durante uma entrevista antes de sua sessão no VB Remodel 2026.
Em vez de assumir que os modelos podem ser aproveitados para a segurança, a abordagem da Amazon enfatiza sistemas dissociados, como ambientes em área restrita onde os agentes propõem mudanças que são revisadas por humanos antes da implementação.
Esta estratégia visa colmatar a lacuna de confiança, dando prioridade a interações verificáveis, mesmo em domínios altamente sensíveis como as finanças, onde o dano potencial que um agente pode causar é significativo.
Na pesquisa Q2 Pulse Analysis da VentureBeat com mais de 100 líderes seniores de tecnologia e compradores, apenas 4% disseram que se sentem confortáveis em confiar apenas nos modelos de guarda-corpos. Quando questionados sobre o que mais os preocupa nos modelos de proteção, 40% disseram acesso não autorizado a ferramentas ou dados e 27% citaram manipulação ou injeção imediata.
Na VB Remodel, Silverthorn compartilhará detalhes da abordagem da Amazon para IA confiável de agente e como as empresas podem passar de wrappers de agente único para arquiteturas de múltiplas ferramentas que podem autocorrigir no meio da execução durante sua sessão intitulada Fechando a lacuna entre capacidade e confiabilidade: dentro da estrutura da Amazon para agentes confiáveis de engenharia.
Outra sessão focada em operações de agentes e avaliações na principal conferência da VentureBeat, que acontecerá nos dias 14 e 15 de julho em Menlo Park, é Inteligência em escala: como a Waymo cria IA segura e eficiente para o mundo físico com o palestrante Manasi Joshi, diretor de inteligência de sistemas e aprendizado de máquina da Waymo.
Interessado em participar do VB Remodel 2026? Um número selecionado de passes gratuitos também está disponível para líderes seniores de tecnologia. Contate-nos para conseguir o seu. Você também pode comprar ingressos aqui.
