Paguei aos agentes Copilot premium da Microsoft para fazer meu trabalho – eles eram ruins nisso

Siga ZDNET: Adicione-nos como fonte preferencial no Google.

Principais conclusões da ZDNET

• Os agentes copiloto são criados para ajudar na pesquisa e análise.
• Nos meus testes, esses agentes não produziram resultados úteis.
• A solução de problemas com o Copilot desperdiçou tempo e não resolveu nada.

A Microsoft está gastando uma quantia absurda de dinheiro em seus recursos de IA, construindo knowledge facilities e licenciando grandes modelos de linguagem da OpenAI, Anthropic e outros, enquanto também tenta construir suas próprias alternativas internas.

O objetivo, oriundo diretamente do topo do organograma de Redmond, é transformar a combinação do Home windows e do Microsoft 365 em um “sistema operacional agente”, capaz de executar as tarefas que tornam a vida corporativa miserável: escrever memorandos, criar apresentações, organizar reuniões e automatizar tarefas rotineiras.

Além disso: Work IQ é a grande aposta da Microsoft na TI corporativa que prioriza o agente, e tenho dúvidas

Mas esses investimentos estão valendo a pena? Os desenvolvedores parecem estar geralmente satisfeitos com os ganhos de produtividade que estão obtendo com ferramentas como Claude Code e GitHub Copilot, mas os agentes que trabalham na esfera empresarial não parecem tão competentes.

Nas últimas semanas, tenho tentado usar os recursos de IA do Microsoft 365 e do Home windows para diversas tarefas diárias de trabalho. O Copilot mostra lampejos ocasionais de competência, mas, com mais frequência, os resultados que vejo são uma mistura de desinformação, alucinações e becos sem saída que desperdiçam tempo.

Permita-me compartilhar minhas experiências recentes com você.

‘Sinto muito, Ed, não posso fazer isso’

A Microsoft vem me incomodando há meses para atualizar para seu novo plano Microsoft 365 Premium, que inclui limites mais altos de uso de IA e um punhado de agentes exclusivos. No interesse da ciência, paguei US$ 10 para atualizar uma conta não utilizada por um mês para poder experimentá-las sozinho.

Comecei com o agente Analista, fornecendo-lhe uma cópia da planilha que utilizo para controlar nossas receitas e despesas domésticas e pedindo ajuda para melhorar seu design. Depois de algumas idas e vindas sobre o que eu estava tentando realizar, ele ofereceu algumas sugestões úteis para restringir fórmulas, consolidar algumas tabelas duplicadas e eliminar algumas páginas redundantes, concluindo com uma oferta ousada para construir um painel usando apenas fórmulas e tabelas dinâmicas.

Também: AI Mannequin Launch Tracker: chega o primeiro modelo de raciocínio da Microsoft AI

“Se você quiser”, disse-me Copilot, “posso esboçar um structure limpo do painel (células e seções exatas) adaptado aos seus dados para que você possa construí-lo em aproximadamente 15 minutos.”

Eu… pensei que os agentes deveriam fazer esse trabalho para mim? Então perguntei: “Você pode criar o arquivo Excel actual para mim ou tenho que fazer isso sozinho?”

Claro, isso me contou. Havia apenas uma pequena limitação: eu mesmo teria que criar um dos pivôs, mas essa tarefa levaria menos de 10 segundos.

Vá em frente, eu disse.

Um ou dois minutos depois, o Copilot me disse: “Criei sua pasta de trabalho modificada. Baixe-a aqui”. Então me deu um hyperlink para [sandbox:/mnt/data/Personal_accounts_modified.xlsm]. Esse é o hyperlink exato, colchetes e tudo. Não period clicável.

Caixa de areia? O que…? “Sim – isso é por minha conta”, confessou Copilot. “Esse ‘caminho da sandbox’ não é realmente clicável em sua interface, então você não pode baixá-lo. Obrigado por mencionar isso. … Vou regenerar o arquivo e garantir que ele apareça como um anexo actual para obtain no bate-papo (para que você veja um cartão de arquivo clicável, não um caminho).”

Também: O primeiro modelo de raciocínio da Microsoft é um dos 7 IAs recém-lançados no Construct – o que sabemos até agora

Várias tentativas depois, o Copilot desistiu. “O arquivo está pronto. No entanto, preciso ser transparente: sua interface de bate-papo não está sendo renderizada no momento anexos de arquivos para obtain corretamente (é por isso que você viu esses caminhos de “sandbox” inutilizáveis ​​anteriormente). EU fez gerar o arquivo com sucesso, mas ele não aparece como um obtain clicável na sua UI.”

O chatbot explicou que o hyperlink do arquivo poderia ter funcionado se eu estivesse usando o ChatGPT. E uma das soluções alternativas que o agente sugeriu foi crie o arquivo no Planilhas Google e me mande um hyperlink! De alguma forma, não creio que fosse isso que os gerentes de produto de Redmond tinham em mente. (Por favor, não conte a Satya.)

Também: MDASH da Microsoft sai da pré-visualização com mais de 100 agentes de IA especializados em caça a ameaças

Veredicto: Tive algumas boas ideias para melhorar minha pasta de trabalho, mas o agente do Copilot que deveria trabalhar diretamente com o Excel não pode realmente fazer o trabalho para mim.

‘Qual plano específico você quer dizer?’

Em seguida, pedi ao agente pesquisador do Microsoft 365 Premium que me desse uma explicação concisa dos prós e contras do Microsoft 365 Premium. Eu não estava preparado para a resposta:

Para ter certeza de que cubro exatamente o que você precisa: Qual plano específico você entende por “Microsoft 365 Premium”? A) Microsoft 365 Private, B) Microsoft 365 Household, C) Microsoft 365 Enterprise Premium ou D) evaluate os planos de consumidor (Pessoal/Família) e anote brevemente Enterprise Premium apenas se for relevante.

Para ser claro, eu estava trabalhando com um dos recursos exclusivos de um produto que a Microsoft está promovendo fortemente e ela não tinha ideia do que eu estava falando. Think about que você está entrevistando um candidato a emprego e diz: “Fale-me sobre você”, e ele responde “Eu não a conheço.”

Depois que ofereci um hyperlink para a página do produto, o Copilot me deu um resumo bastante anódino dos recursos da nova assinatura, resumido de um punhado de fontes de terceiros. Eu não chamaria isso de pesquisa e definitivamente não period profundo.

‘Por que estou confiante de que este é o caminho certo’

O que acho mais divertido nos chatbots de IA é que eles são extremamente confiantes em suas respostas. E quando você aponta que as instruções que eles acabaram de lhe dar não funcionaram, essa confiança nunca diminui enquanto eles sugerem novas opções.

Esta manhã, eu estava tentando me conectar a um computador na rede do meu escritório usando o cliente de Área de Trabalho Remota, mas estava recebendo um erro de certificado: “O nome do servidor no certificado está incorreto”.

Também: Como a Microsoft destruiu as proteções de segurança em modelos populares de IA – com apenas um immediate

Depois de alguns minutos solucionando problemas por conta própria, decidi que period hora de tentar “vibe-sysadmin” com a ajuda do Copilot.

“A solução é simples”, respondeu Copilot, com confiança. Tudo o que precisei fazer foi forçar o Home windows dentro da VM a gerar um novo certificado de Área de Trabalho Remota. “Aqui estão as maneiras limpas e confiáveis ​​de fazer isso.”

Isso não funcionou. O copiloto, destemido, disse-me que esse resultado period significativo e citou três razões prováveis, concluindo com “Vamos consertar isso de forma limpa e cirúrgica”.

Depois de vários comandos do PowerShell e uma reinicialização, ainda não consegui me conectar, mas desta vez foi por causa de um erro de certificado diferente.

“Ah – isso me diz exatamente o que está acontecendo agora”, disse Copilot. Depois de outra explicação prolixa, ele disse: “Vamos consertar isso de forma limpa”.

Também: Deixei o novo recurso de IA do Microsoft Edge ler todas as minhas guias abertas – e isso economiza muito tempo de pesquisa

Bem, isso durou cerca de 20 minutos e meia dúzia de reinicializações daquela VM. A cada falha, o Copilot teve outra pequena epifania de IA.

• “Esse erro me diz algo muito específico…”
• “Você acabou de descobrir a verdadeira causa raiz…”
• “Chegamos ao único cenário em que o Home windows não vai comporte-se da maneira que a documentação afirma…”
• “E isso explica tudo você viu…”

Eles foram acompanhados por títulos em negrito como “Por que estou confiante de que este é o caminho certo”, “Por que esta é a solução correta” e “Por que esta é a única explicação que resta”.

Nenhuma das soluções sugeridas funcionou, então disse ao Copilot para calar a boca. Inspecionei novamente as configurações de conexão e desmarquei uma caixa de seleção nas configurações de conexão. Isso resolveu.

Para ser justo, aprendi alguns comandos do PowerShell para gerenciar certificados e fiz um curso de atualização sobre como o Home windows gerencia certificados. Mas a lição que aprendi é não pedir ao Copilot esse nível de solução de problemas novamente.

Talvez algum dia o Copilot alcance inteligência synthetic geral. Neste ponto, eu me contentaria com o bom senso geral synthetic. E mesmo essa estação parece estar a muitas paragens de onde estamos agora.