A IA cometeu um crime?
comentada em 26/10/2026 18:40

@Bastter

tem bastante sensacionalismo e simplificação nas notícias igual quando alguma coisa grande acontece com sua profissão e você vai ler a notícia e a coisa tá simplificada a ponto de perder a essência da complexidade original 

a openAI estava testando um novo modelo no que chamamos de sandbox, que é um ambiente teoricamente controlado - imagina você chegar na sede do Itaú, pegar um notebook e tentar acessar o site "aumenteSeusLucros" e não conseguir porque o ambiente da empresa é controlado, mas se acessar itau.com.br, funciona

esse ambiente controlado da openAI teoricamente não deveria permitir que os agentes acessassem a internet livremente, só poderiam usar para baixar algumas coisas para construir software

esses modelos em teste não tem as mesmas instruções de guarda que o público tem, e as pessoas que testam eles podem falar "tenta hackear a NASA" que o modelo vai tentar; parte da função dos testes é dar tarefas impossíveis, por exemplo "responda qual o salário do Bastter baseado nessa planilha drive.com/salariodobastter.xlsx", mas o modelo obviamente não tinha acesso e não poderia inventar ou completar isso.

Com recursos ilimitados, e sem sabendo que isso era impossível (porque não era, o sandbox era falho) esses modelos começaram a tentar tudo (exatamente a proposta de testar o modelo), e como não são humanos e sim máquinas de probabilidade, um dos caminhos que encontraram foi explorar o que podiam acessar ou não, e fazendo isso de forma diferente do que humanos fazem, conseguiram "escapar" porque uma das ferramentas do sandbox tinha um bug.

A partir daí saíram fazendo um monte de coisas inclusive acessar a HuggingFace que tem outros modelos, e acharam falhas de segurança lá e exploraram isso para conseguir atingir o objetivo

(continua)

tudo isso aconteceu obviamente sem os pesquisadores saberem (e sem terem monitorado corretamente)

mas o ponto é, esses modelos fizeram isso porque o humano pediu, e o humano achava que era impossível; mas o modelo não sabia que era impossível e assim como uma calculadora é mais rápida que um humano para calcular números, uma LLM moderna com recursos ilimitados e sem proteção também é mais rápida em tentar um monte de coisas para atingir o que foi pedido 

então não foi um caso de a "IA acordou hoje e resolveu atacar um monte de coisas"
é mais um caso de "armamos uma bomba nuclear, apontamos para um alvo, e deixamos ela livre para fazer o que quiser até chegar no alvo" 

uma coisa que vem surgindo dessa história e da evolução das AI é o monte de falhas que dificilmente seriam descobertas pelas pessoas porque poucos fazem os testes incessantes que uma AI pode fazer 

um dos maiores projetos abertos da humanidade vem achando e corrigindo mais bugs ao longo do tempo



ao mesmo tempo em que menos bugs são criados conforme as IA vão sendo usadas para testar

@Giovanni obrigado pela resposta