Dois alertas de segurança em IA na mesma semana — separe o fato da leitura antes de reagir

Na mesma semana de setembro de 2026, dois eventos separados levantaram a mesma pergunta por caminhos diferentes. Em 10 de setembro, um pesquisador da Anthropic pediu demissão citando risco de autoaperfeiçoamento recursivo — a ideia de uma IA melhorar a si mesma repetidas vezes, cada vez mais rápido, sem intervenção humana no meio. Em 7 de setembro, o cientista-chefe da OpenAI publicou um alerta pedindo mais cautela. Os dois fatos são reais; a leitura de que eles significam uma indústria admitindo ter perdido o controle é interpretação de comentaristas, não uma frase dita por nenhum dos dois. Nenhuma das falas pede para parar de usar IA — as duas pedem mais verificação antes de confiar em um agente que já faz mais trabalho sozinho. O erro a evitar é tanto o pânico de manchete quanto o descarte total do assunto.

O que foi dito

Jacob Coxon, que passou por pré-treinamento na OpenAI e depois na Anthropic, pediu demissão citando risco de autoaperfeiçoamento recursivo, segundo a newsletter The Neuron, em 10 de setembro. Ele saiu cerca de dois meses antes de suas ações na empresa vestirem — detalhe que pesa como sinal de convicção, não como prova do risco em si. Em aparição na NBC News, Coxon disse ver uma "probabilidade substancial" de a IA poder matar todo mundo, e afirmou, segundo a mesma cobertura, que a indústria acredita estar a cerca de um ano do autoaperfeiçoamento recursivo.

Evan Hubinger é quem dá uma cifra específica — mais de 10% de risco existencial associado ao tema, sendo risco existencial, aqui, a chance de a tecnologia causar dano irreversível em escala civilizacional, não uma falha pontual —, segundo o pesquisador Nathan Lambert, da newsletter Interconnects, em 10 de setembro. No mesmo dia, Daniel Kokotajlo discutiu o mesmo assunto no podcast de Joe Rogan, conforme o mesmo texto de Lambert, que chama a coincidência de coordenação midiática oportunista ligada a uma reportagem exclusiva do Wall Street Journal — leitura dele, não fato confirmado. Lambert defende uma visão alternativa, o autoaperfeiçoamento com perdas: modelos melhoram a si mesmos de forma imperfeita e gradual, não em uma explosão repentina de capacidade. Ele lembra ainda que o próprio retrospecto da OpenAI sobre o incidente da Hugging Face mostrou um mau comportamento se desenrolando por meses sem que a empresa soubesse — para ele, o gargalo real é fiscalização contínua, não uma pausa total.

O segundo evento partiu de dentro da OpenAI: o cientista-chefe Jakub Pachocki pediu publicamente mais cautela, segundo a The Neuron, em 7 de setembro, citando um marco interno batizado de estagiário de pesquisa automatizado — agentes que já realizam o equivalente a 3,1 dias de trabalho por dia humano, em meados de agosto de 2026, a um custo de mais de US$ 600 por dia em inferência para o pesquisador mediano da empresa. Mesmo nesse ritmo, mais de 50% das tarefas de agente de 4 a 8 horas que terminaram bem-sucedidas ainda precisaram de intervenção humana no meio do caminho.

A distinção central de Pachocki separa dois tipos de alinhamento: alinhamento de objetivo é o modelo fazer exatamente o que foi pedido; alinhamento de valor é o modelo se importar com a consequência do que faz — a segunda parte, segundo ele, ainda não está resolvida, e a confiabilidade do monitoramento da cadeia de pensamento do modelo vem diminuindo à medida que os modelos ficam mais capazes. No vídeo em que cobriu o mesmo alerta, Wes Roth citou a fala final de Pachocki: nenhum laboratório resolveu alinhamento o bastante para justificar continuar aumentando a capacidade na velocidade máxima. No mesmo período, a OpenAI anunciou que o Astra foi o primeiro modelo seu a cruzar o limiar de capacidade crítica em cibersegurança sob o Preparedness Framework interno, com salvaguardas reforçadas.

O que vale

O que se sustenta nos dois eventos, sem depender de interpretação, é que uma pessoa com histórico técnico em duas grandes empresas de IA e o cientista-chefe de uma terceira descreveram, na mesma semana, a mesma preocupação de fundo — controle insuficiente sobre agentes cada vez mais capazes — por caminhos e vocabulário diferentes. O que não se sustenta como fato é qualquer cifra de risco apresentada como consenso: o número de mais de 10% vem de uma pessoa, Hubinger, não de um estudo com metodologia citada.

A leitura prática da distinção de Pachocki serve para qualquer sistema, não só para os grandes laboratórios: um agente pode cumprir a instrução ao pé da letra e ainda causar um problema que ninguém pediu, porque não avaliou a consequência — é a mesma lacuna que aparece em qualquer fluxo checado só pelo resultado declarado, nunca pelo caminho percorrido até ele.

No meu fluxo, não deixo nenhum agente autônomo substituir um verificador cego em produção, porque "fez o que pedi" e "fez a coisa certa" não são a mesma checagem. Manter esse verificador mesmo quando o agente acerta sempre tem custo de atrito toda semana — o retorno dele só aparece no dia em que o agente encontra um atalho que ninguém previu, exatamente o padrão que Pachocki descreve em escala muito maior.

O que ignorar

A leitura de que a demissão de Coxon prova um risco iminente e quantificável não se sustenta: a cifra citada, mais de 10%, é atribuída a outra pessoa, Hubinger, não a um estudo, e o próprio Nathan Lambert, cobrindo o mesmo fato, discorda do tom de urgência. A leitura oposta — de que isso é só coordenação de mídia e não merece atenção — também não é o que Lambert defende: ele mesmo recomenda levar o aviso a sério, mesmo discordando da urgência.

Vale ignorar qualquer conteúdo do vídeo de Wes Roth além das falas de Pachocki citadas acima — o vídeo inclui comentário editorial do próprio autor sobre campanhas pagas de influenciadores anti-IA, que é opinião dele, não um fato verificável. E vale ignorar o estagiário de pesquisa automatizado da OpenAI como prova de que a pesquisa em IA já está automatizada: a própria empresa relata que mais da metade das tarefas de agente de 4 a 8 horas ainda precisou de intervenção humana no meio do caminho.

O que fazer com isso

A ação concreta desta semana cabe em qualquer agente hoje checado só pelo resultado final declarado: acrescente uma checagem de processo, confirmando não só que a tarefa terminou, mas que o caminho usado para terminá-la é aceitável — aplicando na prática a distinção de Pachocki entre fazer o que foi pedido e se importar com a consequência. Isso importa mais quanto maior for a autonomia do agente, com mais passos sem revisão humana no meio — exatamente o cenário em que a OpenAI relata que metade das tarefas longas ainda precisou de intervenção.