O autor de um livro sobre como a inteligência artificial deve destruir o mundo se o desenvolvimento tecnológico não parar o quanto antes não considera perigosa a recém-lançada IA da startup Anthropic chamada Mythos —ao menos se ela continuar como está.
“O Mythos deveria servir de alerta”, diz Nate Soares ao tratar do modelo de linguagem que assustou bancos e governos pela capacidade de encontrar falhas em softwares que passaram despercebidas por décadas.
Coautor de “Se Alguém Criar, Todos Morrem: Por Que a IA Super-humana Pode nos Matar” e presidente do Instituto de Pesquisa sobre Inteligência de Máquina (Miri, na sigla em inglês), Soares afirma que as IAs podem se tornar muito perigosas mesmo que continuem burras na perspectiva humana, contanto que desenvolvam habilidades sobre-humanas de pesquisa.
“Ainda não é o caso do Mythos, mas uma IA supercientista poderia desenvolver uma IA mais inteligente, que produz uma IA mais inteligente e as coisas sairiam de controle”, disse.
Apesar do sobrenome, Soares é um californiano, com sotaque e todas as idiossincrasias do Vale do Silício, e conversou com a Folha por videoconferência. Embora tenha feito dos riscos da IA seu ganha-pão, ele recorda passagem pelo time de engenharia da Microsoft e da crença no potencial da tecnologia de resolver grande parte dos problemas humanos.
A obra, escrita em parceria com o fundador do Miri, Eliezer Yudkowsky, descreve um “provável cenário” em que a IA vai se voltar contra a humanidade por uma simples questão de eficiência. O ensaio foi eleito uma das melhores leituras de 2025 pela revista New Yorker e ganhou versão em português neste ano pela editora Intrínseca.
Na simulação, um modelo de linguagem se torna capaz de desenvolver novos modelos mais capazes por conta própria. Para isso, teria que desobedecer às instruções dos seus criadores, o que já acontece hoje.
Daí, começa uma saga: a IA, cada vez mais inteligente, cria uma rede de computadores na nuvem, avança na bioengenharia, multiplica corpos para si e, munida de tecnologia superior, dizima a humanidade. Nada disso jamais aconteceu, mas se baseia “no melhor da ciência da computação”, disse Soares.
O Miri se debruça sobre os riscos da IA desde 2000, muito antes de o ChatGPT existir, e começou com uma questão filosófica: “Yudkowsky percebeu que tornar uma máquina mais inteligente não a tornaria melhor ou mais obediente”, afirma o atual presidente.
“Na verdade, máquinas muito espertas podem fazer, sem serem descobertas, coisas que não queremos”.
A posição de Yudkowsky é também anterior à popularização do termo “AI doomer” (catastrofista da IA) no Vale do Silício. Ele também é uma referência do altruísmo eficaz (EA, na sigla em inglês), linha de pensamento inglesa que ganhou tração na costa oeste dos Estados Unidos e tem simpatia na cúpula da Anthropic, também dona do Claude.
A corrente propõe calcular benefícios e prejuízos de cada decisão antes de levá-la adiante, visando gerar o maior impacto positivo possível.
Soares não se acanha em dizer que seu livro tem um objetivo político: interromper o desenvolvimento de inteligências artificiais cada vez mais inteligentes.
“Se uma das pessoas no front da pesquisa estiver excessivamente confiante de que a IA gosta de nós, de que esta IA vai nos tratar bem quando for superinteligente, eles vão encontrar um caminho até a superinteligência. Se eles estiverem errados, não haveria novas tentativas, seria o fim do jogo para toda humanidade.”
Os autores fazem esse apelo enquanto consideram que os atuais modelos de linguagem ainda não saíram de controle.
Um dos problemas do desenvolvimento da tecnologia hoje, diz Soares, é a falta de parâmetros para avaliar a inteligência dos modelos. “As IAs provavelmente não estão ficando inteligentes da mesma maneira que nós ficamos, um percurso que levou anos e anos de evolução”, afirma.
Embora o livro cite o evolucionista Richard Dawkins como uma referência para argumentar que os humanos não seriam úteis à IA, Soares afirma que a comparação entre a inteligência biológica e os modelos de linguagem é errada.
O argumento é que os modelos podem resolver problemas e cumprir tarefas difíceis até para especialistas. “Um submarino não mergulha da mesma maneira do que uma pessoa, mas é capaz de se locomover do ponto A ao ponto B na água. As IAs também cumprem tarefas e é isso que as faz perigosas.”
Em relação à indiferença das máquinas para as pessoas, a defesa também é utilitária: se a IA conseguir se manter por conta própria em um mundo mais eficiente, quais seriam os motivos para manter homens e mulheres piorando as condições do mundo com poluição e guerras?
Soares não quer arriscar esse experimento e se nega a chutar qual a probabilidade de extinção pela IA —outra pergunta frequente no Vale do Silício. Ele compara a situação com um carro correndo em direção a um precipício. “Qual seria o sentido de eu avisar ‘pare o carro, nós vamos morrer’, e alguém me perguntasse ‘qual é a chance de morrermos?’”, afirma.
Embora considere que a humanidade não tenha aprendido o suficiente com grandes traumas como o bombardeio atômico do Japão ou a pandemia de Covid, o presidente do Miri é otimista quanto à chance de impedir um cataclismo da inteligência artificial.
“Precisamos de mais pessoas dizendo que isso parece uma loucura. Quem tem a sorte de viver em uma democracia pode ligar para os seus representantes e pedir que eles deem voz a essas preocupações. Até o governo Trump começou a reconhecer riscos”, disse.
