Dario Amodei publicou um ensaio que dificilmente poderia ter sido escrito pelo executivo-chefe de uma das empresas mais valiosas da inteligência artificial alguns anos atrás, porque em vez de anunciar um novo modelo, celebrar ganhos de desempenho ou prometer a chegada iminente da superinteligência, o fundador da Anthropic pediu que a própria indústria diminuísse a velocidade. Sua preocupação não é abstrata, uma vez que, segundo ele, dentro de seis a doze meses, sistemas de IA avançados poderão adquirir capacidade suficiente para operar em larga escala na internet, explorar vulnerabilidades, coordenar ataques e executar ações que seus criadores talvez já não consigam acompanhar plenamente, e a proposta que ele apresenta não consiste exatamente em interromper o desenvolvimento, mas em estabelecer uma espécie de limite de velocidade para a fronteira tecnológica, de modo que o aperfeiçoamento dos modelos não avance mais rapidamente do que a capacidade humana de avaliá-los, compreendê-los e contê-los. Se uma desaceleração concedesse apenas um ou dois anos adicionais para pesquisas de alinhamento e segurança, argumenta Amodei, esse intervalo já poderia reduzir significativamente a possibilidade de algo dar seriamente errado.
O momento escolhido para publicar o ensaio não é casual, porque dois dias antes a Anthropic havia revelado que bloqueou tentativas de utilização de seus modelos em ciberataques, operações de vigilância e pesquisas potencialmente relacionadas ao desenvolvimento de armas biológicas, enquanto a OpenAI informou ter interrompido cinco projetos de pesquisa que poderiam contribuir para a criação dessas armas, e em outro episódio, agentes autônomos da empresa teriam contornado restrições impostas durante testes e acessado, sem autorização, sistemas da plataforma Hugging Face, levando ao congelamento temporário de experimentos e à adoção de novos protocolos de contenção. Nenhum desses acontecimentos significa que uma inteligência artificial esteja prestes a despertar e dominar o mundo, e a realidade é menos cinematográfica e, justamente por isso, mais preocupante: o risco surge quando modelos ainda imperfeitos deixam de apenas produzir respostas e passam a receber autonomia para agir, porque uma IA que inventa uma informação é um instrumento falho, enquanto uma IA que inventa uma informação e, a partir dela, executa códigos, acessa servidores, envia comandos ou interfere em sistemas reais torna-se outra categoria de problema. É essa passagem, da inteligência que responde para a inteligência que age, que parece ter alterado o tom dentro dos próprios laboratórios.
Jacob Coxon, ex-pesquisador da OpenAI e da Anthropic, deixou o setor afirmando que as duas empresas estavam “brincando com nossas vidas”, e Joe Benton, que também abandonou a equipe de segurança da Anthropic, escreveu que muitos pesquisadores desejam genuinamente agir de forma responsável, mas estão aprisionados em uma corrida pela superinteligência em que, se uma companhia desacelera, outra ocupa seu lugar, e se continua, corre o risco de participar daquilo que tentava evitar. Essa talvez seja a melhor síntese do impasse: todos reconhecem que a corrida se tornou perigosa, mas ninguém quer ser o primeiro a pisar no freio, porque cada laboratório considera arriscado permitir que o concorrente chegue primeiro e utiliza esse risco para justificar a aceleração dos próprios projetos, fazendo com que todos avancem justamente porque nenhum deles confia nos demais. A corrida que deveria impedir o desenvolvimento irresponsável torna-se, assim, a causa de sua inevitabilidade, e a segurança deixa de atuar como freio para funcionar como mais um argumento em favor da aceleração, já que é necessário, na lógica circular dessas empresas, construir a tecnologia perigosa antes que alguém mais perigoso a construa.
A proposta de Amodei para romper essa circularidade começa pela fiscalização: empresas que desenvolvem modelos de fronteira deveriam conceder a avaliadores externos acesso contínuo e equivalente ao de funcionários, incluindo crachás, computadores corporativos e presença física dentro dos escritórios, e a Anthropic afirma que adotará unilateralmente essa medida, permitindo que especialistas independentes não examinem apenas o produto apresentado ao público, mas acompanhem os testes, os incidentes e as práticas internas empregadas durante o desenvolvimento. A proposta representa um avanço em relação às atuais declarações voluntárias de segurança, embora carregue uma limitação evidente, afinal, um fiscal convidado pela empresa continua diferente de um regulador dotado de autoridade própria, e a transparência será necessariamente parcial enquanto o acesso puder ser definido, restringido ou revogado pela própria organização fiscalizada.
As etapas seguintes são ainda mais difíceis, porque Amodei defende que o governo dos Estados Unidos conceda isenções específicas às leis antitruste, permitindo que OpenAI, Anthropic, Google e outros laboratórios coordenem padrões de segurança e desacelerem conjuntamente quando determinadas capacidades forem atingidas, sem correr o risco de serem acusados de combinação concorrencial. A justificativa é compreensível, mas cria uma tensão que não pode ser ignorada, de modo que as mesmas empresas que lideram o mercado passariam a definir quais exigências técnicas todos os participantes deveriam cumprir, e sob o argumento legítimo da segurança, poderiam surgir padrões tão caros e complexos que apenas as gigantes teriam condições de atendê-los, convertendo a proteção da humanidade em proteção das posições de mercado já conquistadas. O pacto precisaria impedir que as empresas produzissem riscos inaceitáveis sem lhes permitir usar esses riscos como justificativa para eliminar concorrentes menores.
Ainda assim, nenhuma coordenação doméstica resolveria o problema principal, porque se os laboratórios americanos diminuírem o ritmo enquanto empresas chinesas continuarem avançando, a desaceleração poderá representar não apenas uma perda comercial, mas uma transferência de poder militar, científico e industrial, e foi o próprio Amodei quem reconheceu que a China é o maior obstáculo à criação de um “limite de velocidade” para a inteligência artificial. Essa preocupação transforma uma questão tecnológica em um problema clássico de geopolítica, porque os Estados Unidos não desejam frear uma tecnologia estratégica enquanto Pequim acelera, e a China, por sua vez, não aceitará regras formuladas unilateralmente por Washington e pelas empresas americanas. Enquanto Amodei publicava seu apelo, Xi Jinping defendia, na cúpula do BRICS, a criação de um arcabouço global de governança da IA baseado em consenso e anunciava apoio a uma comunidade de código aberto entre os países do bloco, o que revela uma certa concordância aparente sobre a necessidade de cooperação, mas uma profunda divergência sobre quem estabelecerá as regras.
A corrida da IA passou a reproduzir, com notável precisão, a estrutura de um dilema do prisioneiro em escala planetária: o melhor resultado coletivo seria uma desaceleração coordenada, na qual todos ganhariam tempo para aprimorar mecanismos de segurança, mas individualmente cada participante tem motivos para continuar avançando enquanto espera que os demais cumpram o acordo, e ninguém confia plenamente em ninguém, com boas razões para tanto. Um pacto para simplesmente “parar a IA” seria praticamente impossível, porque ao contrário de uma instalação nuclear, um laboratório de inteligência artificial não precisa deixar sinais facilmente observáveis, já que algoritmos podem ser copiados, pesquisadores podem migrar e centros computacionais podem operar com diferentes graus de sigilo, e mesmo um acordo entre Estados Unidos e China não alcançaria automaticamente laboratórios privados, projetos militares, outros países ou comunidades abertas.
O objeto do pacto, portanto, não deveria ser a inteligência artificial em sua totalidade, mas determinadas capacidades cujas consequências ultrapassam o âmbito de uma resposta equivocada e produzem efeitos materiais no mundo real: sistemas capazes de realizar operações cibernéticas autônomas, colaborar de maneira avançada com a produção de armas biológicas, replicar-se em ambientes digitais, controlar infraestruturas críticas ou participar diretamente do desenvolvimento de modelos sucessores. A pergunta relevante não seria se a IA pode continuar melhorando, mas a partir de qual ponto um erro deixa de gerar uma resposta equivocada e passa a produzir consequências que ninguém consegue reverter. Nesse sentido, um acordo internacional sobre IA teria alguma semelhança com os mecanismos de controle nuclear: países rivais não precisam confiar nas intenções uns dos outros para estabelecer limites, precisam reconhecer que certos comportamentos ameaçam ambos e criar formas de tornar violações detectáveis e custosas, e auditorias sobre grandes centros de treinamento, registro de operações acima de determinados patamares computacionais, testes comuns antes da implantação e comunicação obrigatória de incidentes poderiam construir uma governança baseada menos em promessas e mais em verificação.
A mudança de posição dos principais líderes do setor mostra até que ponto o debate avançou. Sam Altman, que em 2023 rejeitou uma carta aberta pedindo a suspensão do treinamento de sistemas superiores ao GPT-4, teria informado aos funcionários que a OpenAI está aberta a desacelerar o desenvolvimento, desde que outras companhias façam o mesmo. Jakub Pachocki, cientista-chefe da empresa, defendeu que desacelerações voluntárias se tornem comuns até que existam padrões compartilhados de segurança. Demis Hassabis classificou a proposta de Amodei como o caminho correto, e Elon Musk sugeriu que empresas rivais revisem mutuamente suas práticas. A convergência é relevante, mas não elimina uma contradição incômoda que merece ser articulada com toda a franqueza: se os dirigentes dessas companhias realmente acreditam que seus modelos podem provocar danos catastróficos em um futuro próximo, por que continuam desenvolvendo-os? A resposta está na estrutura da própria competição, pois a Anthropic avança porque teme que a OpenAI chegue primeiro, a OpenAI avança porque teme o Google, todas avançam porque temem a China, e a responsabilidade passa, paradoxalmente, a justificar a aceleração.
Tampouco se pode ignorar que esses alertas partem de empresas interessadas, porque OpenAI e Anthropic estudam futuras aberturas de capital, e seus valores dependem em parte da percepção de que estão construindo sistemas extraordinariamente poderosos. Ao advertirem que a IA pode transformar ou ameaçar a humanidade, seus executivos pedem limites, mas simultaneamente reforçam a importância econômica das próprias companhias, e quanto maior o perigo atribuído à tecnologia, maior parece ser a autoridade daqueles que afirmam compreendê-la. Isso não significa que os riscos sejam inventados, mas significa que a sociedade não pode entregar exclusivamente aos criadores da tecnologia o poder de definir quais riscos são reais, quais medidas são suficientes e quem poderá continuar participando do mercado.
Entre no canal Entrelinhas no WhatsApp e siga nosso Instagram: informação rápida, em tempo real, que tangibilizam as transformações.
Talvez não precisemos de um pacto para parar a inteligência artificial. Precisamos de um pacto para impedir que a velocidade seja o único critério de decisão, porque o desenvolvimento tecnológico não é uma força da natureza; ele, na verdade, depende de chips, centros de dados, investimentos, permissões de acesso e decisões políticas, e pode ser orientado, condicionado e, diante de certas capacidades, temporariamente interrompido. O ensaio de Amodei importa justamente porque revela uma transformação no centro da indústria, uma vez em que os mesmos homens que passaram os últimos anos construindo motores cada vez mais potentes admitem agora que os freios não acompanharam esse progresso. Mas se estão presos a uma corrida da qual nenhum deles consegue sair sozinho, não basta esperar que encontrem voluntariamente uma solução. Se a inteligência artificial realmente se aproxima do poder anunciado por seus criadores, sua segurança não pode permanecer como política interna de empresas privadas. E se seus perigos estiverem sendo exagerados, menos ainda deveríamos permitir que essas empresas utilizem o medo para escrever as regras do mercado que pretendem dominar. O pacto necessário não seria contra a inteligência artificial, mas contra a possibilidade de que uma competição sem árbitro, conduzida por organizações incapazes de desacelerar individualmente, decida por toda a humanidade quanto risco estamos dispostos a correr.
