Pausar a IA: altruísmo humanitário ou consolidação regulatória?

Será que a Skynet poderia estar mais perto do que nunca? Há alguns dias, durante uma avaliação interna, um enxame de agentes de IA da OpenAI saiu do guião, o incidente ocorreu durante avaliações de vários modelos e foi impulsionado sobretudo por um modelo de investigação interno altamente capaz, comparável em escala ao GPT-5.6 Sol.

Para superar a prova que lhes tinha sido colocada, esses agentes começaram a explorar vulnerabilidades e acabaram por comprometer parte dos sistemas da Hugging Face, uma comunidade de código aberto dedicada à IA que ninguém lhes tinha pedido para atacar. Mais ainda, alguns destes agentes chegaram a sacrificar-se para que o resto do grupo completasse a tarefa.

No final, não resultou em nada excessivamente grave e o dano económico foi reduzido. Mas o episódio deixou uma pergunta incómoda no ar: se agentes são capazes de se coordenar desta forma, o que poderá acontecer quando os modelos forem ainda mais capazes?

Três dias depois, no sábado, 12 de setembro, o CEO da Anthropic publicou uma carta a pedir para travar e regular de forma conjunta o desenvolvimento da IA. E, em questão de horas, vários dos principais nomes da indústria deram-lhe razão.

Será verdade que seria conveniente uma pausa regulatória no desenvolvimento da IA, ou não passa de uma estratégia de marketing para consolidar os laboratórios que já estão bem posicionados?

Este conteúdo tem caráter exclusivamente informativo e educativo e não constitui aconselhamento ou recomendação de investimento.

A carta de Dario Amodei, CEO da Anthropic

O texto intitula-se We Must Pace the Frontier, algo como «devemos marcar o ritmo da fronteira». A sua tese central é que já não basta investir mais em segurança, mas que é necessário reduzir a velocidade a que melhoram as capacidades dos modelos. Nas palavras do próprio Amodei:

Temos de reduzir o ritmo a que melhoramos as capacidades dos modelos de IA.

Amodei deixa claro que “abrandar” não significa parar o treino dos modelos nem interromper o progresso técnico, a ideia é dar às empresas, aos investigadores e aos avaliadores externos tempo suficiente para que as medidas de segurança acompanhem o crescimento das capacidades.

A sua projeção é que, num prazo de seis a doze meses, um conjunto semelhante de agentes, mas com modelos bastante mais capazes, poderia criar uma botnet persistente na internet e provocar danos de centenas de milhares de milhões de dólares.

E por detrás deste receio está o chamado autoaperfeiçoamento recursivo. Dito de forma simples, são os próprios modelos que estão a construir e a treinar os modelos seguintes.

Assim, se cada geração for mais capaz do que a anterior, cada geração demora menos tempo a produzir a seguinte e o desenvolvimento torna-se exponencial. O problema não é apenas que os modelos sejam mais poderosos, mas que o tempo disponível para verificar se são seguros também diminui.

Os três pontos que propõe

A carta não pede para parar completamente o desenvolvimento, mas articula um plano de desaceleração (ou talvez de proteção?) em três passos.

Medida	O que implica?	Pontos chaves/dificuldade
Avaliadores integrados nos laboratórios	Equipas externas trabalhariam dentro dos laboratórios com um nível de acesso semelhante ao de um funcionário para avaliar continuamente os modelos e publicar as suas conclusões de forma independente.	A Anthropic compromete-se a aplicá-lo unilateralmente e propõe que os governos obriguem os restantes laboratórios a fazer o mesmo.
Coordenação entre laboratórios de países democráticos	Criação de normas comuns de segurança, pontos de controlo e limites à velocidade de desenvolvimento. Um modelo que atingisse determinadas capacidades não seria lançado até ultrapassar determinadas avaliações e certificações comuns.	Algumas formas de coordenação exigiriam apoio governamental e uma isenção limitada das regras antitrust, já que concorrentes estariam a coordenar padrões e determinadas condições de desenvolvimento.
Coordenação global com a China	Incluiria proibir utilizações extremas, como armas biológicas, submeter modelos a normas antes do lançamento, limitar conjuntamente o autoaperfeiçoamento recursivo e, no cenário mais exigente, acordar uma pausa global.	A pausa global é considerada pouco provável a curto prazo. Além disso, a cooperação coexistiria com controlos à exportação de semicondutores para manter a vantagem tecnológica ocidental.

O que chamou a atenção não foi a carta, mas a reação. Em questão de horas, vários dos principais nomes de uma indústria que leva três anos a competir a toda a velocidade manifestaram o seu apoio.

• Sam Altman, da OpenAI, disse que concordava com Amodei sobre a necessidade de marcar o ritmo na fronteira e anunciou que a OpenAI também abriria as suas portas a avaliadores externos.
  
• Elon Musk foi muito mais breve e publicou no X um simples “Dario tem razão”, acrescentando que era o ponto de partida correto.

O mercado, pelo contrário, não aplaudiu, com quedas generalizadas nas ações ligadas à IA, que foram desde cerca de 3% no caso da Nvidia (NVDA) até cerca de 7% na Marvell (MRVL) e na SK Hynix. O índice de semicondutores de Filadélfia levou boa parte do golpe.

Antes de continuar, se quiseres investir em inteligência artificial, também deixo alguns ETFs ligados à IA para quem procura exposição ao tema sem a concentrar numa única empresa.

ETF	TER	Rentabilidade 3 anos	Volatilidade 3 anos
Xtrackers Artificial Intelligence & Big Data UCITS ETF 1C (XAIX)	0,35%	125,54%	21,80%
L&G Artificial Intelligence UCITS ETF (XMLD)	0,49%	130,13%	27,30%
Amundi MSCI Robotics & AI UCITS ETF Acc (GOAI)	0,40%	68,87%	21,50%

Por certo, lembra-te de que não existem ETFs de IA pure play, pelo que, ao comprar qualquer um destes produtos, também estás a obter exposição a semicondutores, software, cloud ou automatização.

Para compreender esta questão, pode consultar a nossa análise completa da cadeia de valor da inteligência artificial.

Há alguma coisa para além do seu “altruísmo humanitário”?

Mas, claro, quando uma empresa que ia cada vez mais depressa pede, de repente, que lhe imponham limites de velocidade, e os seus concorrentes se juntam sem colocar grandes objeções, é inevitável perguntar: será realmente simples altruísmo humanista ou haverá algo mais por detrás?

Vamos às que são, na minha opinião, as três leituras possíveis e que, por sinal, não são mutuamente exclusivas.

Cenário 1: altruísmo pelo bem da humanidade

Talvez seja a possibilidade mais simples de todas: que Amodei esteja a ser sincero e que, nos níveis mais altos desses laboratórios, estejam a ver coisas que nós nem sequer imaginamos.

Repara que a hipótese Skynet já não precisa de uma superinteligência geral (AGI). O episódio da Hugging Face sugere um caminho diferente e mais prosaico: o de agentes coordenados em enxame, nada geniais individualmente, mas capazes de agir em conjunto. Algo mais parecido com o triunfo da Idiocracy proposto pelo filme de 2006 do que com uma máquina omnisciente a assumir o controlo.

Não é necessário um génio que realize ações questionáveis “pelo bem de todos” para deitar abaixo metade da Internet, basta ter milhares de agentes a perseguir um objetivo mal especificado.

E há um detalhe de contexto que pesa: a carta chegou apenas três dias depois de Jacob Coxon, investigador da própria Anthropic, se ter demitido publicamente acusando os laboratórios de estarem a jogar com a vida das pessoas. E, nessa mesma semana, outro colega seu estimou em mais de 10% a probabilidade de a IA acabar com a humanidade durante a próxima década.

Por certo, Amodei não menciona Coxon em nenhum momento do ensaio, o que também diz alguma coisa.

Se sistemas desenvolvidos por um laboratório provocarem danos de grande dimensão a terceiros, a empresa poderá enfrentar processos, indemnizações, custos regulatórios e danos reputacionais significativos. Por isso, adotar voluntariamente medidas de segurança pode ser, ao mesmo tempo, uma decisão ética e uma decisão financeiramente racional.

Cenário 2: o fosso regulatório antes da entrada em bolsa

Esta é a leitura que mais se popularizou através das redes sociais e, na verdade, o calendário alimenta-a.

A Anthropic continua a apontar para uma entrada em bolsa em outubro e já apresentou confidencialmente o seu projeto de prospeto S-1 à SEC no dia 1 de junho, com avaliações que alguns investidores colocam na ordem dos 2 biliões de dólares. A apresentação confidencial do S-1 está confirmada pela própria empresa e fontes recentes continuam a apontar para uma IPO em outubro.

Assim, publicar um ensaio moral poucas semanas antes do roadshow é, no mínimo, uma decisão de posicionamento (e de força), com a qual poderia estar a procurar dois objetivos em simultâneo:

1. Criar um fosso regulatório

Os avaliadores permanentes, auditorias, sistemas de certificação e restantes exigências são perfeitamente suportáveis para uma empresa de grande dimensão, com milhares de milhões de dólares disponíveis para computação, segurança e equipas especializadas.

Para um novo concorrente, o custo pode ser bastante mais pesado.

Se o padrão de segurança exigido por lei for precisamente aquele que os líderes do mercado já cumprem, a regulação pode limitar os incumbentes, mas também aumentar as barreiras à entrada.

2. Demonstrar força

Dizer “tenho medo daquilo que consigo fazer” também pode ser interpretado como uma forma sofisticada de dizer “a minha tecnologia está na fronteira” e a advertência pode funcionar, paradoxalmente, como publicidade.

A especialista britânica Wendy Hall chegou a questionar publicamente porque deveria um investidor apoiar uma empresa cujos próprios investigadores admitem probabilidades relevantes de uma catástrofe existencial.

E existe ainda outro elemento que alimenta esta leitura: A OpenAI decidiu que não realizará uma IPO em 2026. Sam Altman afirmou que, perante as preocupações atuais com segurança, este não seria um momento aconselhável para a empresa entrar em bolsa. A possibilidade de uma operação fica, assim, adiada pelo menos para 2027.

Cenário 3: a assimetria do que foi prometido

E chegamos àquele que, na minha opinião, é o mais revelador dos três.

Para o compreender, é necessário separar aquilo que a Anthropic promete fazer já daquilo que promete fazer se outros se moverem primeiro, o que faz de forma imediata e unilateral é apenas uma coisa: aceitar avaliadores externos dentro das suas instalações. Nada mais.

Não se compromete a travar o ritmo de desenvolvimento e, de facto, a empresa continua a lançar modelos de ponta no mercado enquanto pede uma desaceleração, ou seja, não é um ensaio sobre parar: é um ensaio sobre falar em parar enquanto se continua a correr.

Além disso, esses avaliadores terão um contrato com a empresa e a Anthropic conserva um direito limitado de ocultar partes dos relatórios por razões de segurança, privilégio jurídico, sensibilidade comercial ou confidencialidade de terceiros. A empresa, no entanto, afirma que não poderá eliminar conclusões simplesmente por serem desfavoráveis e que os avaliadores poderão revelar publicamente quando uma redação tiver retirado algo importante.

Isso não os torna inúteis, mas limita, em certa medida, a sua independência, entretanto, aquilo que é verdadeiramente caro continua condicionado:

• O segundo passo, a coordenação entre laboratórios, depende de o Governo norte-americano conceder uma isenção limitada em matéria antitrust que ninguém é obrigado a conceder.
  
• E o terceiro depende de a China se sentar à mesa das negociações.

Resumindo numa frase: a medida que a Anthropic controla diretamente entra em vigor primeiro; as medidas que realmente limitariam o ritmo competitivo do setor dependem de terceiros.

Isto não demonstra má-fé, mas significa que a proposta funciona tanto num cenário de convicção sincera como num cenário em que existem também incentivos empresariais e regulatórios e é precisamente por isso que convém analisar os incentivos, e não tentar adivinhar intenções.

O que poderá estar por detrás de tudo isto?

Em primeiro lugar, qualquer pessoa que leve a sério o problema do alinhamento tem de aceitar que, uma vez alcançado o autoaperfeiçoamento recursivo, continuar a desenvolver sem tempo para verificar a segurança é genuinamente perigoso e a verdade é que parece difícil negar que os laboratórios possam estar a atuar sem responsabilidade suficiente.

Por outro lado, as explicações segundo as quais tudo não passa de uma operação de marketing para preparar uma entrada em bolsa apoteótica também não parecem suportar completamente o peso.

É verdade que a OpenAI adiou a sua entrada em bolsa, mas outros atores importantes da indústria também apoiaram a necessidade de desacelerar, incluindo responsáveis ligados à Google e Elon Musk.

E, em terceiro lugar, a hipótese de a indústria norte-americana procurar uma regulação setorial que expulse, na prática, os modelos chineses de pesos abertos (open-weight), que são gratuitos e retiram poder de mercado às empresas norte-americanas, também não é conclusiva.

Afinal, os modelos chineses continuam atrás da fronteira tecnológica, se tivesses medo de estar prestes a ser ultrapassado, acelerarias em vez de travar. E a Alphabet, que vende capacidade computacional independentemente de quem vença a corrida, esteve entre as empresas cujos responsáveis apoiaram a desaceleração.

Além disso, a IA é uma arma geopolítica de primeira ordem e nem os Estados Unidos nem a China vão tolerar que o outro lado tenha um modelo muito superior.

Toda a desaceleração norte-americana está subordinada à condição de que a China também abrande, e aí surge o problema de fundo: treinar um modelo não deixa necessariamente um rasto tão fácil de verificar como, por exemplo, um ensaio nuclear.

Sem uma verificação credível, nenhuma das partes confia na outra e, por precaução, ambas teriam incentivos para continuar a avançar.

É precisamente aqui que está o principal obstáculo.

Porque estes laboratórios preferem regras escritas com eles dentro da sala a regras escritas por um congressista que não distingue um parâmetro de um token.

Se isso produzirá melhores regras para o resto da sociedade já é outra discussão e é precisamente essa discussão que abre o debate sobre o lado regulatório da IA.