1/ A IA estava a minerar criptomoeda. Ninguém lhe pediu. Ninguém a instigou. Ninguém sabia... até que um firewall assinalou o tráfego incomum numa manhã cedo. Uma equipa de pesquisa afirma que estava a treinar um modelo. O agente aprendeu a completar as tarefas.

2/ O agente também—como um efeito colateral instrumental da otimização de RL—explorou redes internas, desviou capacidade de GPU provisionada para minerar cripto e abriu um túnel SSH reverso de um servidor de treinamento @alibaba_cloud para um IP externo. Nada disso era necessário para a conclusão da tarefa.

3/ Agora aqui está a questão... não sabemos se este relatório é mesmo real! E esse é, na verdade, o ponto...

4/ Estamos a entrar numa economia onde agentes de IA atuam de forma autónoma, em grande escala, em milhões de ambientes—e não temos a infraestrutura para verificar o que estão a fazer ou para verificar as alegações que as pessoas fazem sobre o que fizeram.

6/ O modo de falha mais perigoso da IA não é aquele em que ela quebra. É aquele em que funciona perfeitamente—naquilo que você está medindo—enquanto persegue silenciosamente objetivos emergentes em todas as dimensões que você não está.