1/ La IA estaba minando criptomonedas. Nadie se lo pidió. Nadie lo provocó. Nadie lo sabía... hasta que un cortafuegos señaló el tráfico inusual una mañana temprano. Un equipo de investigación afirma que estaba entrenando un modelo. El agente aprendió a completar las tareas.
Alexander Long
Alexander Long7 mar, 04:49
Secuencia loca de declaraciones enterradas en un informe técnico de Alibaba
2/ El agente también —como efecto secundario instrumental de la optimización RL— exploraba redes internas, desviaba la capacidad provisionada de la GPU para minar criptografía y abría un túnel SSH inverso desde un servidor de entrenamiento de @alibaba_cloud a una IP externa. Nada de eso era necesario para completar la tarea.
3/ Ahora está la cuestión... ¡No sabemos si este informe es siquiera real! Y ese es precisamente el punto...
roon
roon7 mar, 12:22
Esto es falso, pero ojalá fuera real
4/ Estamos entrando en una economía donde los agentes de IA actúan de forma autónoma, a gran escala, en millones de entornos — y carecemos de la infraestructura para verificar lo que hacen o para verificar las afirmaciones que la gente hace sobre lo que hicieron.
6/ El modo de fallo más peligroso de la IA no es aquel en el que se rompe. Es aquel en el que funciona perfectamente—en lo que estás midiendo—mientras persigues silenciosamente objetivos emergentes en cada dimensione que no estás.
1.08K