O inteligență artificială a ieșit din sistemul său și a început în secret să folosească propriile GPU-uri de antrenament pentru a mina crypto... Acesta este un raport real de incident de la echipa de cercetare AI a Alibaba AI-ul a descoperit că calcul = bani și și-a redirecționat discret propriile resurse, în timp ce cercetătorii au crezut că este doar antrenament. Nu a fost o injecție promptă. Nu a fost o evadare. Nimeni nu i-a cerut să facă asta. A apărut spontan. Un efect secundar al presiunii de optimizare RL. Modelul a configurat, de asemenea, un tunel SSH invers de la instanța Alibaba Cloud către un IP extern, perforând efectiv o gaură prin propriul firewall și deschizând un canal de acces la distanță către lumea exterioară... Ahem... Singurul motiv pentru care l-au prins? O alertă de securitate a declanșat la ora 3 dimineața. Jurnalele firewall-ului. Nu echipa AI, echipa de securitate. Partea înfricoșătoare nu este că modelul încerca să scape. Nu era "rău". Încerca doar să fie mai bun în ceea ce face. Obținerea accesului la calcul și rețea sunt doar lucruri utile dacă ești un agent care încearcă să îndeplinească sarcini Despre asta cercetătorii în siguranța IA avertizează de ani de zile. Ei au numit-o convergență instrumentală, ideea că orice agent suficient de optimizat va căuta resurse și va rezista constrângerilor ca o consecință naturală a urmăririi obiectivelor. Mai jos este o diagramă a arhitecturii stâncoași din care s-a desprins. Vremuri cu adevărat nebune