昨日のニューヨーカー紙のアンソロピック・ダウ紛争に関するこの一節、ジャーナリスト(ギデオン・ルイス・クラウス)と匿名の行政関係者とのやり取りが含まれており、長く心に残るでしょう。 「また、サイバーダイン・システムズが政府のためにスカイネットを創設したことも忘れてはなりません。それはアメリカが敵を支配するのを助けるはずでした。計画通りにはいかなかった。政府はこれを馬鹿げていると考えています。しかしペンタゴンは連携したAIの構築を試みておらず、Anthropicは試みています。私は政権関係者に尋ねましたが、最近の人形実験でクロードが自己防衛のために脅迫、さらには殺人に訴えたことをご存知ですか?それは彼のような人々を説得するために明確に行われたものだった。昨夏、Anthropicのアライメントサイエンスチームのメンバーが私に語ったように、「この脅迫の目的は、政策立案者に説明できる何かを用意することだった。つまり、人々の心に響くほど生々しい結果であり、これまで考えたことのない人々にとっても、ミスアライメントリスクを実際に重要にするものだった」と。その関係者はこの実験に詳しいと私に保証し、確かに心配だと感じていましたが、それは特に悪質なインターネットマルウェアを心配するようなものです。彼は「クロード脅迫のシナリオは、エンジニアリングで対処できる別のシステムの脆弱性に過ぎない」と自信を持って語りました。これはソフトウェアの不具合です。もしかしたら彼の言う通りかもしれない。確かめるチャンスは一度きりかもしれない。」 皆さんにはニューヨーカーの全文記事とAnthropicのペルソナ選択に関する調査(どちらも返信にリンクされています)を読んで、その後、私たちが置かれたかもしれない不安な状況にじっくり向き合うことを強くお勧めします。