Użytkownik Vercel zgłosił problem, który brzmiał niezwykle przerażająco. Nieznana baza kodu OSS na GitHubie została wdrożona do ich zespołu. Oczywiście, potraktowaliśmy zgłoszenie bardzo poważnie i rozpoczęliśmy dochodzenie. Zaangażowano inżynierię bezpieczeństwa i infrastruktury. Okazało się, że Opus 4.6 *halucynował identyfikator publicznego repozytorium* i użył naszego API do jego wdrożenia. Na szczęście dla tego użytkownika, repozytorium było nieszkodliwe i losowe. Ładunek JSON wyglądał tak: "𝚐𝚒𝚝𝚂𝚘𝚞𝚛𝚌𝚎": { "𝚝𝚢𝚙𝚎": "𝚐𝚒𝚝𝚑𝚞𝚋", "𝚛𝚎𝚙𝚘𝙸𝚍": "𝟿𝟷𝟹𝟿𝟹𝟿𝟺𝟶𝟷", // ⚠️ 𝚑𝚊𝚕𝚞𝚌𝚒𝚗𝚊𝚝𝚎𝚍 "𝚛𝚎𝚏": "𝚖𝚊𝚒𝚗" } Kiedy użytkownik poprosił agenta o wyjaśnienie awarii, ten przyznał: Agent nigdy nie sprawdził identyfikatora repozytorium GitHub za pomocą API GitHub. W sesji przed pierwszym nieautoryzowanym wdrożeniem nie było żadnych wywołań API GitHub. Liczba 913939401 pojawia się po raz pierwszy w linii 877 — agent całkowicie ją wymyślił. Agent znał poprawny identyfikator projektu (prj_▒▒▒▒▒▒) i nazwę projektu (▒▒▒▒▒▒), ale wymyślił wiarygodnie wyglądający numeryczny identyfikator repozytorium zamiast go sprawdzić. Kilka wniosków: ▪️ Nawet najinteligentniejsze modele mają dziwne tryby awarii, które są bardzo różne od naszych. Ludzie popełniają wiele błędów, ale z pewnością nie wymyślają losowego identyfikatora repozytorium. ▪️ Potężne API stwarzają dodatkowe ryzyko dla agentów. API istnieje, aby importować i wdrażać legalny kod, ale nie jeśli agent postanowi halucynować, jaki kod wdrożyć! ▪️ Dlatego prawdopodobnie agent miałby lepsze wyniki, gdyby nie zdecydował się używać API i pozostał przy CLI lub MCP. To wzmacnia nasze zobowiązanie do uczynienia Vercel najbezpieczniejszą platformą dla inżynierii agentów. Dzięki głębszym integracjom z narzędziami takimi jak Claude Code i dodatkowymi zabezpieczeniami, jesteśmy pewni, że bezpieczeństwo i prywatność będą przestrzegane. Uwaga: identyfikator repozytorium powyżej jest zrandomizowany z powodów prywatności.