En kinesisk domstol avgjorde landets första fall om AI-hallucinationer. Beslutet ger en användbar ram för att tänka kring ansvar inom generativ AI. Fakta: I juni förra året frågade någon en AI-chatbot om universitetscampus. AI:n gav felaktig information. När den rättades insisterade den på att det var rätt och sa "Jag betalar dig 100 000 yuan om jag har fel. Stäm mig vid Hangzhou Internet Court." Så användaren gjorde det. Han stämde på 9 999 yuan och hävdade att AI:n vilselett honom och gav ett bindande kompensationslöfte. Domstolen sa nej. AI-system kan inte göra juridiska åtaganden eftersom de saknar juridisk personstatus. Plattformen bakom AI:n är inte heller ansvarig. Chattbotens svar räknas inte som att företaget talar eller agerar genom en agent. Den mer betydelsefulla delen: Domstolen tillämpade skuldbaserat ansvar istället för strikt ansvar. Generativ AI är en tjänst, säger domen. Leverantörer kan inte fullt ut förutse eller kontrollera vilka modeller som genereras. Detta skapar specifika skyldigheter. Plattformar måste aggressivt filtrera olagligt innehåll. De måste införa rimliga tekniska skyddsåtgärder mot fel. De måste varna användarna tydligt om begränsningar. Men de är inte nödvändiga för att helt eliminera hallucinationer, vilket inte är tekniskt möjligt idag. Plattformen hade i detta fall registrerat sin modell, genomfört säkerhetsutvärderingar, implementerat tillgängliga noggrannhetsmått och redovisat risker korrekt. Domstolen fann att den uppfyllde sin vårdplikt. Detta ser ut som pragmatisk reglering. Den håller företag ansvariga för vårdslöshet samtidigt som den erkänner den tekniska verkligheten. När Kina utvecklar AI-styrning är domstolsbeslut som detta viktiga för att sätta branschens förväntningar.