Complex Systems är denna vecka med @philipkiely, som nyligen har skrivit boken (bokstavligen) om inferensteknik. Vi diskuterade hur AI-adoption ser ut som en ingenjörsfråga i företag.

Jag fortsätter att tro att chattapparna a) är bland de mest explosivt populära enskilda applikationerna som någonsin lanserats och b) mestadels en teknisk demo för den verkliga produkten, som är API:et. Det är en transformativ primitiv som if-satser och for-loopar.

Till skillnad från if-satser och for-loopar utvecklas ett mellanlager, delvis på grund av förändringstakten i det underliggande substratet, vilket (konstigt nog för teknik) inte är strikt positivt. Och så hellre än att slita sig i håret när en modelluppdatering släpps...

... Teamet som ansvarar för att distribuera intelligens i stor skala kan t.ex. ha automatiserad benchmarking av olika modeller mot de olika uppgifter du har, köra tidigare förfrågningar mot den nya utmanaren och betygsätta dem automatiskt, och sedan automatiskt avancera vinnare.

Mycket av detta liknar adaptiv introduktion av infrastruktur på direkten, vilket är en förmåga som känns lite sci-fi för mig.

Jag tror att det finns asymmetrisk synlighet på Twitter för prosumer-AI-användningsfall, inklusive moderna kodverktyg (som är de mest ekonomiskt viktiga LLM-utvecklingarna... hittills). Introduktionen i företaget kommer att släpa efter, men inte med ett decennium, och kommer att se annorlunda ut.

Färre "låt oss bara ge alla inkorgar och YOLO", fler piloter, fler affärsappar som gradvis transformeras, och sedan blir det riktigt konstigt i andra generationen när man börjar fundera "Hur ser den här affärsprocessen ut om vi designar den kring befintliga LLM:er."