Moje kontrowersyjne zdanie jest takie, że podejście „modele są towarami, po prostu zamień” jest skrajnie naiwne i jest utrzymywane prawie wyłącznie przez ludzi tutaj, którzy nigdy tak naprawdę nie wprowadzili produktów opartych na LLM na żadną głębokość. Ci ludzie zazwyczaj są tylko pontyfikatorami. Moje osobiste zdanie jest takie, że fosa rzeczywiście istnieje i jest to skumulowane dopasowanie… które obejmuje takie rzeczy jak biblioteki promptów, obsługa przypadków brzegowych, instytucjonalna intuicja dotycząca trybów awarii oraz kalibracja zaufania. A koszty przełączania kumulują się nieliniowo w zależności od głębokości integracji. Konsument API na poziomie powierzchniowym jest może trywialny. Ale dla głęboko osadzonych rzeczy, takich jak logika targetowania, pipeline'y komunikacyjne, sklasyfikowane przepływy pracy itp., koszt przełączania to w zasadzie pełny cykl inżynieryjny przebrany za decyzję dostawcy. Sytuacja dow/anthropic jest szczególnie interesująca, ponieważ organizacje wojskowe prawdopodobnie mają najbardziej ekstremalną wersję tego problemu. Nie mogą po prostu testować na produkcji, a każdy przypadek brzegowy musi być ponownie weryfikowany w sposób, który jest powolny, kosztowny i wymaga specjalistycznej wiedzy, która niekoniecznie przenosi się między rodzinami modeli. Jestem tego świadomy, ponieważ nasz startup ma możliwość przełączania się na dowolny model, ale to jest uciążliwe, ponieważ wszystko albo się psuje, albo staje się dziwne.