Sistemas Complexos desta semana é com @philipkiely , que recentemente escreveu o livro (literalmente) sobre Engenharia de Inferência. Discutimos como é a adoção da IA como uma questão de engenharia nas empresas.

Continuo achando que os aplicativos de chat são a) um dos aplicativos individuais mais explosivamente populares já lançados no mercado e b) principalmente uma demonstração técnica para o produto real, que é a API. É uma primitiva transformadora como instruções if e loops for.

Diferente das instruções if e dos loops for, há uma camada intermediária se desenvolvendo, em parte devido ao ritmo de mudança no substrato subjacente, que (estranhamente para a tecnologia) não é estritamente positiva. E então, em vez de arrancar os cabelos quando uma atualização de modelo sair...

... A equipe responsável por implantar inteligência em escala pode, por exemplo, ter benchmarking automatizado dos vários modelos em relação às diversas tarefas que você tem, executar solicitações anteriores contra o novo desafiante e avaliá-las automaticamente, e então avançar automaticamente os vencedores.

Muito disso se assemelha à introdução adaptativa de infraestrutura em tempo real, o que é uma capacidade que me parece um pouco sci-fi.

Acho que há visibilidade assimétrica no Twitter de casos de uso de IA prosumer, incluindo ferramentas modernas de programação (que são o desenvolvimento de LLMs mais economicamente importante... até hoje). A introdução no mercado empresarial vai atrasar, mas não por uma década, e vai parecer diferente.

Menos "vamos só dar todas as caixas de entrada e YOLO", mais pilotos, mais aplicativos de linha de negócios transformados gradualmente, e aí as coisas ficam realmente estranhas na segunda geração, quando você começa a pensar: "Como é que esse processo de negócio é a vida se o projetamos em torno de LLMs existentes."