Acho que uma das conclusões que devemos tirar do enorme sucesso dos LLMs é o quanto do conhecimento humano e da sociedade existe em níveis muito baixos de complexidade Kolmogorov. Estamos entrando em uma era em que a representação mínima de um artefato cultural humano... (1/12)

... será, de forma geral, um prompt para LLM. E esses prompts serão, em geral, ordens de magnitude mais compactos do que os próprios artefatos. O grande sucesso dos agentes de programação, por exemplo, indica que o código-fonte da maioria dos artefatos de software é ordens de... (2/12)

... magnitude mais inchada do que a representação algorítmica realmente mínima necessária para especificar esse artefato de software de forma inequívoca. O mesmo vale para grande parte da escrita, pesquisa e comunicação humana. Por serem descompressores tão eficientes de informações algorítmicas, os LLMs têm... (3/12)

... traíam a extensão horrível da nossa própria verbosidade. Parte dessa verbosidade certamente vem das limitações de nossas linguagens de representação formal (como as linguagens de programação). Mas parte disso também parece inerente, provavelmente como um meio de correção de erros humanos. (4/12)

Quando o descompressor pretendido é muito com perda (como a mente humana), especificar demais a representação com muitos sinônimos e açúcar sintático parece prudente. Quando o descompressor pretendido está mais próximo de um perdas perfeitamente sem perdas (como os LLMs estão se tornando rapidamente), faz menos sentido. (5/12)

Matemática e física representam casos de teste interessantes. O processo de axiomatização em matemática é uma forma de compressão algorítmica: todos os verdadeiros teoremas estão sempre "contidos" na representação dos axiomas e das regras de inferência, mas o processo de... (6/12)

... descomprimir essa representação pode ser arbitrariamente difícil. No entanto, os detalhes de como os processos de descompressão (provação de teoremas) e compressão (matemática reversa) acontecem são, em certo sentido, os verdadeiros objetos de interesse matemático. O mesmo vale para a física. (7/12)

Poderia-se, se fosse suficientemente ingênuo, afirmar que a física trata de encontrar compressões algorítmicas mínimas do universo físico. Mais uma vez, os detalhes da (des)compressão são, em última análise, o que importa. Apenas encontrar uma representação mínima do universo... (8/12)

... não "resolveria física", assim como não descobriria os axiomas de ZFC que "resolveu matemática". [Se alguém acredita, como eu, que o universo pode, em última análise, ser modelado em termos computacionais, então, de certa forma, essa representação já existe: é uma máquina de Turing universal.] (9/12)

LLMs são descompressores notavelmente eficazes de informações algorítmicas, e seu sucesso na demonstração de teoremas e no desenvolvimento de software é uma prova disso. Suas capacidades em compressão atualmente parecem menos claras. Ainda assim, descobrindo representações mínimas,... (10/12)

... sejam aforismos espirituosos ou bons mots (nos quais os LLMs atuais são uniformemente ruins), ou as representações axiomáticas condensadas que caracterizam a beleza matemática (nas quais os LLMs atuais são em grande parte intestados), constitui uma das marcas registradas da profunda inteligência humana. (11/12)

Então, acho que está cada vez mais claro que eficiência e ausência de perdas, tanto em compressão quanto em descompressão, juntas representam quatro eixos potenciais ao longo dos quais podemos começar a parametrizar o espaço das mentes possíveis (inteligentes). Mas quais são os outros? (12/12)