Karpathy acaba de dejar de lado la autoinvestigación: agentes de IA que ejecutan de forma autónoma experimentos de ML en una sola GPU mientras duermes Los mejores laboratorios de IA de 2027 podrían ser solo 2-3 personas
Andrej Karpathy
Andrej Karpathy8 mar, 03:53
Empaqueté el proyecto de "autoinvestigación" en un nuevo repositorio mínimo autónomo por si la gente quiere jugar el fin de semana. Básicamente es un núcleo de entrenamiento de LLM nanochat reducido a una sola GPU y un solo archivo de ~630 líneas de código, y luego: - el humano itera en el prompt (.md) - el agente de IA itera sobre el código de entrenamiento (.py) El objetivo es diseñar a tus agentes para que avancen la investigación más rápido de forma indefinida y sin ninguna de tus propias intervenciones. En la imagen, cada punto es una partida completa de entrenamiento LLM que dura exactamente 5 minutos. El agente trabaja en un bucle autónomo en una rama de características git y acumula commits git en el script de entrenamiento a medida que encuentra mejores configuraciones (de menor pérdida de validación al final) de la arquitectura de la red neuronal, el optimizador, todos los hiperparámetros, etc. Puedes imaginarte comparando el progreso de la investigación de diferentes prompts, distintos agentes, etc. Parte código, parte ciencia ficción y un toque de psicosis :)
Por el lado positivo, podríamos avanzar más en la investigación con menos $s de riesgo ahora
373