🧠 Come possiamo dotare i LLM di memoria che consenta loro di apprendere continuamente nuove cose? Nel nostro nuovo articolo con @AIatMeta, mostriamo come il fine-tuning sparso dei livelli di memoria consenta aggiornamenti mirati per l'apprendimento continuo, con un'interferenza minima con la conoscenza esistente. Mentre il fine-tuning completo e LoRA vedono drastici cali nelle prestazioni sui compiti riservati (📉-89% FT, -71% LoRA sui compiti di apprendimento dei fatti), i livelli di memoria apprendono la stessa quantità con molta meno dimenticanza (-11%). 🧵: