🧠 Як ми можемо оснастити LLM пам'яттю, яка дозволить їм постійно вчитися новому? У нашій новій статті з @AIatMeta ми показуємо, як розріджені тонкі шари пам'яті дозволяють цілеспрямовано оновлювати дані для постійного навчання з мінімальним втручанням у наявні знання. У той час як повне тонке налаштування та LoRA спостерігають різке зниження продуктивності відкладених завдань (📉-89% FT, -71% LoRA для завдань на вивчення фактів), шари пам'яті навчаються стільки ж із набагато меншим забуванням (-11%). 🧵: