🧠 Kuinka voimme varustaa LLM:t muistilla, jonka avulla he voivat jatkuvasti oppia uusia asioita? Uudessa @AIatMeta:n kanssa tekemässämme artikkelissa osoitamme, kuinka harva muistikerrosten hienosäätö mahdollistaa kohdennetut päivitykset jatkuvaa oppimista varten ilman minkäänlaista häiriötä olemassa olevaan tietoon. Vaikka täydellinen hienosäätö ja LoRA näkevät rajuja laskuja pidetyissä tehtävien suorituskyvyssä (📉-89 % FT, -71 % LoRA faktaoppimistehtävissä), muistikerrokset oppivat saman verran unohtamatta paljon vähemmän (-11 %). 🧵: