Ніхто не зробив це правильно. Насправді раніше головні ваги були в BF16, тому градієнти для 60% параметрів LORA були меншими, ніж у ULP