никто не понял это правильно. На самом деле, ранее мастер-веса были в bf16, и поэтому градиенты для 60% параметров lora были меньше, чем ulp