"Por que você é tão inocente?" "Destilação não pode ser considerada roubo...... Destilação! …… Ser um modelo grande pode ser considerado roubo? " Uma após a outra, algumas palavras difíceis, como "soft label", "temperature scaling", "dark knowledge", etc., fizeram todos na sala rirem, e o laboratório ficou preenchido por uma atmosfera feliz. Ele disse ao balcão: "Me dê dois A100s e um modelo de professor pré-treinado." "Depois ele sacou nove centavos de dinheiro - não, ele emitiu uma conta de energia computacional de nove mil dólares. Todos perguntavam: "Você realmente aprendeu Transformer?" Kong Yiji corou, as veias verdes em sua testa floresceram, e ele argumentou: "Destilação do Conhecimento foi proposta por Hinton...... O que você acha! Isso é transferência de conhecimento, compressão e ...... Está em pé sobre os ombros de gigantes! " O lojista disse: "Receio que o padrão que seu pequeno modelo esgotou não foi 'emprestado' do professor, certo?" " Kong Yiji arregalou os olhos e disse: "Aprendi a habilidade de generalizar!" Como a informação de distribuição em logits e a transmissão de conhecimento obscuro podem ser compreendidas por pessoas como você, que só olham para a precisão top-1? " Ele se virou para todos novamente, e sua atitude ficou sincera, "Se vocês não acreditam, meu modelo de aluno é apenas um décimo dos parâmetros do professor, e a velocidade de raciocínio é oito vezes maior, e o efeito está apenas dois pontos errado...... Só dois pontos! "