"Mengapa kamu begitu polos?" "Distilasi tidak bisa dianggap mencuri...... Distilasi! …… Bisakah menjadi model besar dianggap mencuri? " Satu demi satu, beberapa kata sulit, seperti "label lunak", "penskalaan suhu", "pengetahuan gelap", dll., menyebabkan semua orang di ruangan itu tertawa, dan laboratorium dipenuhi dengan suasana bahagia. Dia berkata kepada konter, "Beri saya dua A100 dan model guru yang telah dilatih sebelumnya." "Kemudian dia mengeluarkan sembilan sen uang - tidak, dia mengeluarkan tagihan daya komputasi sembilan ribu dolar. Semua orang bertanya kepadanya, "Apakah kamu benar-benar belajar Transformer?" Kong Yiji tersipu, pembuluh darah hijau di dahinya mekar, dan dia berpendapat, "Distilasi Pengetahuan diusulkan oleh Hinton...... Apa yang Anda tahu! Ini adalah transfer pengetahuan, kompresi, dan ...... Itu berdiri di pundak raksasa! " Penjaga toko berkata, "Saya khawatir tolok ukur yang kehabisan model kecil Anda tidak 'dipinjam' dari guru, kan?" " Kong Yiji membuka matanya lebar-lebar dan berkata, "Saya belajar kemampuan untuk menggeneralisasi!" Bagaimana informasi distribusi dalam logit dan transmisi pengetahuan gelap dapat dipahami oleh orang-orang seperti Anda yang hanya melihat akurasi top-1? " Dia menoleh ke semua orang lagi, dan sikapnya menjadi sungguh-sungguh, "Jika kamu tidak percaya padaku, model muridku hanya sepersepuluh dari parameter guru, dan kecepatan penalarannya delapan kali lebih cepat, dan efeknya hanya dua poin...... Hanya dua poin! "