"Hoe kun je zo iemand onterecht beschuldigen?" "Destilleren kan niet als stelen worden beschouwd... destilleren! ... Kan je het maken van grote modellen als stelen beschouwen?" Vervolgens kwamen er een aantal moeilijk te begrijpen uitspraken, zoals "soft label", "temperature scaling", "dark knowledge", wat iedereen in de kamer aan het lachen maakte, en de lucht in het laboratorium was gevuld met een vrolijke sfeer. Hij zei tegen de balie: "Geef me twee A100's en een voorgetraind teacher model." en rekende negen grote bedragen af - nee, negen duizend dollar aan rekencapaciteit. De mensen vroegen hem: "Heb je echt geleerd om met Transformer te werken?" Kong Yiji werd rood in zijn gezicht, de aderen op zijn voorhoofd sprongen eruit, en hij argumenteerde: "Knowledge Distillation is door Hinton voorgesteld... wat weten jullie ervan! Dit is kennisoverdracht, compressie, het is... het is staan op de schouders van reuzen!" De eigenaar zei: "Die benchmark van jouw kleine model is vast 'geleend' van de teacher, nietwaar?" Kong Yiji opende zijn ogen wijd en zei: "Ik heb de generalisatiecapaciteit geleerd! De distributie-informatie in de logits, de overdracht van dark knowledge, dat is niet iets wat jullie, die alleen top-1 accuracy kunnen bekijken, kunnen begrijpen!" Hij wendde zich weer tot de mensen, zijn houding werd oprechter, "Als jullie het niet geloven, kijk dan, mijn student model heeft slechts een tiende van de parameters van de teacher, de inferentiesnelheid is acht keer sneller, en de prestaties zijn slechts twee punten gedaald... slechts twee punten!"