"¿Por qué eres tan inocente?" "La destilación no puede considerarse robo...... ¡Destilación! …… ¿Se puede considerar robar ser un modelo importante? " Uno tras otro, palabras difíciles, como "etiqueta blanda", "escala de temperatura", "conocimiento oscuro", etc., hicieron reír a todos en la sala, y el laboratorio se llenó de un ambiente alegre. Dijo al mostrador: "Dame dos A100 y un modelo de profesor preformado." "Luego sacó nueve céntimos de dinero - no, puso una factura de potencia de cálculo de nueve mil dólares. Todos le preguntaban: "¿De verdad has aprendido Transformer?" Kong Yiji se sonrojó, las venas verdes de su frente florecieron y argumentó: "La Destilación del Conocimiento fue propuesta por Hinton...... ¡Tú qué sabes! Esto es transferencia de conocimiento, compresión y ...... ¡Está sobre los hombros de gigantes! " El tendero dijo: "Me temo que el referente que se acabó con tu pequeño modelo no fue 'tomado prestado' del profesor, ¿verdad?" " Kong Yiji abrió los ojos de par en par y dijo: "¡He aprendido la habilidad de generalizar!" ¿Cómo puede la información de distribución en logits y la transmisión de conocimiento oscuro ser entendida por personas como tú, que solo miran la precisión de top-1? " Se volvió hacia todos de nuevo, y su actitud se volvió sincera: "Si no me creéis, mi modelo de alumno es solo una décima parte de los parámetros del profesor, y la velocidad de razonamiento es ocho veces más rápida, y el efecto solo se desvía dos puntos...... ¡Solo dos puntos! "