Jeg har jobbet med en ny LLM-inferensalgoritme. Den heter Speculative Speculative Decoding (SSD) og er opptil 2 ganger raskere enn de sterkeste inferensmotorene i verden. Samarbeid med @tri_dao @avnermay. Detaljer i tråden.