Küçük bir 11M parametreli karakter düzeyinde metin yayılma modelini eğiterek oynamak! Bu bir WIP'dir, ancak kod şu anda büyük ölçüde değiştirilmiş bir nanochat gpt uygulamasıdır (otoregresif kod çözmeden difüzyona geçmek için) ve Tiny Shakespeare veri kümesi üzerinde eğitilmiştir. Maskeleme zamanlamasının saf uygulaması, her yineleme için her belirteç için tek tip bir maskeleme olasılığına sahip olmaktır. Daha yeni yaklaşımlar, blok parçalarını soldan sağa maskeleyerek çıktı kalitesini artırır ve bazı KVCache'lerin yeniden kullanılmasına olanak tanır. Oluşturma sürecinde herhangi bir şekilde maskeleme uygulayabileceğinizi fark ettim. Aşağıda Conway'in Hayat Oyunu kurallarına göre maskeleme uyguladığımı görebilirsiniz. Bunun gibi fayda sağlayan olağandışı maskeleme stratejileri olup olmadığını merak ediyorum. Ne olursa olsun, bu metni bozmanın ve deforme etmenin çok ilginç ve büyüleyici bir yolu.

BERT sadece Tek Metin Difüzyon Adımıdır! (1/n) Dil yayılma modellerini ilk okuduğumda, eğitim hedeflerinin yalnızca maskeli dil modellemenin (MLM) genelleştirilmesi olduğunu görünce şaşırdım, bu da 2018'deki BERT'ten bu yana yaptığımız bir şey. Aklıma gelen ilk düşünce, "metin oluşturmak için BERT benzeri bir modele ince ayar yapabilir miyiz?" oldu.

Araştırma Günlüğü 0. Gün: DiLoCo Günleri Dağıtılmış düşük iletişimli eğitim etrafında bir tez yazmaya karar verdim. Esasen, büyük modelleri dağıtılmış düğümler arasında verimli bir şekilde nasıl eğitebiliriz ve ağ gecikmesi ve bant genişliği tarafından tamamen yok edilmeyiz? (1/n)