Nous venons de publier le modèle + le rapport technique pour Covenant-72B. Le plus grand LLM jamais pré-entraîné sur une infrastructure entièrement décentralisée. 72 milliards de paramètres entraînés sur l'internet ouvert avec des GPU sans autorisation. C'est un grand pas vers la réalisation d'un pré-entraînement décentralisé réellement pratique. Un travail incroyable de l'équipe @covenant_ai.