Quelle: Hugging Face
Eine vollständig offene Reproduktion von DeepSeek-R1 ist das Ziel eines neuen Projekts des auf Tools für maschinelles Lernen spezialisierten Unternehmen Hugging Face.
Ziel dieses Repos sei es, die fehlenden Teile der R1-Pipeline so zu erstellen, dass jeder sie reproduzieren und auf ihr aufbauen kann. Mit den fehlenden Teilen sind etwa Details zu Trainingsmethoden gemeint und den Tools dafür. Hugging Face will diese Traings-Pipeline und die Datensätze rekonstruieren. Das Ergebnis soll ein nachgebautes DeepSeek R1 unter dem Nemn Open R1 sein, das komplett Open Source ist.
Das Projekt hat Hugging Face auf Github in drei Phasen eingeteilt. Die erste ist ein Destillat der Trainingsdaten. Die zweite Phase sieht ein replizieren der reinen RL-Pipeline vor, die DeepSeek zur Erstellung von R1-Zero verwendet hat. Dies beinhalte wahrscheinlich die Kuratierung neuer, umfangreicher Datensätze für Mathematik, logisches Denken und Code. Die dritte Phase soll schließlich zeigen, dass man durch mehrstufiges Training vom Basismodell zum RL-abgestimmten Modell gelangen kann. Auf Github bittet Hugging Face um Mithilfe und Datensätze.
