Das von Elon Musk gegründete Unternehmen xAI hat die Gewichte des Basismodells und die Netzwerkarchitektur seines KI-Modell Grok-1 unter einer Apache Lizenz veröffentlicht.
Grok-1 sei ein Mixture-of-Experts-Modell mit 314 Milliarden Parametern, das von Grund auf von xAI trainiert worden sei, teilt das Unternehmen mit. Womit die KI trainiert wurde, teilt xAI nicht mit. Lediglich, dass es unter Verwendung eines benutzerdefinierten Trainingsstacks auf der Grundlage von JAX und Rust trainiert worden sei.
In einem zugehörigen Blogbeitrag heißt es, dass Grok-1 den unbearbeiteten Kontrollpunkt des Basismodells aus der Grok-1-Pre-Trainingsphase darstelle, die im Oktober 2023 abgeschlossen worden sei. Das bedeutet, dass das Modell nicht auf eine bestimmte Anwendung, wie etwa einen Dialog, abgestimmt sei. Gewichte und die Architektur seien nun unter der Apache 2.0-Lizenz freigegeben. Im Blogbeitrag ist das Projekt mit Anweisungen zur Nutzung auf Github verlinkt.
