(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Ganz ohne Ankündigung und Marketing Tamtam hat DeepSeek sein neues Modell DeepSeek-V3-0324 veröffentlicht, dass auf einem einzelnen Mac Studio performant läuft und zudem unter einer MIT-Lizenz steht, also auch kommerziell kostenlos verwendet werden kann, was Mitbewerber wie OpenAI unter Druck setzt.

Zwar kann man wahrscheinlich noch nicht von Consumer Hardware reden, denn der nötige Mac Studio mit M3-Ultra-Chip und 512 GB RAM kostet um die 9500 Dollar, andererseits unterscheiden sich diese Hardwareanforderungen aber auch sehr deutlich von den sonst üblichen Rechenzentren, in denen vergleichbare Modelle betrieben werden. Statt der dort üblichen NVIDIA GPUs, die Kilowattweise Strom fressen, kommt der Apple-Rechner stattdessen mit 200 Watt aus. Auf dem Mac soll das neue DeepSeek-Modell eine Performance von mehr als 20 Token/Sekunde erreichen. Bisher vorliegende Benchmarkergebnisse müssen noch von weiteren Testern bestätigt werden, wenn dies aber geschieht, würde sich das V3-Modell als bestes Non-Reasoning-Modell in der Rangliste knapp über Claude 3.5 Sonnett von Anthropic einordnen, das von sich selbst behauptet der derzeit leistungsstärkste KI-Chatbot zu sein.

Einmal mehr scheint sich DeepSeeks Mixture-of-Experts-Ansatz (MoE) als sehr effizient zu erweisen. Während herkömmliche LLMs alle ihre Hunderte Milliarden von Parametern bei jeder Fragestellung aktivieren, braucht DeepSeek für einzelne Aufgaben nur 37 seiner 685 Milliarden Parameter. Durch die Verwendung nur vergleichsweise weniger “Experten”-Parameter erreicht DeepSeek einerseits einen großen Performancevorteil und kann andererseits die Hardwareanforderungen drastisch senken.

Das Modell bedient sich weiterer zwei bahnbrechenden Technologien: Multi-Head Latent Attention (MLA) und Multi-Token Prediction (MTP). MLA verbessert die Fähigkeit des Modells, den Kontext über lange Textpassagen hinweg aufrechtzuerhalten, während MTP mehrere Token pro Schritt erzeugt, wo bisher ein einzelnes Token üblich war. Zusammen steigern diese Innovationen die Ausgabegeschwindigkeit um fast 80 Prozent.

Der Umstand, dass China kompromisslos auf Open Source setzt, hat das chinesische KI-Ökosystem rasch verändert. Die offene Verfügbarkeit von Spitzenmodellen schafft einen Multiplikatoreffekt, der es Start-ups, Forschern und Entwicklern ermöglicht, ohne großen Kapitalaufwand auf hoch entwickelter KI-Technologie aufzubauen. Dies hat Chinas KI-Fähigkeiten in einem Tempo beschleunigt, das westliche Beobachter schockiert.