(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Eine neue, von Huawei entwickelte und unter Apache-2.0-Lizenz veröffentlichte Kompressionsmethode macht es möglich, dass große Sprachmodelle auf deutlich kleineren und billigeren Rechnern laufen.
So reduziert die SINQ (Sinkhorn-Normalized Quantization) getaufte Methode den Speicherbedarf um 60 bis 70 Prozent. Modelle, die zuvor mehr als 60 GB Speicher benötigten, kommen nun mit 20 GB aus. Auch laufen sie nun auf einer einzelnen GPU aus dem Consumer-Bereich wie Nvidia GeForce RTX 4090 (um 1600 Dollar), während sie zuvor eine GPU der Enterprise-Klasse brauchten, etwa eine Nvidia H100 (über 30 000 Dollar). Diese Kosteneinsparungen können auch Teams realisieren, die ihre Modelle in einer öffentlichen Cloud betreiben. Denn da kostet eine Arbeitsstunde mit einer mit H100 bestückten Instanz 3 bis 4,50 Dollar – mit einer Instanz auf Basis der RTX 4090 aber nur 1 bis 1,50 Dollar. Das summiert sich über die Zeit leicht zu Tausenden Dollar Kosteneinsparung.
Derartige Kompressionen werden oft mit einem Verlust an Präzision erkauft, weil dabei Gleitkommazahlen durch Integerwerte ersetzt werden. SINQ verspricht diese Probleme mit seiner Plug-and-Play-Lösung zu adressieren und hohe Performance auch mit verminderter Genauigkeit zu liefern, ohne dass die Kalibrierung des neuronalen Netzes nachjustiert werden müsste.
SINQ wurde in einem breiten Spektrum von Architekturen und Modellen evaluiert, darunter die Qwen3-Serie, LLaMA und DeepSeek. Bei Benchmarks wie WikiText2 und C4 erreichten die Modelle oft Leistungen, die an die unkomprimierter Modelle heranreichten. Dabei komprimiert SINQ die Modelle außerdem bedeutend schneller als es andere Methoden wie HQQ oder AWQ tun.
Huawei hat SINQ als Open-Source-Projekt unter einer unternehmensfreundlichen Apache-2.0-Lizenz auf GitHub veröffentlicht. Das Repository enthält Unterstützung für die Quantisierung von Hugging-Face-Modellen mit nur wenigen Zeilen Code sowie Tools zum Speichern und erneuten Laden von quantisierten Gewichten. Die Standardeinstellungen bieten ein Gleichgewicht zwischen Speicherplatzersparnis und Genauigkeit, und die Benutzer können Parameter wie Bitbreite, Kachelstrategie und Gruppengröße nach ihren Bedürfnissen anpassen. In naher Zukunft wollen die Autoren auch vorquantisierte Modelle auf dem Hugging Face Hub veröffentlichen.
