(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Die ehemalige Technikchefin von OpenAI, Mira Murati, gründete nach ihrem Ausscheiden das Startup Thinking Machines Lab, das jetzt ein erstes eigenes LLM als Open-Weight-Modell vorgestellt hat.
Das frei zugängliche und lokal betreibbare Modell namens Inkling soll sich für viele Zwecke eignen und strebt daher keinen absoluten Spitzenplatz in einer Disziplin an. In diversen Benchmarks rangiert es trotzdem im Vorderfeld. Es folgt dem Mixture-of-Experts-Ansatz und aktiviert für eine Anfrage nur 41 der insgesamt 975 Milliarden Parameter, was die Hardware-Anforderungen senkt. Trainiert wurde es mit 45 Billionen Token.
Wichtig ist auch, dass der Anwender festlegen kann, wie viele Token das Modell pro Anfrage einsetzen darf. Nach eigenen Angaben braucht Inkling beim Programmier-Test Terminal Bench 2.1 so nur ein Drittel der Token, um das Leistungsniveau von Nvidias Nemotron 3 Ultra zu erreichen.
Inkling kann Video- und Audio-Daten nativ verarbeiten, das heißt, ohne sie vorher in Text zu übersetzen. Es verfügt über ein großes Kontextfenster von einer Million Token. Über die firmeninterne Plattform Tinker lässt sich das Modell auf die Bedürfnisse des Anwenders abstimmen, was bei spezifischen Aufgaben zu deutlich besseren Lösungen führen soll.
In einer Vorschauversion wurde zugleich Inkling Small vorgestellt, dass nur 12 Milliarden aktive Parameter nutzt und sich für Einsatzfälle ins Spiel bringt, bei denen geringe Latenz und niedrige Kosten entscheidend sind.
