(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Liquid AI hat ein besonders ressourcenschonendes Sprachmodell vorgestellt, das im Unterschied zu den meisten anderen LLMs nicht auf der Transformer-Architektur beruht.
Die MIT-Ausgründung Liquid AI beschäftigt sich schon seit längerer Zeit mit KI-Modellen, die bewusst nicht auf die Transformer-Architektur setzen und sich wegen geringerer Inanspruchnahme von Rechenleistung und Speicher für das Edge Computing eignen (wir berichteten). Das nun im Vorfeld der International Conference on Learning Representations (ICLR) 2025 vorgestellte neue Modell namens “Hyena Edge” basiert auf den vor allem aus der Bildverarbeitung bekannten Convolutional Neural Networks (CNN). Unter realistischen Bedingungen erreichte es auf einem Samsung-Smartphone Galaxy S24 Ultra eine geringere Latenz, einen geringeren Speicherverbrauch und bessere Benchmarkergebnisse als etwa gleichgroße Transformer-Modelle.
Die Architektur wurde mit einem von Liquid AI entwickelten Framework (Synthesis of Tailored Architectures, STAR) entworfen. STAR benutzt eine breite Palette von Operator-Kompositionen, die in der mathematischen Theorie spezieller linearer Systeme verwurzelt sind, um mehrere hardwarespezifische Ziele wie Latenz, Speicherverbrauch und Qualität zu optimieren.
Hyena Edge wurde auf 100 Milliarden Token trainiert und mit Standard-Benchmarks für kleine Sprachmodelle evaluiert, darunter Wikitext, Lambada, PiQA, HellaSwag, Winogrande, ARC-easy und ARC-challenge. Dabei war es durchweg ebenso gut oder besser als vergleichbare Transformer-Modelle.
Liquid AI plant, eine Reihe von Liquid-Foundation-Modellen, darunter Hyena Edge, in den kommenden Monaten als Open Source zu veröffentlichen. Das Ziel des Unternehmens ist es, leistungsfähige und effiziente Allzweck-KI-Systeme zu entwickeln, die von Cloud-Rechenzentren bis hin zu persönlichen Endgeräten skaliert werden können.
