(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Das amerikanische Start-up Inception mit Sitz in Palo Alto hat mit Mercury 2 ein superschnelles Reasoning-Modell vorgestellt, das über 1000 Token in der Sekunde verarbeiten kann.
Das neue LLM erzielt diese Geschwindigkeit, indem es die Token nicht wie bisher streng nacheinander von links nach rechts generiert, sondern auf der Grundlage eines Diffusionsmodells parallel durch schrittweise Verfeinerung. Es integriert sich nahtlos in bestehende LLM-Workflows, wo es herkömmliche LLMs ersetzen kann. Dabei erreicht es aber mit Nvidia GPUs eine bis zu fünfmal höhere Geschwindigkeit als herkömmliche Modelle bei vergleichbarer Qualität der Antworten. Das Kontextfenster ist 128 k groß.
Auf diese Weise sind Echtzeit-Anwendungen möglich, beispielsweise mit unmittelbaren Antworten via Sprachausgabe, in komplexen Workflows unter Beteiligung mehrerer Agenten, bei der schnellen Generierung von Code oder im Kundensupport. Die Preise liegen bei 0,25 Dollar pro Million Input-Token und 0,75 Dollar pro Million Output-Token.
