Mit Red Hat AI 3.4 erweitert der Linux-Spezialist seine KI-Plattform und stellt „Model-as-a-Service“ (MaaS) in den Mittelpunkt, womit Entwicklern eine einheitliche, kontrollierte Schnittstelle für den Zugriff auf kuratierte Modelle geboten bekommen.
Mittels MaaS steht Plattformingenieuren eine bereits allgemein verfügbare Benutzeroberfläche zur Verfügung, die eine selbstständige Verwaltung von Token-Schlüsseln für die rollenbasierte Administration, die Nutzungserfassung und das Showback ermöglicht. Letzteres trägt noch den Status einer Technologievorschau. MaaS soll zudem die Einhaltung von Sicherheitsstandards sowohl bei selbst gehosteten als auch bei cloudbasierten Modellen gewährleistet. Unternehmen erhalten laut Red Hat damit eine Grundlage für hochperformante, verteilte Inferenz, die auf vLLM und llm-d basiert, sodass sie Modelle optimiert und effizient in einer Vielzahl von Umgebungen bereitstellen können.
Die Red Hat AI-Plattform integriert den vLLM-Inferenzserver, der nun laut dem Anbieter auch spekulatives Decodieren unterstützt. Durch den Einsatz effizienter Entwurfsmodelle zur Beschleunigung der Verarbeitung kann diese Technik die Antwortzeiten ohne Qualitätseinbußen um das Zwei- bis Dreifache steigern und so die Kosten pro Interaktion direkt senken, lässt Red Hat wissen.
In Sachen Hardware und gemanagte Clouds bietet Red Hat AI 3.4 Unterstützung für Blackwell-GPUs von Nvidia und MI325X-Architekturen von AMD. Auch der native Betrieb in Clouds, die von Drittanbietern verwaltet werden, sei möglich. Unter anderem läuft das neue Red Hat AI Inference in der Cloud von IBM, dem Mutterkonzern von Red Hat. Red Hat AI 3.4 wird voraussichtlich im Laufe des Monats verfügbar sein.
