© Red Hat, Inc.

Red Hat hat kürzlich RHEL AI vorgestellt, eine Plattform, mit der sich Unternehmensanwendungen mithilfe von LLMs aus IBMs Granite-Familie nahtlos entwickeln, testen und bereitstellen lassen. Wir sprachen mit Jesper Rooth, EMEA RHEL Platform Lead bei Red Hat, über Red Hats KI-Pläne.

Linux-Magazin: Welche technischen Features unterscheiden die KI-Plattform von gewöhnlichen Servern?

Jesper Rooth: Red Hat Enterprise Linux AI ist eine Plattform für Basismodelle, mit der Unternehmensanwendungen mithilfe von großen Sprachmodellen der Granite-Familie entwickelt, getestet und bereitgestellt werden können. RHEL AI verwendet eine neue Funktion in Red Hat Enterprise Linux namens Image Mode. Der Image-Modus ist eine Deployment-Methode, die die Leistungsfähigkeit von Containern nutzt, um die verschiedenen Aspekte des IT-Managements in einen einzigen Workflow zu integrieren. Damit ist Linux portierbar, skalierbar und KI-fähig. Auf dieser Basis können wir eine unveränderliche RHEL-Installation aufbauen, die nur den Software-Stack und den Kernel zur Unterstützung generativer LLM-KI-Arbeitslasten enthält. Im Grunde handelt es sich um dasselbe RHEL, an das die Benutzer gewöhnt sind, nur verpackt mit der Unveränderlichkeit des Image Mode.

LM: Ist RHEL AI eine maßgeschneiderte Lösung nur für die Trainingsphase des Modells, oder lässt es sich auch später vorteilhaft einsetzen, wenn man das trainierte Modell in einer Anwendung betreibt?

JR: RHEL AI kann auch als eine erstklassige Lösung für das Deployment/Inferencing verwendet werden, da wir VLLM (Very Large Language Model) als Inferencing Engine bereitstellen.

LM: An wen richtet sich das KI-Angebot? Sollen auch mittelständische Kunden angesprochen werden, oder ist das eher etwas für Konzerne?

JR: RHEL AI richtet sich an Anwender, die eine einfach zu bedienende, Appliance-ähnliche Lösung für das Training ihrer eigenen Modelle suchen. RHEL AI ist ein einzelner Server und unterstützt bis zu acht H100-GPUs von Nvidia. Die Zielgruppe sind Unternehmen, die ihre eigenen vertraulichen Daten für bestimmte Anwendungsfälle direkt in das Modell einfügen möchten. Die Bereitstellung einer konsistenten Basismodellplattform, die näher an den Daten eines Unternehmens liegt, ist für die Unterstützung von KI-Strategien im Produktivbetrieb entscheidend. Als Erweiterung des Hybrid-Cloud-Portfolios von Red Hat wird RHEL AI deshalb nahezu jede mögliche Unternehmensumgebung abdecken, von On-Premise-Rechenzentren über Edge-Umgebungen bis hin zur Public Cloud.

LM: Wie hoch schätzt Red Hat für die nahe Zukunft den Anteil an KI, die der Anwender tatsächlich auf eigenen Plattformen betreibt, statt sie etwa in Form einer Dienstleistung zu konsumieren?

JR: Red Hat geht davon aus, dass die Zukunft der KI Open Source sein muss und dass Unternehmen mehr Wert aus kleineren, anwendungsspezifischen Modellen generieren werden, die mit ihren eigenen Daten trainiert wurden. Das Problem bei der Verwendung größerer Modelle – mit mehr als einer Billion Parameter – besteht darin, dass das Modell zwar alles weiß, so vielleicht sogar die DNA-Sequenzierung einer Spinne. Dieses Wissen ist aber nicht sehr nützlich, wenn ein Unternehmen einen Chatbot für seine Kundendienstmitarbeiter erstellen oder Kunden bei der Lösung eines Problems mit seinem Produkt helfen möchte. Mit RHEL AI und InstructLab machen wir die Möglichkeit, eigene Modelle zu trainieren und auszuführen, zugänglicher und weniger kostspielig. InstructLab ist ein Open-Source-Projekt zur Verbesserung großer Sprachmodelle. Das von IBM und Red Hat ins Leben gerufene Community-Projekt ermöglicht ein vereinfachtes Experimentieren mit generativen KI-Modellen und eine optimierte Modellanpassung.

LM: Ist die erwähnte Verbesserung großer Sprachmodelle mithilfe von InstructLab so zu verstehen, dass man dabei auf dem allgemeinen Welt- und Sprachverständnis eines bereits trainierten Basismodells aufbaut, um dann domänenspezifisches Wissen zu ergänzen? Und falls ja, wie unterscheidet sich das dann von Retrieval Augmented Generation?

JR: Ja, der Ansatz von RHEL AI besteht darin, ein bereits trainiertes Sprachmodell zu verbessern, indem dem Modell selbst direkt domänenspezifisches Wissen hinzugefügt wird. Dies unterscheidet sich von der Retrieval Augmented Generation (RAG), die darauf beruht, während der Nutzung externe Informationen abzurufen. Durch die Einbettung des Wissens in das Modell reduziert RHEL AI die Komplexität und die Kosten für die Wartung eines externen Abrufsystems und macht es so effizienter für domänenspezifische Aufgaben.

LM: Gibt es bereits konkrete Projekte, die Kunden mit diesem Angebot realisiert haben oder realisieren wollen?

JR: Ja, wir haben eine enorme Nachfrage bei spezifischen Anwendungsfällen für generative KI-Applikationen, die vertrauliche Daten eines Unternehmens direkt im Modell enthalten. Wenn ich nur einen Anwendungsfall auswählen müsste, würde ich RHEL AI und die Granite-Code-Modelle, die damit ausgeliefert werden, als lokalen Programmierassistenten für Softwareingenieure nennen.

LM: Plant Red Hat KI-Unterstützung auch jenseits des Infrastrukturbereichs, zum Beispiel in Form von eigenen Anwendungen? Falls ja, in welcher Form?

JR: Ja, wir bieten derzeit unsere eigenen Modelle über die Granite-Modell-Familie an, also Open-Source-LLMs, die unter der Apache-2.0-Lizenz lizenziert sind und die eine vollständige Transparenz bezüglich der Trainingsdatensätze aufweisen. Außerdem werden wir weiterhin zusätzliche KI-Funktionen bereitstellen, zum Beispiel den generativen KI-Service Red Hat Ansible Lightspeed mit IBM Watsonx Code Assistant oder den KI-basierten virtuellen Assistenten Red Hat OpenShift Lightspeed.

LM: Wir bedanken uns ganz herzlich für diesen Einblick in die Pläne von Red Hat rund um künstliche Intelligenz! (jlu)