Die neueste Version, Red Hat OpenShift AI 2.18, bringt unter anderem End-to-End Model Tuning und distributed Serving.
Red Hat OpenShift AI bietet eine KI-Plattform zur Verwaltung des Lebenszyklus von prädiktiven und generativen KI-Modellen in der Hybrid Cloud. Die Lösung umfasst Funktionen für Machine Learning Operations (MLOps) und den Betrieb von Large Language Models (LLMOps).
Mit der Funktion distributed Serving können Teams über den vLLM-Inferenz-Server das Modell-Serving auf mehrere Grafikprozessoren (GPUs) verteilen. Dies verringert laut RTed Hat die Last auf einzelne Server, beschleunigt das Training sowie das Finetuning und nutzt Rechenressourcen effizienter. Distributed Serving soll zudem helfen, Dienste für KI-Modelle auf mehrere Knoten zu verteilen.
Mit dem End-to-End Model Tuning soll das Feintuning von LLMs einfacher werden. Zum Einsatz kommen dabei InstructLab und OpenShift AI Data Science Pipelines. Die Verwaltung erfolgt über das Red Hat OpenShift AI Dashboard möglich.
Red Hat OpenShift AI 2.18 verbessert auch die Genauigkeit, Leistung, Latenz und Transparenz von LLMs durch eine Technologieüberprüfung der AI Guardrails. Diese Funktion überwacht Nutzerinteraktionen und Modellausgaben und schützt vor potenziell schädlicher, missbräuchlicher oder obszöner Sprache. Auch die Herausgabe persönlicher Daten und wettbewerbsrelevanter Informationen, die durch Unternehmensrichtlinien eingeschränkt sind, verhindert die Funktion effektiv, teilt Red Hat mit. Red Hat OpenShift AI 2.18 ist ab sofort weltweit verfügbar.
