© Galina Peshkova / 123RF.com

Dieser Artikel beleuchtet die Vorzüge und Nachteile von Open-Source-Lösungen in der KI, gibt einen Überblick zu Bezugsquellen und Lizenzen, diskutiert Herausforderungen beim Training und Einsatz von Modellen und bietet praktische Empfehlungen für generative und andere KI-Modelle.

Die Open-Source-Community im Bereich der KI ist äußerst vielfältig. Es gibt Tausende von Projekten, von einfachen Machine-Learning-Algorithmen bis hin zu komplexen Deep-Learning-Modellen. Diese Vielfalt ermöglicht es Entwicklern, maßgeschneiderte Lösungen für spezifische Anforderungen zu nutzen, zu erweitern oder neu zu erstellen. Eine zentrale Rolle spielen verschiedene Plattformen, die KI-Modelle und -Bibliotheken anbieten. Die folgende Auflistung ist keinesfalls vollzählig, die Sortierung erfolgt nach der (geschätzten) Anzahl der Modelle und Algorithmen, die verfügbar sind.

Github [1] bietet als größte Plattform für Open-Source-Software eine nahezu unüberschaubare Anzahl von KI-Projekten. Hier finden sich Modelle und Bibliotheken für unterschiedlichste Anwendungsbereiche, zudem lassen sich hier verschiedenste Open-Source Trainingsdatensätze herunterladen.

Hugging Face *[2] ist eine spezialisierte Plattform mit über 150 000 Modellen, vor allem aus den Bereichen Natural Language Processing (NLP) und Computer Vision. Hugging Face hat sich als Standardwerkzeug in der NLP-Community etabliert, viele auch auf Github vorhandene Modelle sind hier beschrieben und verlinkt.

TensorFlow Hub [3] bietet eine Vielzahl vortrainierter TensorFlow-Modelle für Aufgaben wie Bildklassifizierung, Objekterkennung und Textverarbeitung. Bei PyTorch Hub [4] handelt es sich um eine Sammlung von PyTorch-Modellen für verschiedene Anwendungsbereiche – ideal für Entwickler, die PyTorch bevorzugen. OpenCV *[5] schließlich ist eine bekannte Bibliothek für Computer Vision mit Tausenden von Algorithmen für Bild- und Videoverarbeitung.

Alle genannten Plattformen bieten nicht nur Modelle, sondern häufig auch umfangreiche Dokumentationen, Tutorials und aktive Communities, die den Einstieg erleichtern. Auf den Plattformen selbst tummeln sich Modelle mit unterschiedlichen Lizenzierungsformen.

Open-Source-KI

Die Motivationen und Anwendungsszenarien von Open-Source-KI-Modellen unterscheiden sich nicht fundamental von Softwareentwicklungs- und Infrastruktur-Ansätzen. Letztlich gelten dieselben Vorzüge und Nachteile, aufgrund der Natur von KI-Modellen in ihren Auswirkungen und Risiken jedoch manchmal ziemlich verstärkt.

Zu den großen Vorteilen zählt die hohe Transparenz. Einsehbare Parameter und Algorithmen erhöhen das Verständnis und Vertrauen in die Modelle. Entwickler können den Code überprüfen, Fehler identifizieren, Verbesserungen vornehmen und zudem einen Vendor-Lock-in vermeiden. Die Unabhängigkeit von proprietären Anbietern bietet Flexibilität und schützt vor langfristigen Abhängigkeiten. Dazu kommt, dass sich Open-Source-Modelle auf der eigenen Hardware betreiben lassen, was die Kontrolle über Daten und Prozesse erhöht und insbesondere im Hinblick auf Datenschutz und Datenhoheit große Relevanz besitzt.

Ein weiterer Vorteil: Durch den Wegfall von Lizenzgebühren reduzieren sich die Kosten erheblich, was gerade für Startups und kleinere Unternehmen attraktiv ist. Sie profitieren des Weiteren von der gemeinschaftlichen Entwicklung. Die Community trägt zur kontinuierlichen Verbesserung der Modelle bei. Durch Feedback und Beiträge der Nutzer entstehen robustere und vielseitigere Lösungen. Schließlich ermöglicht der offene Quellcode es, Modelle an spezifische Anforderungen anzupassen und erlaubt es, auf Basis von vorhandenen Ansätzen innovativ zu sein. Obendrein lassen sich Sicherheitslücken in Algorithmen durch die offene Überprüfung schneller entdecken und beheben.

Diesen Vorteilen stehen aber auch Nachteile gegenüber. Dazu gehört der eingeschränkte Support, der wie bei vielen Open-Source-Projekten eher technischer Natur und in aller Regel nicht mit SLAs gekoppelt ist. Technisches Wissen und ein Verständnis darüber, wie Open-Source-Communities funktionieren, gehören zwingend dazu. Ein weiterer Nachteil kann sich aus der unklaren Herkunft und Qualität der Trainingsdaten ergeben, was unter Umständen ethische und rechtliche Fragen aufwirft.

Das Einarbeiten in komplexe Modelle und deren Integration in bestehende Systeme kann anspruchsvoll und zeitintensiv sein. Das ist auch bei kommerziellen Modellen nicht anders, jedoch gibt es dort oft die Möglichkeit, auf detailliertere Dokumentationen und einen dedizierten Support zurückgreifen. Nicht zu vernachlässigen ist außerdem die unsichere Weiterentwicklung. Viele Open-Source-Projekte leiden an mangelnder Monetarisierung, was bei KI-Projekten unter Umständen noch gravierendere Auswirkungen hat: Die Kosten für Training und Demo-Umgebungen sind dort häufig um ein Vielfaches höher als in traditionellen Umfeldern. Ohne Monetarisierung oder Sponsorships lassen sich Updates und Roadmaps jedoch nicht garantieren, was die langfristige Nutzbarkeit von Projekten ungewiss machen kann.

Ums Geld geht es auch bei den hohen Hardware- und Betriebskosten, die direkt beim Betreiber anfallen. Sie lassen sich nicht mit anderen Aufwänden wie Lizenzen zusammenlegen, was die Kostenbilanz beeinträchtigt und oft hohe unmittelbare Belastungen aufwirft. Leistungsfähige Hardware wie GPUs ist meist teuer und kann die Einstiegshürde erhöhen. Dies lässt sich teilweise durch die Nutzung von Cloudangeboten umgehen, doch fallen dort dann laufende Kosten an. Das ist bei kommerziellen Angeboten nicht anders, doch dort lassen sich aufgrund des SaaS-Modells häufiger attraktivere Per-Seat- oder Per-Lizenz-Angebote schnüren.

Typische Lizenzierungen

Die Wahl der richtigen Lizenz ist entscheidend für die rechtliche Sicherheit und die Möglichkeiten der Weiterentwicklung von Open-Source-KI-Modellen. Auch hier unterscheiden sich KI-Modelle nicht von herkömmlichen Software- oder Infrastrukturprojekten.

Die genutzten Lizenzierungen im KI-Bereich differieren jedoch je nach Anwendungsbereich. Im Bereich Forschung und Entwicklung kommt häufig die MIT-Lizenz zum Einsatz. Sie erlaubt die nahezu uneingeschränkte Nutzung, Modifikation und Verbreitung. Sie wird in zahreichen Forschungsprojekten verwendet, zum Beispiel bei PyTorch und GPT Neo. Die BSD-Lizenz ähnelt der MIT-Lizenz, enthält jedoch eine Pflicht zur Namensnennung. Verbreitet ist sie in akademischen Projekten wie Scikit-learn und OpenCV. Für Inhalte wie Texte und Bilder im Kontext von Datensätzen und Trainingsmodellen kommen oft die Creative-Commons-Lizenzen zum Einsatz, etwa bei öffentlichen Bilddatensätzen.

Andere Lizenzen eignen sich eher für den kommerziellen Einsatz, darunter die Apache License 2.0, die auch bei KI-Modellen häufig benutzt wird. Sie erlaubt das uneingeschränkte Nutzen, Modifizieren und Verbreiten und enthält keine Patentschutzklauseln. Sie kommt bei vielen kommerziellen Projekten wie TensorFlow oder LightGBM zum Einsatz. Die OpenRAIL (Open & Responsible AI License) ist eine spezifische KI-Lizenz-Familie, die offene Nutzung mit ethischen Richtlinien kombiniert, um Missbrauch zu verhindern. Sie nutzen Modelle wie Stable Diffusion und Bloom.

Daneben gibt es im kommerziellen Sektor noch proprietäre Open-Source-Lizenzen. Sie enthalten Einschränkungen bei Modifikation und Verbreitung, die kommerzielle Nutzung ist in vielen Fällen reguliert. Beispiele sind GPT-3 und LLaMA, wo Meta beispielsweise eine Nutzung auf Plattformen mit mehr als 700 Millionen Nutzern ausschließt.

Training der Modelle

Die Qualität eines KI-Modells hängt maßgeblich von den verwendeten Trainingsdaten ab (Abbildung 1). Die können aus verschiedenen Quellen stammen, um die es gerade bei LLMs, generativen und multimodalen Modellen immer wieder Kontroversen gibt. Da die Trainingsdaten keinen Teil der Modelle selbst darstellen, handelt es sich hier rechtlich und moralisch häufig um Grauzonen. Dasselbe gilt für Open-Source-Modelle, die oft auf dieselben Datensätze und Datenquellen zurückgreifen wie kommerzielle Modelle. Letztere reichern ihrerseits die Trainingsdaten noch um proprietäre Bestandteile an.

Abbildung 1: Von der Auswahl der richtigen Daten hängt die Qualität eines KI-Modells entscheidend ab.

Unterscheidet man die Daten nach ihrer Quelle, gibt es zum einen öffentlich verfügbare Datensätze. Sie kommen meist von Forschungseinrichtungen und Regierungen, wie beispielsweise ImageNet für Bildklassifizierung oder LibriSpeech für Spracherkennung. Plattformen wie Kaggle und Hugging Face bieten eine breite Auswahl solcher Datensätze für verschiedene Anwendungen an.

Eine zweite Quelle ist das Webscraping, das Daten automatisiert von Webseiten, aus sozialen Netzwerken oder aus anderen Quellen extrahiert. Diese Methode kann große Datenmengen liefern, wirft jedoch rechtliche und ethische Fragen auf. Oft liegt keine dedizierte Einwilligung zur Verwendung der Daten vor. Unternehmen berufen sich immer wieder auf Fair-Usage-Praktiken, die aber im Fall von großangelegtem Scraping keinesfalls mehr gelten.

Eine dritte Quelle sind Unternehmen und Organisationen, die eigene Kunden- oder Produktionsdaten für spezifische Anwendungsfälle nutzen. Datenpartnerschaften ermöglichen den Zugriff auf externe Datenquellen. Beispiele dafür sind Google und Meta, die Daten aus ihren eigenen sozialen Plattformen für das Training ihrer Modelle nutzen. Zusätzlich werden über Crowdsourcing-Plattformen wie Amazon Mechanical Turk oder durch Experten Daten annotiert, um die Trainingsqualität zu erhöhen.

Zu guter Letzt kommen auch rein synthetische Daten in Betracht: Generative Modelle oder Simulationen können künstliche Daten erzeugen, die realen Daten ähneln. Das ist bei schwer zugänglichen oder sensiblen echten Daten besonders nützlich, bringt aber naheliegenderweise fundamentale Einschränkungen in Bezug auf Diversität und Originalität mit sich.

Neben dem Generieren von Datensätzen aus verschiedenen Quellen hat sich in den letzten Jahren ein Markt für fertige Datensätze entwickelt. Die angebotenen Datensätze stehen dabei unter offenen und kommerziellen Lizenzen, analog zu denen der KI-Modelle.

Unter einer Open-Source-Lizenz steht beispielsweise The Pile [6]. Dieser mit 825 Gigabyte recht umfangreiche Textdatensatz besteht aus 22 kleineren Teilen, darunter Büchern, Wikipedia-Artikeln und Code. In dieselbe Kategorie fällt C4 (Colossal Clean Crawled Corpus [7]), gefilterter Text aus dem Common-Crawl-Webcrawl mit 750 Gigabyte Umfang, geeignet für das Training von Sprachmodellen. Ebenfalls in diese Kerbe schlägt LAION-5B [8], ein Datensatz mit 5,85 Milliarden Bild-Text-Paaren, ideal für multimodale Modelle. Schließlich gibt es mit BookCorpus [9] eine Sammlung von über 11 000 Büchern, die sich gut für Sprachmodelle eignen.

Daneben gibt es fertige Datensätze unter kommerziellen Lizenzen. Ein Beispiel dafür bietet Common Crawl [10], das umfangreiche Webcrawls bietet, die jedoch aufwendig zu verarbeiten sind. Vielfältige, teils kostenpflichtige Datensätze offerieren auch die Google Datasets [11]. Hinter Amazon Mechanical Turk [12] verbirgt sich schließlich eine Plattform für die Annotation spezifischer Datensätze durch menschliche Arbeitskräfte.

Herausforderungen

Wie bereits erwähnt, ist die Verwendung von Trainingsdaten nicht unproblematisch. Die Verantwortung für die ethischen und rechtlichen Fragen schieben Trainingsdaten- und KI-Modell-Anbieter gern der jeweils anderen Seite zu, egal ob kommerziell oder Open-Source-basiert. Das stellt letztlich ein nicht zu unterschätzendes Risiko für deren Nutzer dar. Abschließende gerichtliche Urteile und Klarstellungen in den verschiedenen Märkten gibt es bisher noch kaum.

Im Einzelnen geht es dabei um Probleme wie die unklare Datenherkunft: Oft ist nicht eindeutig, woher die Daten stammen und unter welchen Bedingungen man sie verwenden darf. Zum Komplex rechtlicher Fragen zählen etwa urheberrechtliche Aspekte, Lizenzierungen, Einwilligungen und das Beachten von Datenschutzbestimmungen, die in vielen Fällen nicht ausreichend dokumentiert sind. Dazu gesellen sich moralische Fragen wie die, inwiefern die zugrunde liegenden Daten verzerrt oder fehlerhaft sein könnten und dadurch möglicherweise zu unfairen oder diskriminierenden Modellen führen. Zu guter Letzt stellen sich auch wirtschaftliche Fragen, denn das Erstellen und Pflegen hochwertiger Datensätze ist sehr kostenintensiv. Unternehmen mit Zugang zu großen Datenmengen können einen Wettbewerbsvorteil erlangen.

Einige Beispiele sollen die Problematik von unklaren oder nicht transparent gemachten Trainingsdaten verdeutlichen. Die Aufzählung ist keinesfalls vollständig, sondern soll lediglich einen Schnappschuss der Problematik darstellen. Hier stehen große Konzerne wie OpenAI wegen umfangreichem Webscraping und unklarer Lizenzierung in der Kritik. Zudem gab es Klagen wegen Urheberrechtsverletzungen. Zu rechtlichen Auseinandersetzungen wegen der Verwendung von Nutzerdaten aus Facebook und Instagram kam es auch bei Meta. Google verfügt über enorme Datenmengen und verwendet mutmaßlich in großem Maßstab Youtube-Daten zum Training, ohne das offenzulegen. Problematisch ist auch die Nutzung des LAION-5B-Datensatzes durch Stability AI, weil er potenziell problematische Inhalte enthalten kann.

Auch wenn es sich hier um kommerzielle KI-Modelle handelt, sind Open-Source-Modelle keinesfalls vor analogen Problemen gefeit. Das gilt speziell dann, wenn sie auf frei verfügbare Trainingsdaten zurückgreifen.

Einsatz

Open-Source-KI-Modelle finden in zahlreichen Bereichen Anwendung, darunter beim Machine Learning, für Computer Vision sowie Sprach- und Textverarbeitung, bei großen Sprachmodellen (LLMs) und generativer KI sowie bei multimodalen Modellen.

Die Modelle werden dabei in der Regel auf zwei Arten verwendet. Bei der Integration in bestehende Programme sind sie Bestandteil von Anwendungen, oft unter Verwendung von Programmiersprachen wie Python, die eine einfache Integration und Installation ermöglichen. Sie laufen auf Servern oder mithilfe von lokalen GPUs oder NPUs (Neural Processing Units, spezialisierte Hardware zur Verarbeitung von KI-Anfragen).

Die zweite Art der Verwendung ist die im Standalone-Ansatz. Besonders bei großen Sprachmodellen und generativen KI-Modellen werden diese häufig als eigenständige Anwendungen im SaaS-Modell betrieben. Beide Ansätze lassen sich auch für Open-Source-Modelle umsetzen. Sie haben jedoch gemein, dass sie oft hohe Anforderungen an die Hardware stellen.

Die benötigte Hardware hängt dabei von der Komplexität des Modells ab: Einfache lassen sich oft auf modernen CPUs ausführen, komplexe erfordern GPUs oder spezialisierte NPUs mit hoher Parallelverarbeitungskapazität. GPUs und NPUs bieten mehr FLOPS (Fließkommaoperationen pro Sekunde) als CPUs und beschleunigen das Training und die Inferenz (also die Nutzung) großer Modelle deutlich. High-End-Ansätze brauchen schließlich GPUs oder NPUs mit großem und schnellem VRAM sowie besonders vielen Processing Units, um die erforderlichen Rechenleistungen zu erbringen.

Prinzipiell überfordern gerade generative und multimodale KI-Modelle die Möglichkeiten von PCs, Laptops oder traditionellen Servern deutlich. Gelegentlich erfordern sie kostspielige Spezialhardware, um effizient zu arbeiten. Moderne KI-Modelle verwenden deshalb verschiedene Optimierungen, um auch auf weniger anspruchsvollen Infrastrukturen noch akzeptabel zu laufen. Dazu zählt unter anderem die Quantisierung, die zulasten der Genauigkeit Ressourcen spart, sowie die Modellkompression, bei der die KI mit einer verringerten Anzahl an Parametern und einer geringeren Datenmenge trainiert werden. Beispiele bieten hier die LLaMA-3.2-Varianten mit 1 oder 3 Milliarden Parametern, denen die großen Versionen mit 11, 90 oder sogar 405 Milliarden Parametern gegenüberstehen.

Auswahl der passenden GPU

Die Wahl der richtigen GPU (Abbildung 2) hängt von den Anforderungen des Projekts ab und lässt sich nur insofern pauschalisieren, als neuere, schnellere und mit mehr spezialisierten Cores ausgestattete GPUs meist bessere Leistung erbringen. Das geht jedoch oft mit einem erhöhten Ressourcenverbrauch einher.

Abbildung 2: Die Wahl der richtigen GPU ist ein entscheidender Schritt bei der Planung einer eigenen KI-Anwendung.

In der Tabelle “GPUs für den KI-Einsatz” finden Sie eine Übersicht verschiedener GPU-Klassen. Bei einfachen bis mittleren Aufgabenstellungen kann bereits eine Consumer-Grafikkarte der 3000er-Reihe von Nvidia ausreichen. Als Minimum gelten 12 GByte DDR6-Speicher, als preisgünstiger Geheimtipp wird hier die Geforce RTX 3060 gehandelt. Professionelle GPUs eignen sich für anspruchsvolle bis hochskalierte Workloads. Sie kommen im Server-Umfeld oft geclustert in mehreren Instanzen zum Einsatz, um noch mehr Performance zu erzielen.

Die meisten professionellen GPUs sind nicht auf KI-Umfelder allein spezialisiert, sondern kommen auch in anderen Kontexten wie dem Rendering zum Einsatz. Es gibt deshalb KI-Workload-optimierte GPUs, die aber aufgrund ihrer Leistung und ihres Preises in aller Regel nur in Public-Cloud- und Hyperscaler-Umfeldern zum Einsatz gelangen. Da es für diese GPUs in aller Regel keine offiziellen Preise gibt, haben wir hier auf die Angabe eines Preises verzichtet.

Software und Plattformen

Hardware ist nur ein Teil des Setups, das man benötigt, um Open-Source-KI-Modelle auszuführen. Einen sehr großen Anteil daran, wie gut diese Modelle laufen, hat Software – allein schon, um die KI-Kerne auf der Hardware ansprechen zu können.

Abseits von lokalen Deployments auf Testgeräten werden große KI-Modelle üblicherweise in virtuellen Maschinen oder innerhalb von Containern bereitgestellt, was wiederum entsprechende Treiber zum Virtualisieren der GPU oder zum Orchestrieren der GPU-Ansprache erforderlich macht. Selbstverständlich sind Nutzer nicht darauf beschränkt, KI-Workloads nur auf eigenen Maschinen oder Servern zu betreiben: Es gibt eine zunehmende Anzahl an unter Umständen einfacher nutzbaren Public-Cloud- und Hyperscaler-Angeboten.

Will man die KI-Anwendung auf eigener Infrastruktur betreiben, muss man als Nutzer die notwendigen Treiber installieren. Die folgende Aufzählung erhebt keinen Anspruch auf Vollständigkeit, sondern soll nur eine Vorstellung vermitteln. Als Open-Source-Komponenten stehen beispielsweise das CUDA Toolkit und ROCm zur Verfügung, die man für die Nutzung der GPU-Beschleunigung bei AI-Workloads braucht. Die Tools cuDNN und MIOpen bringen Optimierungsbibliotheken zur Beschleunigung neuronaler Netzwerkberechnungen mit. Sie sind nicht zwingend notwendig, kommen aber fast immer zum Einsatz. Weiter gibt es den Triton Inference Server, einen Open-Source-Inferenzserver für das optimierte Bereitstellen von AI-Modellen, sowie das Nvidia Container Toolkit, das für containerisierte Workloads auf Nvidia-GPUs erforderlich ist.

Der Einsatz in virtualisierten Umgebungen erfordert zusätzliche Komponenten, um GPUs zu virtualisieren und damit im Kontext mehrerer VMs nutzen zu können. In diese Kategorie fallen die proprietären Lösungen Nvidia vGPU für die Virtualisierung und Partitionierung von GPUs in Private-Cloud- und Enterprise-Umgebungen. Auch Nvidia AI Enterprise zur Optimierung und Verwaltung von AI-Workloads in virtualisierten Umgebungen gehört dazu. Beide sind lizenzpflichtig und teuer.

Public Cloud

Ist der Aufbau einer eigenen Hardwareinfrastruktur keine Option oder wählt man hybride Ansätze, gibt es im DACH-Markt verschiedene datenschutzkonforme Lösungen. Sie umfassen in aller Regel die Provisionierung von Hardware und schließen je nach Anbieter bereits die notwendigen Lizenzen für die Nutzung im Preis ein.

Zu diesen Anbietern zählen Plusserver [13] mit der vollständig in Deutschland gehosteten PlusAI-Plattform für datenschutzkonforme AI-Implementierungen. Ionos [14] (Deutschland) offeriert kostengünstig und datenschutzkonform Cloudserver mit GPU-Unterstützung. Auch Hetzner [15] (Deutschland) bietet zu erschwinglichen Preisen dedizierte GPU-Server an, die sich für AI- und Deep-Learning-Workloads eignen.

Außerhalb Deutschlands gibt es unter anderem die OVHcloud [16] (Europa) mit dedizierten GPU-Instanzen für AI-Workloads mit starken Datenschutzstandards. Die Swisscom [17] (Schweiz) hat Managed AI Services mit Fokus auf lokaler Datenverarbeitung und hohen Sicherheitsstandards im Angebot. Daneben bieten Exoscale [18], CloudSigma [19], A1 Digital [20] und Cloud&Heat [21] spezialisierte Lösungen an.

Hyperscaler

KI wird stark von Hyperscalern getrieben. Dahinter steckt neben der Ökonomie der Skalierung der Versuch, die eigenen proprietären Ansätze und Plattformen im Markt zu etablieren. Im Gegensatz zu Public-Cloud-Dienstleistern offerieren Hyperscaler neben Hardware auch eigene Plattformen, die das Training und die Verwendung von KI-Modellen stark abstrahieren. Das kann eine Menge Zeit und Aufwand ersparen, man kann aber auch in Vendor-Lock-ins geraten, wenn man die Angebote ohne gründliche Recherche in Anspruch nimmt.

Google Cloud (GCP [22]) führt Vertex AI im Angebot, ein integriertes Open-Source-Framework für die Entwicklung, das Training und die Bereitstellung von Modellen. Hinzu kommt Model Garden, ein Fundus von vortrainierten Open-Source-Modellen. Zur Verfügung stehen optimierte Maschinen mit Nvidia-GPUs und Google-TPUs.

Bei AWS [23] gibt es SageMaker, ein Werkzeug zur Modellentwicklung mit Unterstützung für Open-Source-Frameworks. Der AWS Marketplace bietet vortrainierte Modelle. Zur Verfügung stehen optimierte Maschinen mit V100- und A100-GPUs von Nvidia sowie spezialisierten KI-Chips wie Trainium und Inferentia.

Das Azure Machine Learning Studio [24] unterstützt Open-Source-KI-Frameworks, Azure Open Datasets offeriert verfügbare Datensätze. Außerdem stehen optimierte Maschinen mit A100- und V100-GPUs von Nvidia zur Verfügung.

Nicht zu unterschätzen sind bei Hyperscalern die laufenden Kosten der virtuellen Maschinen, die um ein Vielfaches über denen von Cloud-Anbietern wie Hetzner oder Plusserver liegen können. Hier gilt es, die Preise und gebotenen Leistungen gründlich zu vergleichen.

Energieverbrauch

Das schmutzige Geheimnis von KI-Modellen ist deren Energieverbrauch. Hier gilt es, zwischen Training und Ausführung (Inferenz) zu unterscheiden. Außerdem muss man berücksichtigen, dass neben der reinen KI auch die beteiligten Infrastrukturen zur Öko- und Energiebilanz beitragen. Da kommt einiges zusammen, da die benötigten Datenmengen riesig sind und es hohe CPU-Lasten zu bewältigen gilt.

Betrachten wir zunächst die Trainingsphase: Wenige Anbieter legen den Energieverbrauch beim Training offen. Die folgenden Zahlen sind aus verschiedenen Publikationen, Interviews und oft auf indirektem Weg gewonnen. So verbrauchte Bloom während des Trainings auf 384 A100-GPUs über dreieinhalb Monate hinweg 433 MWh, Stable Diffusion brachte es auf geschätzte 213 MWh. Für GPT-3 belaufen sich die Schätzungen gar auf 1287 MWh. Diese Zahlen verdeutlichen den erheblichen Ressourcenaufwand und die damit verbundenen Kosten sowie den ökologischen Fußabdruck. Für viele der neuesten Modelle wurden noch deutlich größere Mengen an Ressourcen verbraucht; die Tendenz zeigt eher nach oben als nach unten.

Im Unterschied zum Training ist das Ausführen einer einzelnen Anfrage oftmals nicht sehr energieintensiv, sondern spielt sich meist im Bereich von Wattsekunden oder darunter ab. Da die meisten KI-Algorithmen aber aus mehr als einer Anfrage bestehen, summieren sich selbst diese kleinen Verbräuche. Nicht unterschätzen darf man in diesem Kontext generelle Hardware- und Infrastrukturaspekte, die eine große Rolle beim Energieverbrauch spielen. Effiziente Hardware, passendes Sizing und Softwareoptimierungen sind hier entscheidend, um die Verbräuche möglichst niedrig zu halten.

Lokale, generative KI-Modelle

Generative KI-Modelle wie Chat-GPT oder Gemini sind aktuell in der öffentlichen Wahrnehmung am meisten gefragt und entwickeln sich scheinbar am schnellsten. Weil es gleichzeitig starke Datenschutzbedenken gibt, haben sich bereits früh Entwicklerinnen und Entwickler zusammengefunden und verschiedene Lösungen implementiert, um generative KI-Modelle in einem kontrollierten und selbst verwalteten Rahmen ausführen zu können.

Zu diesen Projekten zählt Ollama, das es besonders einfach machen möchte, dieselben Funktionalitäten wie bei den kommerziellen Angeboten mithilfe von Open-Source-Modellen zu nutzen. Die Plattform wurde speziell für Apple-Hardware optimiert, ist aber nicht nur für MacOS verfügbar. Sie funktioniert auch auf anderen Plattformen wie Linux oder Windows.

Ollama ermöglicht es, mit generativen KI-Modellen wie LLaMA, Gemma oder Mistral zu arbeiten und dabei die Datenhoheit zu wahren. In anspruchsvolleren Applikationsszenarien lässt sie sich über APIs einbinden. Die Plattform profitiert von dedizierten GPUs oder NPUs und benötigt große Mengen an RAM und Massenspeicher, lässt sich aber auch lokal mit kleineren KI-Modellen betreiben. Selbst Modelle wie Stable Diffusion kann man mit wenig Aufwand anbinden, ebenso lassen sich multimodale Modelle wie LLaVA nutzen.

Da Ollama über keine feste Verdrahtung in Bezug auf die unterstützten Modelle verfügt, gilt es als recht zukunftssicher und wird von der Community regelmäßig um neue Modelle erweitert. Es steht auf Github unter der MIT-Lizenz bereit [25]. Die Dokumentationen und zahlreiche Tutorials stehen auf Ollama.com bereit.

Ollama in der Praxis

Die auf der Homepage beschriebene Installation unterscheidet sich je nach Betriebssystem. Um Ollama unter Linux System zu installieren, genügt für gewöhnlich das Kommando aus Listing 1. Anschließend starten Sie den Dienst mithilfe des Aufrufs »ollama serve« und nutzen ihn von der Kommandozeile aus. Modelle richten Sie per »ollama pull Modell« ein.

Um ein komfortables Verhalten im Stil von ChatGPT zu erhalten, kann man Ollama mit verschiedenen Weboberflächen kombinieren. Eine der beliebtesten, Open WebUI, lässt sich mit Plugins und Themes erweitern und anpassen. Weiterführende Informationen zu Open WebUI finden Sie auf der Homepage des Projekts [26] abrufen, den Quellcode steht auf Github unter der MIT-Lizenz bereit [27].

Die Installation gelingt am einfachsten mithilfe von Docker. Vorausgesetzt, dass das Containerwerkzeug installiert ist, beschränkt sich dieser Vorgang auf den Aufruf der ersten Zeile aus Listing 2. Die zweite Zeile zeigt das Pendant für eine entfernte Ollama-Installation, wobei Sie den Platzhalter »Ollama« durch die tatsächliche Adresse von Ollama ersetzen. Nach erfolgreicher Installation tippen Sie in einem Webbrowser https://localhost:3000 ein, um mit modernen generativen KI-Modellen zu interagieren, ohne Daten preiszugeben oder die Kontrolle an Dritte abzugeben.

$ curl -fsSL https://ollama.com/install.sh | sh

$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
$ docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=Ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Fazit

Open-Source-KI-Modelle befinden sich auf dem Vormarsch und lassen sich immer einfacher nutzen, obwohl Firmen wie OpenAI oder Google das gern anders darstellen. Die Vielfalt, Anpassungsfähigkeit und Transparenz von Open-Source-Modellen ermöglichen es, individuelle Lösungen zu entwickeln und gleichzeitig von der Community zu profitieren. Allerdings darf man die rechtlichen, ethischen und technischen Herausforderungen nicht übersehen.

Die Auswahl der passenden Hardware und Software sowie die Entscheidung für ein geeignetes Betriebsmodell (lokal, Private Cloud, Public Cloud, Hyperscaler) entscheiden dabei über den Erfolg oder Misserfolg eines Projekts und seine finanzielle, rechtliche und ethische Tragfähigkeit. Bereits im privaten Umfeld lassen sich auch anspruchsvolle generative KI-Modelle mithilfe von Plattformen wie Ollama nutzen.

Eine Grauzone bleibt auch bei Open-Source-KI-Modellen der Energieverbrauch: Zwar ist das Training großer Modelle energie- und ressourcenintensiv, doch können lokale Lösungen unter Umständen sogar effiziente Alternativen zur Cloud-Nutzung darstellen. Sie arbeiten nur mit bereits vorhandenen Ressourcen und laufen oft nicht im Volllastbetrieb. Dennoch gilt es, den Energiebedarf stets kritisch zu hinterfragen.

Setzt man Open-Source-KI-Lösungen mit Bedacht, verantwortungsvoll, transparent und bewusst ein, bieten sie abseits kommerzieller Lösungen ein unabhängiges, leistungsfähiges, weitreichend unterstütztes und ständig wachsendes Ökosystem. Hier schließt sich dann der Kreis zu konventionellen Open-Source-Ansätzen und -Lösungen in Software und Infrastruktur, da dieselben Vor- und Nachteile greifen. (jcb)