© belikova / 123RF.com

Künstliche Intelligenz gewinnt am Arbeitsplatz zunehmend an Bedeutung. Immer mehr LLMs lassen sich auch auf Rechnern ohne Cloud-Anbindung nutzen, sodass dabei der Datenschutz nicht auf der Strecke bleibt.

Chatbots wie ChatGPT stellen in vielen Bereichen eine deutliche Arbeitserleichterung dar. Doch da die gängigen Chatbots in der Cloud arbeiten, ist der Datenschutz meist nicht gewährleistet. Die Applikationen nutzen die eingegebenen Daten in aller Regel dazu, die ihnen zugrunde liegenden Large Language Models (LLM) zu trainieren. Als Anwender hat man zudem keinerlei Kontrolle über weitergehende Verwendungsformen der Daten, sodass auch nicht klar ist, ob die Anbieter anhand der Verbindungsdaten und inhaltlicher Schwerpunkte Profile anlegen.

Findige Entwickler bemühen sich daher seit geraumer Zeit, vorhandene Sprachmodelle lokal auf herkömmlichen PCs nutzbar zu machen. Das gewährleistet nicht nur ein Plus an Datenschutz, weil keine Daten mehr in die Cloud abfließen, sondern man kann auch verschiedene spezialisierte Sprachmodelle testen, ohne sich dafür bei einem Dienstleister registrieren zu müssen und für ein entsprechendes Konto zu bezahlen.

Lokale Sprachmodelle

Der Transfer von Sprachmodellen auf den heimischen Computer stellt Entwickler allerdings gleich in mehrerlei Hinsicht vor Probleme. So erfordert der teils enorme Umfang einzelner Large Language Models von mehr als 20 GByte nicht nur eine schnelle Internet-Verbindung für das Herunterladen, sondern auch entsprechend viel freie Kapazität auf den lokalen Massenspeichern.

Noch wesentlich schwieriger ist es jedoch, einen Chatbot zu entwickeln, der bei der Nutzung des Sprachmodells auch auf handelsüblicher PC-Hardware befriedigende Ergebnisse erzielt. Die gängigen Chatbots greifen in der Cloud auf kostspielige Grafikprozessoren zurück, um die benötigte Rechenleistung zu erhalten. Herkömmliche PCs verfügen jedoch in aller Regel nicht über solche extrem leistungsfähigen GPUs. Selbst sündhaft teure Workstations verfügen maximal über ein bis zwei leistungsfähigere Grafikprozessoren, die jedoch bei Weitem nicht an die Leistungen der Pendants im Rechenzentrum heranreichen.

Daher haben sich verschiedene Entwicklungsprojekte zum Ziel gesetzt, vorhandene Sprachmodelle auch auf herkömmlichen CPUs nutzen zu können. Moderne Prozessoren bringen größtenteils Befehlssatzerweiterungen wie AVX und dessen zahlreiche Nachfolger mit, die KI-generierte Chatbots beschleunigen. Recht neu und daher noch selten am Markt anzutreffen sind Computer mit integrierten Neuralprozessoren (NPU [1]), die lokal ausgeführten Sprachmodellen ebenfalls auf die Sprünge helfen. Zu der neuen Prozessorgeneration mit eingebauter NPU gehören beispielsweise die meisten Ryzen-CPUs der 8000er-Serie von AMD.

Wir haben uns einmal genauer angesehen, wie weit Large Language Models sich lokal ausführen lassen und ob man damit bereits brauchbare Ergebnisse erzielen kann.

GPT4All

Das plattformübergreifend erhältliche Programm GPT4All [2] unterstützt verschiedene Sprachmodelle und bietet ein grafisches Frontend. Die Software ist primär als lokal installierter Chatbot für allgemeine Dialoge gedacht. Sie benötigt keine Grafikprozessoren, sondern lässt sich auf herkömmlichen Computern mit integrierter Intel-Grafikkarte ausführen.

Installation

Für Linux steht ein rund 26 MByte großes Binärpaket mit einer Installationsroutine zur Verfügung. Nach dem Herunterladen versehen Sie die Datei zunächst mit Ausführungsrechten, indem Sie am Prompt den Befehl »chmod +x gpt4all-installer-linux.run« eingeben. Danach starten Sie den grafischen Assistenten. Er erfragt zunächst den Zielordner für die Installation, anschließend wählen Sie die zu installierenden Komponenten aus. Da Sie bislang noch kein Sprachmodell bezogen haben, schlägt der Assistent nur die eigentliche Anwendung zur Installation vor, die gut 900 MByte Speicherplatz im Zielverzeichnis belegt (Abbildung 1).

Abbildung 1: GPT4All kommt mit einem grafischen Installationsassistenten.

Anschließend müssen Sie noch die Lizenzvereinbarung abnicken. Danach führt das Programm die Installation aus, wobei eine Fortschrittsanzeige Auskunft über die einzelnen Schritte gibt. Verwenden Sie einen etwas exotischeren Linux-Desktop wie beispielsweise Cinnamon oder Mate, erscheint nach der Installation eine Meldung, die auf einen Fehler beim Anlegen eines Desktop-Icons verweist. Diese Warnung blenden Sie durch einen Klick auf Ignorieren aus. Der Assistent beendet sich daraufhin, und Sie öffnen die Anwendung durch einen Klick auf das Desktop-Icon. Wurde es auf Ihrem Desktop nicht angelegt, wechseln Sie am Prompt in das Installationsverzeichnis und von dort in den Unterordner »bin/«. Dort starten Sie die Anwendung durch Eingabe des Befehls »./chat«.

GPT4All öffnet zunächst einen Konfigurationsassistenten, in dem Sie angeben, ob Sie dem Versand anonymisierter Nutzungsdaten zur Verbesserung der Software zustimmen. Nach dem Wechsel zum nächsten Dialog erscheinen mehrere Sprachmodelle, die Sie in das Programm integrieren können. Dabei erscheinen einige kurze Hinweise zum jeweiligen Modell und rechts jeweils unterhalb des Install-Buttons auch Angaben zum Ressourcenbedarf. Bei vielen Sprachmodellen sehen Sie hier den jeweiligen Umfang der Datei und können so einschätzen, ob das lokale Speichermedium ausreichend freien Platz bietet.

Nach dem Scrollen ans Ende der Liste blenden Sie durch einen Klick auf den grünen Schalter Show more models die Installationsdaten zu weiteren Sprachmodellen ein. Erfüllt Ihr Rechner bei einem Modell nicht die Hardwareanforderungen, erscheint neben dem jeweiligen Installationsschalter eine entsprechende Meldung in roter Farbe. Zur Nutzung mancher Modelle benötigen Sie einen API-Key des jeweiligen Anbieters. Die müssen Sie gesondert beschaffen, und meist erhebt der Hersteller des Sprachmodells dafür einen Obolus. Haben Sie ein Sprachmodell gewählt, klicken Sie auf Download, um es herunterzuladen. Den Fortgang des Downloads zeigt die Routine mit einem Fortschrittsbalken an (Abbildung 2).

Abbildung 2: Sie können die benötigten Sprachmodelle bequem über den Einrichtungsassistenten beziehen.

Oberfläche

Nach der Installation schließen Sie den Assistenten. Sie gelangen nun in das primäre Fenster der Anwendung, das eine nahezu selbsterklärende Oberfläche bietet. Über die Schaltfläche Download models rufen Sie gegebenenfalls den Installationsassistenten für Sprachmodelle erneut auf. Oben in der Mitte finden Sie das Auswahlfeld Choose a model. Darin wählen Sie das gewünschte Sprachmodell. Haben Sie mehrere Modelle aus dem Internet bezogen, erscheint dazu nach einem Klick auf das nach oben oder unten offene Dreieck eine Liste.

Nach dem Laden des gewünschten Modells starten Sie einen neuen Chat, indem Sie links oben in der vertikalen Leiste auf das Editorsymbol klicken und dann links daneben den neuen Chat benennen. Dann klicken Sie unten in das Feld Send a message und beginnen mit dem eigentlichen Chat. Haben Sie Ihre Eingabe beendet und die Frage oder Nachricht abgeschickt, erscheint sie oben im großen Segment rechts. Darunter blendet GPT4All die Antwort des Chatbots ein, wobei es die Beiträge farblich kennzeichnet (Abbildung 3).

Abbildung 3: Den Ablauf des Chats zeigt GPT4All übersichtlich an.

Mehrfach

Mithilfe von GPT4All führen Sie bei Bedarf mehrere Chats mit unterschiedlichen Sprachmodellen. Um zusätzlich zum bereits bestehenden Dialog einen weiteren zu öffnen, klicken Sie oben links in der Steuerleiste wieder auf New chat und anschließend im neu darunter geöffneten Eingabefeld auf das Editorsymbol. Anschließend geben Sie den Namen des neuen Chats ein und wählen oben im Fenster ein Sprachmodell. Nach dem Laden des Modells geben Sie unten im Feld Send a message Ihre erste Frage ein und nehmen damit den Dialog auf.

Qualität

Im Test mit verschiedenen Sprachmodellen fiel die erstaunlich gute Qualität der Antworten positiv auf. Die Chatbots äußern sich jedoch teils in englischer, teils in deutscher Sprache. Dabei spielt es keine Rolle, in welcher Sprache Sie Ihre Fragen eingegeben haben. Grammatikalisch und orthografisch gibt es kaum Fehler zu bemängeln.

Die Antworten fallen teils sehr umfangreich aus. Lediglich bei Fragen zum aktuellen Tagesgeschehen oder bei detaillierten fachspezifischen Dialogen generieren selbst die großen Sprachmodelle fehlerbehaftete Antworten. Im Test fiel außerdem positiv auf, dass GPT4All Sprachmodelle selbst dann korrekt ausführt, wenn es vorher vor knapp unzureichender Kapazität des Arbeitsspeichers warnt.

Einstellungen

Im grafischen Frontend nehmen Sie gegebenenfalls individuelle Einstellungen zu den einzelnen Sprachmodellen vor. Dazu klicken Sie oben rechts im Programmfenster auf das große Zahnradsymbol und wählen im sich daraufhin öffnenden Konfigurationsfenster links in der Steuerleiste die Option Models. Danach können Sie rechts im Fenster sprachmodellspezifische Anpassungen vornehmen.

Die voreingestellten Werte sollten Sie jedoch nur dann ändern, wenn Sie mit deren Wirkung vertraut sind, anderenfalls können später Fehlfunktionen auftreten. In der Gruppe Application in der Steuerleiste modifizieren Sie zudem einige Einstellungen zum Erscheinungsbild des Programms und zu technischen Optionen wie der Anzahl der nutzbaren CPU-Kerne für die Sprachmodelle. Auch der Download-Pfad für die LLMs lässt sich hier ändern.

Spezialitäten

Mit GPT4All können Sie anhand eigener Dokumente einen individuellen Chatbot erzeugen. Dazu legen Sie zunächst einen Ordner für Ihre Chatbot-Dokumente an und kopieren diese dorthin. Die Dokumente dürfen in verschiedenen Formaten vorliegen, beispielsweise als Text oder PDF. Anschließend öffnen Sie im Konfigurationsdialog die Kategorie LocalDocs und laden das hier angebotene SBert-Plugin aus dem Internet herunter. Nun tragen Sie den Zielpfad in der Rubrik Local Document Collections ein und geben der Dokumentengruppe einen Namen.

Schließen Sie danach den Dialog und klicken Sie oben rechts im Hauptfenster auf das Festplattensymbol. Es öffnet sich ein kleines Fenster, in dem GPT4All die lokalen Dokumentensammlungen anzeigt. Sie wählen die gewünschte Sammlung aus, schließen das Fenster und beginnen dann im primären Fenster den Chat. Die Software verlangt dazu nochmals die Auswahl eines Standard-Sprachmodells, generiert jedoch anschließend ihre Antworten unter Berücksichtigung der lokalen Dokumentensammlung.

Jan

Das grafische Frontend Jan [3] zur Nutzung großer Sprachmodelle auf lokalen Rechnern ohne Cloud-Anbindung basiert auf der Cortex-Bibliothek. Die freie Software gibt es für Linux als DEB-Paket mit rund 158 MByte Umfang sowie als distributionsübergreifend einsetzbares Appimage-Paket mit einer Größe von etwa 205 MByte.

Das Appimage-Paket müssen Sie wie üblich mit Ausführungsrechten versehen, bevor Sie es starten können. Das DEB-Paket installieren Sie wie gewohnt durch Eingabe des Befehls »sudo dpkg -i Paket«. Die Routine integriert daraufhin die Anwendung in Ihr System und erzeugt einen Starter im Menü Zubehör.

Beim ersten Start öffnet Jan ein optisch modern wirkendes Programmfenster mit einem hellen mittleren Segment, das auf das noch fehlende Sprachmodell hinweist. Mit einem Mausklick auf die Schaltfläche Explore the Hub öffnen Sie eine Auswahlliste der verfügbaren Modelle (Abbildung 4).

Abbildung 4: Jan bietet eine direkte Auswahl unterschiedlicher Sprachmodelle.

Vorbildlich

Ungeachtet ihres konventionellen Layouts bietet die LLM-Liste eine Menge hilfreicher Informationen. So erscheinen rechts neben den Modellen die jeweilige Größe und – falls Ihre Hardwareausstattung sich nicht für das gewünschte Sprachmodell eignet – eine entsprechende Warnung. Ganz rechts finden Sie hinter jedem Eintrag den Download-Button zum Transfer auf den lokalen Massenspeicher. Nach einem Klick darauf verwandelt sich der Schalter in eine Fortschrittsanzeige mit einem horizontalen Balken, der den aktuellen Stand des Ladevorgangs in Prozent angibt.

Rechts neben der Schaltfläche zum Herunterladen finden Sie ein nach unten weisendes offenes Dreieck. Ein Klick darauf blendet unterhalb des aktuellen Eintrags weitere Details zum jeweiligen Sprachmodell ein. So erhalten Sie eine kurze Beschreibung und in der Rubrik Tags auch Angaben zu möglichen Anwendungsfeldern.

Hinter einigen Einträgen in der Liste befindet sich anstelle des Download-Buttons ein Use-Schalter. Dabei handelt es sich um Sprachmodelle, die Sie nicht lokal verwenden können und die einen Internet-Zugang voraussetzen. Dazu gehören unter anderem auch die GPT-4-Modelle von OpenAI, für die Sie zudem einen API-Key benötigen. Wählen Sie eines dieser Sprachmodelle aus, dann erscheint bei einem Chat-Versuch lediglich eine Fehlermeldung, falls der Rechner keinen Internet-Zugang hat oder Sie keinen gültigen OpenAI-API-Key angeben.

Haben Sie ein Sprachmodell heruntergeladen und es durch einen Klick auf Use aktiviert, füllt sich die dreigeteilte Chat-Oberfläche mit Inhalten: Links blendet Jan einen neuen Thread für den Chat ein, rechts erscheint im Reiter Model das aktuelle Modell in einem Auswahlfeld. Darunter finden sich je nach Sprachmodell verschiedene Gruppen für die Parametrierung. In der Mitte des Anwendungsfensters bleibt der hellere Bereich bestehen, der jetzt der Anzeige des Chat-Verlaufs dient. Unten mittig findet sich dazu das entsprechende Eingabefeld (Abbildung 5).

Abbildung 5: Die Oberfläche von Jan ist selbsterklärend.

Anwendung

Sie starten einen Dialog, indem Sie Ihre Frage unten in die Eingabezeile eintippen. Nach dem Absenden erscheint sie oben im mittleren Fenstersegment, die Antwort platziert der Chatbot darunter. Jan zeigte dabei im Test mit verschiedenen Sprachmodellen eine ansprechende Geschwindigkeit und funktionierte auch mit solchen Modellen, die der Download-Dialog als zu umfangreich für die vorhandene Hardwareausstattung gekennzeichnet hatte.

Bei solchen schwergewichtigen Modellen artete allerdings die Kreation der Antworten zur Geduldsprobe aus: Für einen einzigen Satz benötigte die Anwendung in solchen Fällen mehrere Minuten Zeit. Sie können den Prozess des Generierens einer Antwort aber jederzeit ohne Verzögerung abbrechen, indem Sie unten in der Eingabezeile auf den roten Schalter klicken. Anschließend löschen Sie gegebenenfalls eine unvollständige Antwort mit einem Klick auf den rechts unterhalb des Dialogs angeordneten Papierkorb.

Abschalten

Um solche für Ihre Hardware ungeeigneten Sprachmodelle zu deaktivieren, müssen Sie sie manuell abschalten. Sie klicken dazu im Dialog-Thread auf das Zahnradsymbol links unten. Anschließend rufen Sie in der Gruppe My Models das Punkte-Menü rechts neben dem als aktiv gekennzeichneten Sprachmodell auf. Darin wählen Sie die Option Stop Model. Möchten Sie das Modell stattdessen dauerhaft löschen, klicken Sie auf Delete Model.

Um ein weiteres Sprachmodell lokal zu installieren, klicken Sie auf das Hub-Symbol oben links im Fenster. Sie gelangen nun wieder in den Installationsmodus mit der Liste der einzelnen LLMs und können ein weiteres Sprachmodell aus dem Internet beziehen. Die Software gestattet das simultane Herunterladen mehrerer Modelle, sodass Sie in einem Rutsch die passenden Daten für verschiedene anwendungsspezifische Aufgaben beziehen können.

Nach dem Download wählen Sie im Dialogfenster oben rechts das gewünschte Sprachmodell aus und nehmen anschließend den Chat auf. Fallen die Antworten unbefriedigend aus, wechseln Sie das genutzte Sprachmodell verzögerungsfrei durch Auswahl eines anderen Modells. Jan deaktiviert dann automatisch das alte Modell und startet das neue. Dadurch überflüssig gewordene Dialoge entfernen Sie durch einen Klick auf das Papierkorbsymbol rechts unter der obsoleten Frage oder Antwort.

Mehrgleisig

In Jan können Sie mehrere Dialogstränge nutzen. Dazu legen Sie für jeden neuen Chat einen eigenen Thread an, indem Sie links im Programmfenster auf New Thread klicken. Der Chat-Verlauf leert sich anschließend, und Sie können durch einen Klick auf die drei Punkte rechts neben dem neuen Thread ein Kontextmenü öffnen. Dort vergeben Sie mithilfe der Option Edit title einen Namen für den neuen Thread, den Jan nach einem Klick auf Save in die linke Spalte übernimmt. Sie können nun den Chat starten. Um weitere Threads anzulegen, klicken Sie auf das Editorsymbol über der bestehenden Liste. Die Anwendung fügt daraufhin einen neuen Thread hinzu, dem Sie erneut einen passenden Namen geben (Abbildung 6).

Abbildung 6: In Jan können Sie mehrere Dialoge simultan bearbeiten.

Weiterverarbeitung

Die von der Anwendung generierten Texte können Sie für die weitere Verwendung in die Zwischenablage kopieren. Dazu klicken Sie unterhalb des jeweiligen Dialogbestandteils rechts auf das Kopiersymbol. Die Applikation blendet für kurze Zeit an dessen Stelle ein grünes Häkchen ein, um den erfolgreichen Kopiervorgang in die Zwischenablage zu signalisieren.

Bitte beachten Sie, dass Sie Texte nicht durch Markieren mehrerer Abschnitte im Dialogsegment des Programmfensters in die Zwischenablage übernehmen und von dort in eine andere Anwendung übertragen können. Sie haben lediglich die Möglichkeit, einzelne Abschnitte aus dem Chat-Verlauf mithilfe des Kopierschalters zur Weiterverarbeitung vorzusehen.

LM Studio

Das unter einer freien Lizenz stehende LM Studio [4] hat sich zum Ziel gesetzt, Large Language Models auch auf den herkömmlichen Desktop zu bringen. Die noch recht junge Software basiert auf der Bibliothek Llama.cpp [5], die neben moderneren CPUs auch GPUs unterstützt. Der Prozessor muss dabei mit der AVX2-Befehlssatzerweiterung von Intel umgehen können. Seit der Version 0.2.24 harmoniert LM Studio auch mit dem von AMD entwickelten ROCm-Software-Stack für grafische Prozessoren. Die Anwendung greift auf die Hugging-Face-Repositories zurück, um Sprachmodelle ins lokale System zu integrieren.

Das für Linux derzeit noch als Beta-Variante angebotene LM Studio in der frühen Version 0.2.25 steht auf der Website des Projekts als Appimage zum Herunterladen bereit. Nach dem Download gewähren Sie dem knapp 600 MByte umfassenden Paket am Prompt mit dem Befehl »chmod +x LM_Studio-0.2.25.AppImage« Ausführungsrechte. Anschließend starten Sie die Anwendung mit dem Kommando »./LM_Studio-0.2.25.AppImage«.

Oberflächliches

Die nach dem ersten Start erscheinende Oberfläche (Abbildung 7) wirkt zunächst etwas verwirrend: Im Bereich des Chat-Verlaufs blendet die Software neben Informationen zu vielen häufig verwendeten Sprachmodellen auch Bedienhinweise ein. Links daneben gibt es eine vertikale Steuerleiste mit sechs Elementen. Oben mittig erscheint zudem die übliche Eingabezeile, während LM Studio darunter noch auf die unterstützten Sprachmodellfamilien hinweist.

Abbildung 7: Die Oberfläche von LM Studio wirkt auf den ersten Blick etwas verwirrend.

Integrativ

Mithilfe der Beschreibungen zu den im Startfenster bereits eingeblendeten Sprachmodellen finden Sie heraus, welches Modell sich am ehesten für Ihre Zwecke eignet. Anhand der ebenfalls angezeigten benötigten Arbeitsspeichergröße lässt sich einschätzen, ob das gewünschte LLM auf Ihrer Hardware läuft.

Haben Sie ein Sprachmodell ausgewählt, klicken Sie auf den entsprechenden Download-Button, um es auf Ihr System herunterzuladen. Während des Vorgangs erscheint lediglich eine Aktivitätsanzeige, jedoch kein Fortschrittsbalken. Um vor allem bei mehreren parallelen Downloads über den Fortschritt informiert zu bleiben, klicken Sie unten rechts im Programmfenster auf den nach oben weisenden Pfeil. Daraufhin öffnet sich ein Fenstersegment, in dem LM Studio die aktuell laufenden Downloads untereinander mit blauen Fortschrittsbalken anzeigt. Jeder davon lässt sich durch einen Klick auf Pause oder Cancel einzeln pausieren respektive abbrechen. Um das Fenstersegment wieder zu schließen, klicken Sie oben rechts auf den nach unten weisenden Pfeil.

Nach dem erfolgreichen Abschluss des Downloads erscheint unterhalb des Sprachmodells in grüner Schrift der Hinweis Downloaded. Welche Sprachmodelle Sie lokal auf Ihrem Rechner installiert haben, überprüfen Sie in der Listenanzeige My Models, die sich hinter dem Ordnersymbol links in der Steuerleiste verbirgt (Abbildung 8).

Abbildung 8: Auch in LM Studio können Sie mehrere Sprachmodelle aktivieren.

Schwätzchen

Um danach einen Chat zu beginnen, klicken Sie links in der Steuerleiste auf AI Chat. Das Fenster teilt sich nun in drei Spalten: Links erscheint eine Liste der Chats, die Sie hier verwalten und gegebenenfalls umbenennen. Rechts nehmen Sie in einer etwas kleineren Spalte Einstellungen zum jeweils geladenen Sprachmodell vor.

Im größten Fenstersegment in der Mitte blendet LM Studio den Chat-Verlauf ein. Unten findet sich die obligatorische Eingabezeile. Zunächst wählen Sie mithilfe der oben erscheinenden blauen Schaltfläche Select a model to load eines der heruntergeladenen Sprachmodelle aus. Das lädt LM Studio dann, wobei es links daneben die aktuelle CPU-Belastung und den RAM-Bedarf anzeigt. Die erste Frage senden Sie anschließend durch einen Druck auf die Eingabetaste ab. Die Software verschiebt Ihre Frage in den freien Bereich in der Fenstermitte und generiert darunter in einem Kasten die Antwort. Sie hebt sich optisch nur geringfügig von Ihrer Frage ab (Abbildung 9).

Abbildung 9: LM Studio liefert je nach verwendetem Sprachmodell brauchbare bis gute Ergebnisse.

Möchten Sie während des Dialogs das Sprachmodell wechseln, dann klicken Sie oben rechts neben der Anzeige des gewählten LLMs auf Eject Model. Dann wählen Sie ein anderes Modell aus der angezeigten Liste und setzen den Dialog fort. Indem Sie dem Chatbot die ursprüngliche Frage noch einmal vorsetzen, stellen Sie schnell die Unterschiede zwischen den LLMs fest und können so das für Ihre Zwecke beste Sprachmodell ermitteln.

Rechts neben allen Fragen und Antworten finden Sie einige Schaltflächen, mit denen Sie den jeweiligen Kasten entweder löschen, ihn in die Zwischenablage kopieren oder ihn editieren. Auf diese Weise lassen sich Bestandteile eines Dialogs auch außerhalb des Chatbots weiterverarbeiten.

In der linken Spalte vergeben Sie durch Klick auf das Editorsymbol einen Namen für den aktuellen Chat. Vergeben Sie keine Bezeichnung, generiert LM Studio die Bezeichnung automatisch durch Übernahme der ersten Frage des Dialogs. Einen neuen Chat legen Sie über die entsprechende Schaltfläche oberhalb der Chat-Liste oder über das Tastenkürzel [Strg]+[N] an.

Exporteur

LM Studio gestattet den Export von Inhalten zur Weiterverarbeitung in unterschiedlichen Formaten. Sie rufen die Exportfunktion über den Schalter Export links oberhalb des Dialogfelds im Programmfenster auf und wählen dann im Kontextmenü eine der Optionen. Dabei können Sie den aktuell sichtbaren Bereich des Dialogsegments auch als Screenshot sichern und entweder in die Zwischenablage kopieren oder als PNG lokal speichern.

Um den Chat-Bereich zu vergrößern und damit bei umfangreichen Dialogen das Programmfenster besser auszunutzen, klicken Sie oben rechts auf das Zahnradsymbol und dann links auf das Sprechblasen-Icon. LM Studio klappt dann die rechte und linke Spalte im Programmfenster ein. Zur besseren Lesbarkeit auf Screenshots lassen Sie den Text gegebenenfalls durch einen Klick auf die Buttons rechts oberhalb des Chat-Verlaufs in einer Monospace-Schrift, als Markdown oder Plaintext anzeigen. Dabei formatiert LM Studio jeweils alle Dialogbestandteile neu.

Ollama

Ollama [6] ist ein weiteres, noch sehr junges Projekt zum lokalen Ausführen von LLMs. Die unter einer freien Lizenz stehende, plattformübergreifende Software gibt es für Linux derzeit in Form dreier Pakete: Neben einer allgemeinen Variante für 64-Bit-Systeme steht ein weiteres Paket speziell für Rechner mit AMD-APU (Accelerated Processing Unit) zum Download bereit. Das mit rund 1,1 GByte Umfang recht große Package enthält einen optimierten Software-Stack für die integrierte GPU dieser Prozessoren (ROCm), mit dem sich KI-Sprachmodellen beschleunigen lassen. Dritte im Bunde ist eine Binärdatei für ARM64-basierte Single-Board-Computer wie den Raspberry Pi. Für den Einsatz der Applikation in Container-Umgebungen findet sich zudem auf Docker Hub ein passendes Docker-Image.

Installation

Auf der Website des Projekts gibt es zwar für Linux einen Download-Button, der aber keinen Download startet, sondern einen Terminalbefehl einblendet. Mithilfe von Curl integrieren Sie damit Ollama mit nur einer einzigen Befehlszeile in Ihr Linux-Derivat (Abbildung 10). Über die kleine Schaltfläche Manual install instructions unterhalb des Installationsbefehls erhalten Sie zusätzliche Informationen, wie Sie die manuelle Installation mit mehreren optionalen Komponenten vornehmen.

Abbildung 10: Die Installation von Ollama nehmen Sie mit einem einzigen Befehl vor.

Bei der automatischen Installation prüft die Software, ob in Ihrem Rechner eine Nvidia-GPU verbaut ist. Findet sich eine solche, spannt der KI-Chatbot sie automatisch für sich ein, anderenfalls arbeitet die Software im reinen CPU-Modus. Die entsprechende Information blendet die Installationsroutine bei Fertigstellung ein.

Losgeplaudert

Ollama verfügt von Haus aus nicht über eine grafische Oberfläche, sondern läuft im Terminal. Sie rufen die Anwendung mit »ollama run LLM« auf. Sie lässt sich mit zahlreichen Sprachmodellen verwenden, die das Programm beim Aufruf herunterlädt. Die Entwickler stellen dazu auf der Github-Seite des Projekts einige Optionen vor und weisen dabei auch auf die Größe des benötigten Arbeitsspeichers hin. Diese Dokumentation erklärt außerdem, wie Sie Sprachmodelle für die Verwendung mit der Software anpassen. Auf der Ollama-Website finden Sie zudem unter dem Menüpunkt Models zahlreiche Sprachmodelle, die mit Ollama harmonieren, sowie Angaben zu den jeweiligen speziellen Einsatzgebieten.

Nach Eingabe des Startbefehls – und bei erstmaligem Aufruf nach dem Download der benötigten Dateien – gelangen Sie zu einem Prompt, an dem Sie Ihre erste Frage eingeben. Die Software gibt die Antworten anschließend ihrerseits am Prompt aus und wartet danach auf die nächste Frage (Abbildung 11). Ähnlich wie GPT4All arbeiten sehr umfangreiche Sprachmodelle auch dann mit Ollama, wenn die genannten Hardwareanforderungen nicht vollständig vorliegen.

Abbildung 11: Ollama nutzen Sie von Haus aus am Prompt.

Die meisten Sprachmodelle akzeptieren Fragen in Deutsch und liefern ihre Antworten ebenfalls in dieser Sprache. Teilweise kommen jedoch auch englischsprachige Auskünfte zurück. Sie beenden Ollama durch Eingabe des Befehls »/bye« am Prompt. Bei nachfolgenden Aufrufen unter Nutzung desselben Sprachmodells erscheint ohne zeitraubende Downloads und Installationen sofort der Prompt.

Grafisch

Für Ollama gibt es inzwischen eine stattliche Anzahl grafischer Frontends, die das optische Erscheinungsbild aufwerten und die Bedienung erleichtern. Nicht alle davon laufen jedoch unter Linux. Teilweise wurden die GUIs auch für Container-Umgebungen wie Docker konzipiert.

Eine minimalistische, aber optisch hochmoderne Oberfläche für Ollama bietet Ollama-ui [7]. Das Paket arbeitet auf der Basis eines Webservers, Sie nutzen das Interface also in einem Webbrowser. Die Oberfläche ähnelt der eines Instant Messengers. Sie installieren das Paket mit den Befehlen aus Listing 1.

$ git clone https://github.com/ollama-ui/ollama-ui
$ cd ollama-ui
$ make

Anschließend starten Sie einen Webbrowser und geben in der URL-Zeile die Adresse http://127.0.0.1:8000 ein. In der nun erscheinenden Weboberfläche können Sie sofort in die Eingabezeile unten eine erste Frage eingeben und absenden. Das oben rechts im Auswahlfeld Model aktivierte Sprachmodell liefert prompt die Antwort. Haben Sie mehrere Sprachmodelle für Ollama installiert, wechseln Sie mithilfe dieses Auswahlfelds schnell zwischen den LLMs (Abbildung 12).

Abbildung 12: Die webbasierte Oberfläche Ollama-ui macht den Umgang mit dem Chatbot zum Kinderspiel.

Historisches

Mit Ollama-ui lassen sich bei Bedarf Chat-Verläufe bequem sichern, allerdings nur innerhalb der Anwendung. Die Chats rufen Sie anschließend jederzeit aus dem Browserfenster heraus wieder auf.

Um einen vorhandenen Chat zu sichern, klicken Sie oben rechts im Browser-Fenster auf Save. Es öffnet sich ein Dialog, in dem Sie eine aussagekräftige Bezeichnung für den Chat eingeben. Nach einem erneuten Klick auf Save speichert Ollama-ui den Chat. Er lässt sich jederzeit im primären Fenster im Auswahlfeld History wieder abrufen. Ein Klick auf die rote Schaltfläche Delete löscht den gesicherten Chat.

Um einen aktuellen Chat zu löschen, klicken Sie stattdessen auf Reset. Der aktuelle Chat-Verlauf verschwindet daraufhin, alle gesicherten Chats bleiben jedoch erhalten. Sie lassen sich durch eine entsprechende Auswahl unter History wieder ins Fenster transferieren.

Fazit

Die Vielzahl neuer Frontends zum lokalen Nutzen großer Sprachmodelle auf Arbeitsplatzrechner sorgt für eine wachsende Akzeptanz unter den Anwendern. Die Softwarepakete lassen sich inzwischen meist leicht installieren und weisen im Vergleich zu den Cloud-basierten Pendants zahlreiche Vorteile auf. So tragen sie nicht nur datenschutzrechtlichen Aspekten Rechnung, sondern unterstützen durch das Umgehen energiefressender Rechenzentren auch den Klimaschutz. Obendrein ermöglichen sie, verschiedene Sprachmodelle auf dem heimischen Desktop auszuprobieren, ohne sich dabei mehrfach bei verschiedenen Anbietern anmelden zu müssen. Die grafischen Frontends bieten zudem einen hohen Bedienkomfort und machen damit den Einsatz Cloud-basierter Chatbots zunehmend überflüssig. (jlu)