© Vladimir Panteleev/ 123rf.com
Immer mehr KI-Anwendungen verlassen das Rechenzentrum und wandern direkt in die Geräte vor Ort – neuen offenen Laufzeitumgebungen und optimierten Modellen sei Dank. Doch wer KI am Edge einsetzen will, muss die passenden Werkzeuge kennen. Und ihre Grenzen.
Künstliche Intelligenz läuft immer öfter auf Gateways, Industrie-PCs, Routern, Smartphones und sogar Mikrocontrollern. Möglich machen das offene Laufzeitumgebungen wie ONNX Runtime und GGML beziehungsweise GGUF. Sogenannte TinyML-Frameworks wie TensorFlow Lite for Microcontrollers schrumpfen zudem die Modelle auf wenige MByte oder sogar KByte zusammen. Vor allem Entwickler können somit KI lokal, datenschutzfreundlich und ohne Cloud-Lock-in einsetzen – vorausgesetzt, die richtigen Technologien und die technischen Grenzen sind bekannt.
Raus aus der Cloud
Die ersten Deep-Learning-Anwendungen liefen fast ausschließlich auf GPUs in Rechenzentren, weil die Modelle Hunderte MByte groß waren und auf spezialisierte Hardware setzten. Die Latenz der Netzwerkanbindung und Sicherheitsbedenken waren zwar bekannte Probleme, wurden aber aus Mangel an Alternativen in Kauf genommen. Inzwischen skaliert die Rechenleistung in Smartphones, Single-Board-Computern und Embedded SoCs, während Techniken wie Quantisierung und Pruning die Modellgrößen massiv reduzieren [1].
Für Edge-Szenarien – von der Qualitätskontrolle an der Fertigungslinie (Abbildung 1) über Predictive Maintenance im Windpark bis zur Offline-Spracherkennung im Zug – ist es unattraktiv, jeden Inferenzaufruf in die Cloud zu schicken. Dort ist die Bandbreite knapp, Funkverbindung und Latenz sind unzuverlässig, Datenschutzvorgaben untersagen das Hochladen sensibler Rohdaten, und die Kosten pro Request summieren sich schnell. Lokale Inferenz auf dem Edge-Device umgeht ...
[...]
Linux-Magazin Online veröffentlicht alle Print-Artikel, die seit 2001 im Linux-Magazin erschienen sind. Damit steht Ihnen ein hochwertig bestücktes Archiv bis hin zu den Beiträgen der aktuellen Ausgabe online zur Verfügung. Die über 4.000 Artikel sind größtenteils kostenlos zugänglich, nur für Beiträge (als PDF) der jüngsten zehn Linux-Magazine ist eine kleine Gebühr fällig.
