Ist lokale KI sicher? Die meisten Geschäftsführer würden spontan mit Ja antworten. Die Daten bleiben im Haus, kein Anbieter in den USA liest mit, kein Prompt landet im Training eines fremden Modells. Ein englischsprachiges Video mit über 100.000 Aufrufen behauptet gerade das Gegenteil: Lokale KI-Modelle seien nicht sicher, man solle sie lieber in die Cloud geben.
Wir bei Biteno bauen und betreiben lokale KI für mittelständische Unternehmen. Gerade deshalb nehmen wir die Gegenthese ernst. In einem Punkt hat sie recht: Lokal heißt nicht automatisch sicher. In der Schlussfolgerung liegt sie falsch. Die Antwort ist nicht die Cloud, sondern ein sauberer Betrieb. Was das konkret bedeutet, zeigen wir in diesem Beitrag.
Wo die Kritik recht hat
Wer eine lokale KI installiert, holt sich drei Dinge ins Haus. Erstens das Modell selbst, also die gelernten Gewichte. Zweitens die Laufzeitumgebung, die das Modell ausführt, etwa Ollama, llama.cpp oder vLLM. Drittens Begleitdateien wie Konfiguration und Chat-Vorlagen, die mit dem Modell aus dem Netz kommen. Alle drei sind Software aus fremder Hand, und alle drei können Schwachstellen haben.
Das ist keine Theorie. 2024 wurde in der Python-Anbindung von llama.cpp eine Lücke bekannt („Llama Drama“, CVE-2024-34359): Eine präparierte Chat-Vorlage in der Modelldatei konnte beim Laden Programmcode auf dem Rechner ausführen. Im selben Jahr fanden Sicherheitsforscher in Ollama eine Lücke, über die sich ebenfalls fremder Code einschleusen ließ („Probllama“, CVE-2024-37032). Beide Lücken wurden schnell geschlossen, aber nur bei denen, die auch aktualisiert haben. Dazu kommen Modelle in älteren Dateiformaten, die beim Laden beliebigen Code ausführen können. Auf öffentlichen Plattformen wie Hugging Face wurden solche Modelle mit Schadcode bereits gefunden. Mehr zu den Formaten lesen Sie in unserem Beitrag Was ist GGUF?.
Das größte Risiko ist dabei oft banal: Ollama nimmt Anfragen standardmäßig ohne Anmeldung entgegen. Wer den Dienst „nur kurz“ im Netzwerk freigibt, stellt jedem im Netz ein Sprachmodell zur Verfügung. Je nach Anbindung kommen auch die angeschlossenen Dokumente mit. Sicherheitsforscher finden regelmäßig Tausende solcher offenen Instanzen im Internet.
Wo die Kritik zu kurz greift
Der Rat aus dem Video lautet: Modelle lieber bei einem großen Cloud-Anbieter betreiben, der kümmert sich um die Sicherheit. Für ein Unternehmen, das lokale KI gerade wegen seiner Daten einsetzt, löst das nichts. Die Daten verlassen dann wieder das Haus, und Verträge, Rechtsraum und Zugriffswege liegen beim Anbieter. Das Problem wird nicht gelöst, sondern verschoben.
Außerdem vermischt die Kritik zwei sehr verschiedene Dinge. Ein Mitarbeiter, der sich Ollama auf seinen Laptop lädt und ein Modell aus einem Forum zieht, betreibt keine lokale KI. Er betreibt Schatten-KI, nur eben ohne Cloud. Eine KI-Plattform auf einem eigenen Server, die geplant, abgesichert und überwacht wird, ist etwas völlig anderes. Die Frage ist deshalb nicht „lokal oder Cloud?“, sondern: Wer betreibt die KI, und nach welchen Regeln?
Was „richtig betrieben“ konkret heißt
Lokale KI ist Serverbetrieb. Es gelten dieselben Grundsätze wie für jedes andere System, das vertrauliche Daten verarbeitet. Sechs Bausteine machen den Unterschied:
| Baustein | Risiko ohne | Wie es richtig aussieht |
|---|---|---|
| Herkunft der Modelle | Präparierte Modelldateien führen Code aus | Nur geprüfte Modelle von bekannten Herausgebern, sichere Dateiformate (Safetensors, GGUF), Prüfsummen, ein internes Modellverzeichnis statt Download durch Anwender |
| Updates | Bekannte Lücken bleiben offen | Laufzeitumgebung, Betriebssystem und Treiber im festen Patch-Zyklus, Sicherheitsmeldungen der Projekte werden aktiv verfolgt |
| Zugriffsrechte | Jeder sieht alles, auch fremde Dokumente | Anmeldung über das bestehende Benutzerverzeichnis, Rollen und Gruppen, Dokumente nur für Berechtigte durchsuchbar |
| Netzwerktrennung | Offene Schnittstelle im LAN oder Internet | KI-Server in eigenem Netzsegment, Zugriff nur über ein Portal mit Anmeldung, keine direkte Freigabe nach außen |
| Protokollierung | Missbrauch und Fehler bleiben unbemerkt | Nachvollziehbare Protokolle zu Anmeldung, Modellwechsel und Verwaltung, abgestimmt mit Datenschutz und Betriebsrat |
| Administration | Niemand fühlt sich verantwortlich | Benannte Verantwortung für Betrieb und Freigaben, dokumentierte Abläufe, Vertretung geregelt |
Herkunft: Modelle sind Software, keine Daten
Behandeln Sie ein Modell wie ein Programm, das Sie installieren. Niemand würde einem Mitarbeiter erlauben, beliebige Programme aus Foren auf den Server zu spielen. Bei KI-Modellen passiert genau das täglich. Ein freigegebener Katalog mit wenigen geprüften Modellen genügt für die meisten Anwendungsfälle. Hinzu kommt eine inhaltliche Frage: Bei frei verfügbaren Modellen ist meist nicht offengelegt, mit welchen Daten sie trainiert wurden. Für kundennahe Anwendungen sollten Sie die Antworten deshalb vor dem Einsatz testen.
Updates: Die Laufzeit ist das Einfallstor
Die bekannten Angriffe zielten nicht auf das Modell, sondern auf die Software drumherum. Darum gehört die KI-Laufzeit in denselben Patch-Prozess wie Firewall und Mailserver. Ein Container macht das einfacher, ersetzt aber kein Update.
Rechte und Netzwerk: Das Modell weiß nur, was es sehen darf
Kritisch wird es, sobald die KI auf Unternehmenswissen zugreift, etwa auf Dateiablagen, E-Mails oder das ERP. Dann muss sie dieselben Berechtigungen respektieren wie der anfragende Mitarbeiter. Das gilt umso mehr für KI-Mitarbeiter, die selbstständig Werkzeuge bedienen. Warum diese Kombination heikel ist, beschreiben wir im Beitrag zur Lethal Trifecta. Auf Netzwerkebene gehört der KI-Server in ein eigenes Segment. Die Grundlagen dazu finden Sie unter Was sind Netzwerksegmente?.
Protokolle und Verantwortung: Wer schaut hin?
Ohne Protokolle bemerkt niemand, wenn ein Konto missbraucht wird oder jemand ein neues Modell einspielt. Ohne benannte Verantwortung prüft niemand diese Protokolle. Im Mittelstand ist das oft der eigentliche Engpass: Die IT-Abteilung hat schon genug zu tun, und KI läuft „nebenher“. Hier lohnt eine klare Regel, wer Modelle freigibt, wer Updates einspielt und wer im Zweifel abschaltet. Den organisatorischen Rahmen dafür beschreibt unser Beitrag zur KI-Governance im Unternehmen.
Fünf Fragen an Ihre IT
Mit diesen Fragen finden Sie in zehn Minuten heraus, wo Sie stehen:
- Wissen wir, welche KI-Modelle bei uns laufen, und woher sie stammen?
- Wann wurde die KI-Laufzeit zuletzt aktualisiert, und wer ist dafür verantwortlich?
- Kann jemand ohne Anmeldung auf unsere KI zugreifen, aus dem LAN oder von außen?
- Sieht die KI nur die Dokumente, die der anfragende Mitarbeiter auch sehen darf?
- Würden wir es bemerken, wenn jemand die KI missbraucht?
Wenn Sie mehr als eine Frage nicht sicher beantworten können, ist das kein Grund, auf lokale KI zu verzichten. Es ist ein Grund, den Betrieb einmal sauber aufzusetzen. Die Vorteile lokaler Modelle für den Datenschutz bleiben bestehen, wie wir in Lokale KI: Datenschutzkonforme KI-Lösungen zeigen. Wer die technische Architektur vertiefen will, findet sie im Leitfaden On-Premise KI.
Häufige Fragen zur Sicherheit lokaler KI
Ist ein Cloud-Dienst nicht doch sicherer als lokale KI?
Große Anbieter haben starke Sicherheitsteams, das ist unbestritten. Sie schützen aber ihre Plattform, nicht Ihren Umgang damit. Wer dort Kundendaten, Verträge oder Personalakten verarbeitet, muss Auftragsverarbeitung, Speicherorte und Zugriffe von Dritten bewerten und darauf vertrauen, dass die Zusagen eingehalten werden. Eine lokale KI, die nach den sechs Bausteinen betrieben wird, erreicht ein vergleichbares Schutzniveau und lässt die Daten trotzdem im Haus.
Reicht es, Ollama auf einem Server statt auf dem Laptop zu installieren?
Es ist ein guter erster Schritt, aber noch kein sicherer Betrieb. Ollama ist eine Laufzeitumgebung, keine Plattform für ein Unternehmen. Ohne vorgeschaltete Anmeldung, Rechteverwaltung und Protokollierung bleibt die Schnittstelle für jeden erreichbar, der den Server im Netz sieht. Davor gehört deshalb immer ein Portal mit Benutzerverwaltung.
Brauchen wir für sichere lokale KI eigene GPU-Server?
Nicht zwingend. Viele Unternehmen starten mit einer dedizierten Instanz, die Biteno für sie im eigenen Rechenzentrum in Stuttgart betreibt. Die Daten bleiben unter Ihrer Kontrolle, ohne dass Sie Hardware anschaffen müssen. Eigene Server lohnen sich, wenn die Nutzung hoch ist oder die Daten das Firmengelände gar nicht verlassen dürfen.
Dürfen wir protokollieren, was Mitarbeiter die KI fragen?
Technisch ja, organisatorisch nur mit klaren Regeln. Entscheidend ist der Zweck: Nachvollziehbarkeit für Sicherheit und Fehlersuche, keine Leistungskontrolle. Binden Sie Datenschutz und, wo vorhanden, den Betriebsrat früh ein und halten Sie Umfang und Aufbewahrungsdauer in einer Vereinbarung fest. Dann tragen alle die Protokollierung mit.
Woran erkennen wir ein vertrauenswürdiges Modell?
An drei Merkmalen. Erstens am Herausgeber: Modelle direkt von bekannten Herstellern wie Mistral, Google, Meta oder Alibaba sind einer namenlosen Kopie aus einem Forum vorzuziehen. Zweitens am Dateiformat: Safetensors und GGUF enthalten nur Daten und keinen ausführbaren Code, ältere Pickle-Dateien dagegen schon. Drittens an der Nachvollziehbarkeit: Lizenz, Modellkarte und Prüfsummen sollten vorliegen. Wer quantisierte Fassungen von Dritten nutzt, sollte diese besonders sorgfältig prüfen oder die Quantisierung selbst vornehmen. Bei GGUF bleibt zudem die eingebettete Chat-Vorlage zu beachten, über die „Llama Drama“ lief. Auch deshalb gehört die Laufzeit immer auf den aktuellen Stand.
Wie oft müssen Modelle und Laufzeit aktualisiert werden?
Die Laufzeitumgebung gehört in den regulären Patch-Zyklus, in der Regel monatlich und bei kritischen Lücken sofort. Modelle selbst müssen nicht ständig ersetzt werden. Ein neues Modell kommt erst nach Prüfung in den freigegebenen Katalog.
Fazit
Ist lokale KI sicher? Ja, wenn sie wie ein Serversystem betrieben wird und nicht wie ein Download-Experiment. Die Kritik an lokalen Modellen trifft vor allem ungeplante Installationen ohne Updates, Rechte und Verantwortung. Ein geplanter Betrieb mit geprüften Modellen, getrenntem Netz, Anmeldung und Protokollen bietet beides: die Kontrolle über Ihre Daten und ein Sicherheitsniveau, das Sie gegenüber Kunden und Prüfern belegen können. Eine solche Plattform betreiben wir mit Nexgen-AI für unsere Kunden.
Wollen Sie wissen, wie sicher Ihre KI heute betrieben wird?
In der Biteno-KI-Beratung prüfen wir mit Ihnen Modelle, Zugriffe und Betrieb und legen fest, welcher Anwendungsfall zuerst sicher live geht. Sie erhalten einen klaren Fahrplan statt einer Liste offener Fragen.
Zur KI-Beratung →
