Künstliche Intelligenz verändert deutsche Unternehmen rasant. Doch während viele Betriebe den Mehrwert von Sprachmodellen für Dokumentenanalysen, Prozessautomatisierung und internen Wissensaufbau erkennen, wächst gleichzeitig die Sorge um Datensouveränität und den Schutz sensibler Geschäftsgeheimnisse. Die logische Konsequenz: Immer mehr Geschäftsführer und IT-Verantwortliche im Mittelstand prüfen den Betrieb lokaler KI-Modelle im eigenen Firmennetzwerk – auch vor dem Hintergrund der Frage: Ist lokale KI sicher und wie wird sie richtig betrieben?
Doch sofort taucht die entscheidende Frage auf: Welche Hardware benötigen wir dafür eigentlich?
In vielen Köpfen herrscht das Missverständnis, dass für lokale Sprachmodelle zwingend ein 50.000-Euro-Supercomputer im klimatisierten Rechenzentrum stehen muss. Die erfreuliche Nachricht: Die Entwicklung bei Open-Source-Modellen und Inferenz-Engines ist so weit vorangeschritten, dass praxistaugliche Unternehmens-KI bereits mit überschaubarem Hardware-Budget zuverlässig realisiert werden kann. In diesem Leitfaden erfahren Sie, auf welche technischen Kennzahlen es wirklich ankommt und welche Hardware-Pfade für kleine und mittelständische Unternehmen (KMU) sinnvoll sind.
Der wahre Flaschenhals: Warum VRAM über alles entscheidet
Wenn IT-Abteilungen neue Server für Datenbanken oder Webdienste beschaffen, stehen meist Prozessorleistung (CPU-Kerne) und schneller NVMe-Speicher im Fokus. Bei Large Language Models (LLMs) gelten jedoch völlig andere Gesetze:
Der limitierende Faktor für lokale KI ist fast ausschließlich der Grafikspeicher (VRAM).
Ein Sprachmodell muss während der Inferenz – also bei der Generierung von Antworten – vollständig im extrem schnellen VRAM der Grafikkarte oder im gemeinsam genutzten Speicher (Unified Memory) liegen. Reicht der Speicher nicht aus, muss das Modell in den langsameren Arbeitsspeicher (RAM) der CPU ausgelagert werden. Das Resultat: Die Antwortgeschwindigkeit bricht drastisch ein – von flüssigen 20 bis 40 Wörtern pro Sekunde auf unbrauchbare Schneckengeschwindigkeit.
Modellgrößen und Speicherbedarf im Überblick
Wie viel VRAM Sie benötigen, hängt direkt von der Parameteranzahl des Modells und der gewählten Quantisierung ab. Durch Quantisierung (z. B. auf 4-Bit oder 8-Bit) wird der mathematische Speicherbedarf der Modellgewichte drastisch reduziert, ohne dass die Sprachqualität für geschäftliche Standardaufgaben merklich leidet.
| Modellklasse | Typische Vertreter | VRAM-Bedarf | Einsatzbereich |
|---|---|---|---|
| Kompakt (7B–9B) | Llama 3.3 8B, Mistral NeMo 12B, Gemma 2 9B | 8 – 16 GB | E-Mail-Entwürfe, Klassifikation, einfache Assistenten |
| Mittelklasse (14B–32B) | Qwen 2.5 14B / 32B, Command-R | 16 – 32 GB | Analyse langer PDF-Dokumente, RAG auf Firmenwissen |
| Flaggschiff (70B) | Llama 3.3 70B, Qwen 2.5 72B | 40 – 64 GB | Komplexe Analysen, Vertragsprüfung, Programmierung |
Passender Lesetipp: Welche Open-Source-Modelle sich für diese Hardware-Klassen im Alltag am besten eignen und wo sie kommerzielle Cloud-APIs übertreffen, erfahren Sie in unserem Praxisbericht: Open-Source-LLMs im Praxistest: Wann schlägt die lokale KI ChatGPT & Co.?
Die 3 bewährten Hardware-Pfade für KMU
In der Praxis haben sich für kleine und mittelständische Unternehmen drei konkrete Architekturen etabliert, die je nach Mitarbeiterzahl, Lärmtoleranz und Budget gewählt werden:
Pfad 1: Die geräuschlose Desktop-Workstation (Apple Mac Studio)
Was für manche IT-Administratoren überraschend klingt, hat sich in vielen KMU als echter Geheimtipp herausgestellt: Die Apple-Silicon-Architektur (M2/M3/M4 Max und Ultra) nutzt sogenannten Unified Memory. Das bedeutet: Bis zu 128 GB oder sogar 192 GB RAM können direkt von der integrierten Grafikeinheit als VRAM genutzt werden.
- Vorteile: Extrem energieeffizient (unter Last oft unter 150 Watt), absolut lautlos (kann direkt im Büro stehen), riesiger zusammenhängender VRAM zu einem Bruchteil der Kosten professioneller Enterprise-GPUs.
- Ideal für: Pilotprojekte, kleine Abteilungen mit 5 bis 15 gleichzeitigen Nutzern und Unternehmen ohne eigenen Serverraum.
Pfad 2: Der On-Premises-GPU-Server im Rack
Möchten mehrere Abteilungen oder 20 bis 100 Mitarbeiter parallel auf den lokalen KI-Dienst zugreifen, empfiehlt sich ein dedizierter Linux-Server im 19-Zoll-Format, der im bestehenden Serverraum integriert wird.
- Hardware-Bestückung: 1 bis 2 Consumer-Grafikkarten mit hoher Speicherkapazität (z. B. NVIDIA GeForce RTX 4090 mit je 24 GB VRAM) oder professionelle Enterprise-Karten wie die NVIDIA RTX 6000 Ada (48 GB VRAM).
- Vorteile: Hervorragender Durchsatz bei parallelen Anfragen, standardisierte Integration in die bestehende Virtualisierungslandschaft (z. B. via Proxmox oder VMware mit PCIe-Passthrough).
- Zu beachten: Höhere Leistungsaufnahme (350 bis 800 Watt unter Last) und spürbare Wärmeentwicklung; eine ordentliche Kühlung im Serverschrank ist Pflicht.
Pfad 3: Die souveräne Private-Cloud (Co-Location in Deutschland)
Wenn vor Ort weder Platz noch ausreichende Kühlung oder USV-Absicherung vorhanden sind, müssen Sie dennoch nicht auf amerikanische Hyperscaler ausweichen. Ein dedizierter Inferenz-Server kann in einem ISO-27001-zertifizierten deutschen Rechenzentrum betrieben und per sicherem VPN oder Standleitung direkt an Ihr Firmennetzwerk angebunden werden. So behalten Sie die volle Kontrolle über Software und Daten, lagern aber Betrieb und Kühlung der Hardware komplett aus.
Praxis-Tipp: Auf die Inferenz-Engine kommt es an
Die beste Hardware nutzt wenig, wenn die Software-Schicht ineffizient arbeitet. Für den Unternehmensbetrieb haben sich moderne Inferenz-Laufzeiten wie vLLM oder Ollama durchgesetzt. vLLM nutzt beispielsweise PagedAttention – eine Technologie, die den VRAM ähnlich wie ein virtueller Speichermanager im Betriebssystem verwaltet und dadurch die parallele Bedienung vieler Mitarbeiter bei minimalem Speicherverschnitt ermöglicht.
Wie Sie Inferenz-Laufzeiten wie vLLM und Ollama zusammen mit einer intuitiven Weboberfläche und internem Firmenwissen zu einem vollständigen System verknüpfen, lesen Sie in unserem Architektur-Leitfaden: Lokale KI für den Mittelstand: Der vollständige Praxis-Stack von Inferenz bis RAG.
Fazit: Pragmatisch starten statt überdimensionieren
Für den Einstieg in die lokale Unternehmens-KI muss kein sechsstelliger Betrag investiert werden. Ein kleiner Inferenz-Knoten oder eine leistungsfähige Workstation mit 24 bis 48 GB VRAM reicht vollkommen aus, um 90 Prozent aller internen Workflows zuverlässig abzubilden. Wichtiger als maximale Server-Gigantomanie ist eine saubere Anbindung an Ihr Firmenwissen und ein verlässliches Rollenkonzept.
Sie möchten lokale KI sicher in Ihrem Unternehmen betreiben?
Wir unterstützen Sie bei der Auswahl der richtigen Hardware, der Dimensionierung der Sprachmodelle und der sicheren Einbindung in Ihre Firmen-IT. Kontaktieren Sie uns über unser Kontaktformular – wir melden uns innerhalb von 24 Stunden bei Ihnen.
