Was ist vLLM? Das LLM-Inferenz-Framework erklärt (2026)

vLLM ist das führende Open-Source-Framework für Hochleistungs-Inferenz von Large Language Models (LLMs). Entwickelt an der UC Berkeley und inzwischen zum De-facto-Standard für produktive LLM-Deployments geworden, revolutioniert vLLM durch seine innovative PagedAttention-Technologie die Art und Weise, wie KI-Modelle effizient skaliert und betrieben werden können. In diesem Guide erklären wir die Funktionsweise, zeigen die Kernfeatures und vergleichen vLLM mit Alternativen wie SGLang, TensorRT-LLM und Ollama.

Was ist vLLM? Die Grundlagen erklärt

vLLM ist ein hochoptimiertes Inferenz-Framework für Transformer-basierte Sprachmodelle. Ursprünglich 2023 vom Sky Computing Lab an der UC Berkeley veröffentlicht, adressiert es eines der größten Probleme bei der LLM-Inferenz: die ineffiziente Speichernutzung während der Key-Value-Cache-Verwaltung. Während herkömmliche Implementierungen den KV-Cache als kontinuierlichen Speicherblock behandeln – was zu massiver Speicherfragmentierung führt – nutzt vLLM ein Konzept aus dem Betriebssystem-Bereich: das Paging-Verfahren.

Das Framework ist komplett Open Source unter der Apache 2.0 Lizenz und wird von einer aktiven Community kontinuierlich weiterentwickelt. Neben der akademischen Unterstützung durch Berkeley haben sich mittlerweile auch große Tech-Unternehmen wie NVIDIA, AMD und Google an der Entwicklung beteiligt, was die Enterprise-Reife des Projekts unterstreicht.

PagedAttention: Das Herzstück von vLLM

Die zentrale Innovation von vLLM ist PagedAttention, eine Speicherverwaltungstechnik, die das Prinzip des virtuellen Speichers aus Betriebssystemen auf die KV-Caches von LLMs überträgt. Traditionell werden Key-Value-Tensoren für jede Anfrage als zusammenhängender Block im GPU-Speicher abgelegt. Das führt zu zwei grundlegenden Problemen:

• Interne Fragmentation: Reservierter Speicher wird nicht vollständig genutzt, da die tatsächliche Sequenzlänge oft kürzer ist als die maximal mögliche.
• Externe Fragmentation: Durch variierende Sequenzlängen entstehen nicht zusammenhängende Speicherlücken, die nicht für neue Anfragen genutzt werden können.

PagedAttention unterteilt den KV-Cache in kleine, fixe Blöcke (Pages) à 16 Token – vergleichbar mit den 4KB-Pages im Linux-Kernel. Diese Blöcke müssen nicht physisch zusammenhängend sein, sondern werden über eine Block-Table verwaltet. Das Ergebnis: Nahezu 100% Speichereffizienz und die Möglichkeit, deutlich mehr Anfragen parallel zu verarbeiten.

In Benchmarks zeigt sich die Überlegenheit dieser Architektur: vLLM kann im Vergleich zu Hugging Face Transformers bis zu 24-fache Durchsatzsteigerungen erreichen, ohne dabei die Latenz für einzelne Anfragen signifikant zu erhöhen. Für Unternehmen bedeutet das direkte Kosteneinsparungen bei der GPU-Infrastruktur.

Kernfunktionen von vLLM im Überblick

Continuous Batching

Neben PagedAttention implementiert vLLM Continuous Batching (auch Inflight Batching genannt), eine Technik, die das dynamische Hinzufügen neuer Anfragen zu laufenden Batches ermöglicht. Statt auf die Fertigstellung aller aktuellen Anfragen zu warten, können neue Prompts sofort verarbeitet werden, sobald GPU-Ressourcen frei werden. Das maximiert die GPU-Auslastung und reduziert die durchschnittliche Wartezeit für Benutzer.

Tensor Parallelism & Pipeline Parallelism

Für sehr große Modelle, die nicht auf eine einzelne GPU passen, bietet vLLM native Unterstützung für Tensor Parallelism (Aufteilung der Modellgewichte über mehrere GPUs) und Pipeline Parallelism (Aufteilung der Layer). Die Konfiguration erfolgt über einfache Parameter beim Start des Servers:

1
vllm serve meta-llama/Llama-2-70b --tensor-parallel-size 4 --pipeline-parallel-size 2

Quantisierung: FP8, INT4, AWQ und mehr

vLLM unterstützt diverse Quantisierungsformate für maximale Effizienz:

• FP8 (8-bit Floating Point): NVIDIA Hoppers native Unterstützung für nahezu verlustfreie Quantisierung mit 50% Speichereinsparung
• INT8/INT4 (GPTQ/AWQ): Post-Training-Quantisierung mit minimalem Qualitätsverlust
• GGUF: Kompatibilität mit llama.cpp-Quantisierungen
• FP16/BF16: Volle Präzision für maximale Qualität

LoRA (Low-Rank Adaptation)

Für Fine-tuning-Szenarien unterstützt vLLM das dynamische Laden von LoRA-Adaptern während der Laufzeit. Mehrere Adapter können gleichzeitig im Speicher gehalten werden, ohne das Basismodell duplizieren zu müssen. Das ermöglicht kostengünstige Multi-Tenant-Deployments, bei denen verschiedene Kunden unterschiedlich angepasste Modelle nutzen.

OpenAI-kompatible API

vLLM bietet einen Server-Modus mit vollständig kompatibler OpenAI-API. Bestehende Anwendungen, die mit OpenAI’s GPT-4 oder GPT-3.5 kommunizieren, können mit minimalen Änderungen auf eigene, selbstgehostete Modelle umstellen:

1
2
3
4
5
# Statt OpenAI

client = OpenAI(api_key="sk-...")



# Eigener vLLM-Server

client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")

Die API unterstützt Chat-Completions, Completions, Embeddings und Streaming – vollständig kompatibel zu OpenAI’s Spezifikation.

vLLM vs. Alternativen: Der ehrliche Vergleich

vLLM vs. SGLang

SGLang, ebenfalls aus Berkeley, ist der direkteste Konkurrent. Während vLLM auf maximalen Durchsatz bei Batch-Verarbeitung optimiert ist, fokussiert sich SGLang auf komplexe, strukturierte Generation mit seinem Structured Generation Language (SGLang). Für reine Chat-Anwendungen mit hohem Durchsatz ist vLLM überlegen; für Anwendungen mit komplexen Parsing-Anforderungen oder strukturierten Outputs (JSON-Schemas, Regex-constrained Generation) kann SGLang die bessere Wahl sein. Viele Unternehmen setzen beide Frameworks parallel ein – vLLM für den Standard-Chat, SGLang für spezialisierte Workflows.

vLLM vs. TensorRT-LLM

NVIDIA’s TensorRT-LLM ist die proprietäre Enterprise-Lösung. Es bietet auf NVIDIA-Hardware die absolut beste Performance, insbesondere durch optimierte CUDA-Kernels und FP8-Unterstützung auf Hopper-Architekturen. Der Nachteil: TensorRT-LLM ist an NVIDIA-GPUs gebunden, closed-source und erfordert komplexe Modell-Kompilierung. vLLM ist die flexiblere, plattformübergreifende Alternative mit deutlich einfacherer Bedienbarkeit.

vLLM vs. Ollama

Ollama hat sich als Einsteiger-freundliche Lösung für lokale LLM-Nutzung etabliert. Es abstrahiert die Komplexität und bietet eine einfache CLI. Für Entwicklungs- und Testzwecke ist Ollama hervorragend, für produktive Hochlast-Szenarien mit Tausenden gleichzeitiger Benutzer ist vLLM jedoch die professionelle Wahl. Ollama nutzt intern übrigens ebenfalls vLLM-Technologien für die Inferenz.

Zusammenfassung der Entscheidungshilfe

Kriterium	vLLM	SGLang	TensorRT-LLM	Ollama
Max. Durchsatz	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐
Einfachheit	⭐⭐⭐⭐	⭐⭐⭐	⭐⭐	⭐⭐⭐⭐⭐
Multi-Plattform	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐	⭐⭐⭐⭐
Structured Output	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐
Enterprise-Support	Community	Community	NVIDIA	Community

Unterstützte Modelle und Hardware

vLLM unterstützt praktisch alle modernen Transformer-Architekturen:

• LLaMA-Familie: Meta’s Llama 2, Llama 3, CodeLlama
• Mistral: Mistral 7B, Mixtral 8x7B/8x22B (MoE)
• Qwen: Alibaba’s Qwen- und Qwen2-Modelle
• Google: Gemma, Gemma 2
• Microsoft: Phi-2, Phi-3
• Andere: Falcon, Yi, StableLM, Command-R, DBRX

Hardware-seitig ist vLLM plattformübergreifend einsetzbar:

• NVIDIA: Volta, Turing, Ampere, Ada Lovelace, Hopper – CUDA 11.8+
• AMD: ROCm-Unterstützung für MI200/MI300-Serien
• Intel: XPU-Unterstützung für Arc GPUs und Data Center GPUs
• Google: TPU-Unterstützung über Pytorch/XLA
• CPU: Fallback-Modus für Entwicklung und Tests

Installation und erste Schritte

Installation via pip

1
2
3
4
5
6
7
8
# CUDA 12.1

pip install vllm



# CUDA 11.8

pip install vllm --extra-index-url https://download.pytorch.org/whl/cu118



# Für ROCm (AMD)

pip install vllm --extra-index-url https://download.pytorch.org/whl/rocm6.0

Docker-Deployment (empfohlen für Produktion)

1
2
3
4
5
6
# NVIDIA Container Runtime

docker run --runtime nvidia --gpus all \

  -v ~/.cache/huggingface:/root/.cache/huggingface \

  -p 8000:8000 \

  vllm/vllm-openai:latest \

  --model meta-llama/Meta-Llama-3-8B-Instruct

Server starten

1
2
3
4
5
6
7
8
# Einfacher Start

vllm serve meta-llama/Meta-Llama-3-8B-Instruct



# Mit Optimierungen für hohen Durchsatz

vllm serve meta-llama/Meta-Llama-3-8B-Instruct \

  --tensor-parallel-size 2 \

  --max-num-seqs 256 \

  --max-model-len 8192

Wann vLLM wählen, wann SGLang?

Die Wahl zwischen vLLM und SGLang hängt von Ihrem Anwendungsfall ab:

Wählen Sie vLLM, wenn:

• Maximaler Durchsatz bei Batch-Verarbeitung Priorität hat
• Sie eine standardisierte OpenAI-kompatible API benötigen
• Multi-Plattform-Support (NVIDIA, AMD, Intel) wichtig ist
• Sie ein etabliertes, breit getestetes Framework bevorzugen
• Die Hauptanwendung Chat-basiert ist ohne komplexe Output-Strukturen

Wählen Sie SGLang, wenn:

• Sie strukturierte Outputs (JSON-Schemas, Regex) benötigen
• Komplexe Prompt-Programme mit mehreren Generierungsschritten nötig sind
• Spezielle Optimierungen für spezifische Workflows gewünscht werden
• Sie bereit sind, neuere Technologie mit weniger Migrationsdokumentation zu nutzen

In der Praxis empfehlen wir eine Evaluation beider Frameworks mit Ihrem spezifischen Modell und Ihrer typischen Workload. Die Performance kann je nach Modellgröße, Sequenzlänge und Batch-Größe variieren.

vLLM bei Biteno: Unsere Erfahrung

Bei der Biteno GmbH setzen wir vLLM als Teil unserer NVIDIA Dynamo-basierten KI-Infrastruktur ein. Auf unseren 7 dedizierten LLM-Hosts mit NVIDIA H100 GPUs betreiben wir mehrere vLLM-Instanzen für verschiedene Anwendungsfälle:

• Interne KI-Assistenten: Hochentwickelte Chatbots für unser Service-Team mit Zugriff auf interne Wissensdatenbanken
• Kundenprojekte: Dedizierte Inferenz-Endpunkte für spezifische Kundenanforderungen mit LoRA-Adaptern
• Entwicklungs- und Testumgebungen: Schnelle Iteration bei der Modellentwicklung durch effiziente Ressourcennutzung

Durch den Einsatz von vLLM konnten wir unsere GPU-Auslastung im Vergleich zu früheren Hugging Face Transformers-Implementierungen oder mit Ollama um den Faktor 8-12 steigern. Das ermöglicht es uns, anspruchsvolle KI-Workloads kosteneffizient für mittelständische Kunden bereitzustellen.

Unsere Infrastruktur kombiniert dabei vLLM mit SGLang für spezialisierte Workflows – ein Hybrid-Ansatz, der uns die Vorteile beider Frameworks nutzen lässt. Die OpenAI-kompatible API erleichtert dabei die Integration in bestehende Anwendungen erheblich.

Fazit: vLLM als strategische Infrastrukturentscheidung

vLLM hat sich in den letzten zwei Jahren vom akademischen Forschungsprojekt zur Standard-Infrastruktur für produktive LLM-Deployments entwickelt. Die Kombination aus PagedAttention für maximale Speichereffizienz, Continuous Batching für optimale GPU-Auslastung und der OpenAI-kompatiblen API macht es zur ersten Wahl für Unternehmen, die eigene KI-Infrastruktur betreiben möchten.

Für IT-Entscheider ist vLLM die pragmatische Wahl: Open Source, breite Hardware-Unterstützung, aktive Community und nachweisbare Performance-Vorteile gegenüber herkömmlichen Implementierungen. Die Investition in vLLM-Kompetenz zahlt sich durch reduzierte Infrastrukturkosten und höhere Skalierbarkeit aus.

Möchten Sie mehr über den Einsatz von vLLM in Ihrer Infrastruktur erfahren? Kontaktieren Sie uns für ein Beratungsgespräch. Wir helfen Ihnen bei der Evaluierung, dem Setup und dem Betrieb von hochperformanten LLM-Infrastrukturen – maßgeschneidert für die Anforderungen mittelständischer Unternehmen.