vLLM ist eine leistungsstarke Open-Source-Bibliothek für effizientes LLM-Serving, die ursprünglich an der UC Berkeley entwickelt wurde. Mit ihr lassen sich Large Language Models wie Llama, Mistral oder Qwen mit beeindruckender Geschwindigkeit und hohem Durchsatz auf eigener Hardware bereitstellen. Im Vergleich zu klassischen Frameworks wie Hugging Face Transformers bietet vLLM durch PagedAttention eine deutlich optimierte Speichernutzung, wodurch mehrere Anfragen parallel verarbeitet werden können, ohne dass die GPU unnötig unter Last steht.
Wer ein eigenes GPU-System betreibt – sei es auf einem dedizierten Server, einer Workstation oder einem Cloud-GPU-Instance – profitiert von voller Datenkontrolle, niedrigeren Latenzzeiten und der Möglichkeit, beliebige Modelle ohne externe API-Kosten zu betreiben. Besonders in datenschutzkritischen Branchen wie Medizin, Finanzen oder Recht ist ein selbstgehosteter vLLM-Stack die erste Wahl.
Dieser Leitfaden richtet sich an Entwickler, DevOps-Engineers und KI-Enthusiasten, die ihren ersten vLLM-Server produktiv aufsetzen möchten. Wir begleiten dich Schritt für Schritt – von der Hardware-Auswahl über die Installation bis hin zum produktionsreifen Betrieb mit Monitoring und Skalierung.
Bevor du mit der Installation beginnst, solltest du sicherstellen, dass deine Hardware den Anforderungen entspricht. vLLM nutzt CUDA-Kernels und ist aktuell primär auf NVIDIA-GPUs optimiert. Auch wenn experimentelle AMD- und Intel-Unterstützung existiert, ist NVIDIA nach wie vor der Standard für stabile Produktivsetzung.
Die wichtigsten Auswahlkriterien sind GPU-Speicher (VRAM), Rechenleistung (Tensor-Cores), CPU-RAM, NVMe-Speicher und Netzwerkanbindung. Für Modelle mit 7 bis 13 Milliarden Parametern empfehlen wir mindestens 16 GB VRAM, während 70B-Modelle 48 bis 80 GB VRAM voraussetzen.
Hier eine Übersicht typischer Konfigurationen:
| Modellgröße | Min. VRAM | Empfohlene GPU | Quantisierung möglich? |
|---|---|---|---|
| 7B | 8 GB | RTX 3060, A4000 | Ja (4-bit) |
| 13B | 16 GB | RTX 4080, A5000 | Ja (4-bit) |
| 30B | 24 GB | RTX 4090, A6000 | Ja (4-bit) |
| 70B | 48 GB | A100 80GB, H100 | Ja (4-bit) |
| 120B+ | 80+ GB | H100 80GB (Multi-GPU) | Ja (4-bit) |
Als Basis eignet sich ein aktuelles Linux-System. Ubuntu 22.04 LTS oder 24.04 LTS haben sich in der Praxis bewährt, da die CUDA-Treiber-Integration hier am reibungslosesten funktioniert. Windows ist mit WSL2 ebenfalls nutzbar, für Produktionsumgebungen empfehlen wir jedoch native Linux-Installation.
Stelle zunächst sicher, dass die NVIDIA-Treiber korrekt installiert sind. Der proprietäre Treiber wird über das Paket-Manager-System oder direkt von der NVIDIA-Website installiert. Anschließend prüfst du mit nvidia-smi, ob deine GPU erkannt wird.
Code-Beispiel für die Treiber-Installation unter Ubuntu:
# System aktualisieren
sudo apt update && sudo apt upgrade -y
# NVIDIA-Treiber installieren (automatisch neueste Version)
sudo apt install -y nvidia-driver-555
# Treiber aktivieren
sudo reboot
# Prüfen
nvidia-smivLLM benötigt eine passende CUDA-Version. Aktuell unterstützt vLLM 0.6+ CUDA 12.1 bis 12.6. Achte darauf, dass dein NVIDIA-Treiber zur CUDA-Version kompatibel ist. Eine Übersicht liefert die offizielle NVIDIA-Matrix.
Für die Python-Umgebung empfehlen wir die Verwendung von Conda oder eines venv-Setups. Dadurch vermeidest du Konflikte mit anderen Python-Projekten und kannst vLLM sauber isoliert betreiben.
Installation der erforderlichen Komponenten:
# CUDA Toolkit installieren
wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run
sudo sh cuda_12.4.0_550.54.14_linux.run
# Conda-Umgebung erstellen
conda create -n vllm-env python=3.11 -y
conda activate vllm-env
# pip aktualisieren
pip install --upgrade pipDie Installation von vLLM ist dank PyPI-Paket vergleichsweise einfach. Du installierst es einfach via pip in deiner vorbereiteten Umgebung. Allerdings benötigt vLLM viele GPU-spezifische Bibliotheken, deren Kompilierung beim ersten Start einige Minuten dauern kann.
Wir empfehlen die Installation in einem dedizierten Verzeichnis, damit du Build-Artefakte einfach verwalten kannst. Für Entwickler ist es sinnvoll, die nightly-Version aus dem GitHub-Repository zu testen, da hier neueste Features früher verfügbar sind.
Standardinstallation:
# vLLM installieren
pip install vllm
# Prüfen der Installation
python -c "import vllm; print(vllm.__version__)"Falls du eine bestimmte Version benötigst, kannst du diese explizit angeben. Für Multi-GPU-Systeme ist es ratsam, zusätzlich vllm[ray] zu installieren, da Ray für das Tensor-Parallel-Management benötigt wird.
Nach erfolgreicher Installation kannst du direkt loslegen. vLLM bringt einen eingebauten OpenAI-kompatiblen API-Server mit, der mit Standard-OpenAI-Clients genutzt werden kann. Das macht die Migration bestehender Anwendungen besonders einfach.
Wir starten mit einem kleineren Modell wie Mistral-7B oder Llama-3-8B, um die Funktion zu testen, bevor wir uns an größere Modelle wagen. Die Modelle werden beim ersten Start automatisch von Hugging Face heruntergeladen.
Server-Start:
# OpenAI-kompatiblen Server starten
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-8B-Instruct \
--host 0.0.0.0 \
--port 8000 \
--gpu-memory-utilization 0.9 \
--max-model-len 4096Der Parameter --gpu-memory-utilization steuert, wie viel VRAM vLLM nutzen darf. Werte zwischen 0.85 und 0.95 sind üblich, lassen aber Platz für KV-Cache-Erweiterungen.
Sobald der Server läuft, kannst du ihn mit curl oder einem OpenAI-Client testen. vLLM bietet dieselbe Chat-Completion-API wie OpenAI, sodass dein bestehender Code oft unverändert funktioniert.
Für Performance-Tests empfehlen wir Tools wie vllm-benchmark oder hey. Diese messen Tokens pro Sekunde, Time-to-First-Token (TTFT) und Latenz unter Last.
Test-Aufruf:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Meta-Llama-3-8B-Instruct",
"messages": [{"role": "user", "content": "Erkläre PagedAttention in 3 Sätzen."}],
"temperature": 0.7
}'Erwarte bei einer A100 GPUs Antwortzeiten von 30-50 Tokens pro Sekunde für ein 8B-Modell. Mit H100 oder Multi-GPU-Setups lassen sich diese Werte vervielfachen.
Um die Effizienz zu maximieren, stehen dir verschiedene Optimierungsoptionen zur Verfügung. Quantisierung reduziert den VRAM-Bedarf drastisch, während kontinuierliches Batching die GPU-Auslastung verbessert.
vLLM unterstützt GPTQ, AWQ und BitsAndBytes-Quantisierung nativ. Mit AWQ-Quantisierung kannst du die Modellgröße oft um den Faktor 4 reduzieren, ohne dass die Qualität merklich leidet.
Wichtige Tuning-Parameter:
| Parameter | Funktion | Empfehlung |
|---|---|---|
| --dtype | Präzision (float16/bfloat16) | bfloat16 für H100, float16 für A100 |
| --quantization | awq, gptq, bitsandbytes | awq für 4-bit, beste Qualität |
| --max-num-batched-tokens | Batch-Größe | 8192–16384 |
| --swap-space | CPU-Swap in GB | 4–8 GB bei kleinem VRAM |
| --block-size | PagedAttention Blockgröße | 16 Standard, 8 bei langen Kontexten |
Für größere Modelle oder höheren Durchsatz kannst du vLLM im Multi-GPU-Modus betreiben. Tensor-Parallelismus verteilt die Modellgewichte auf mehrere GPUs, sodass selbst 70B+ Modelle auf Consumer-Hardware mit 2× RTX 4090 laufen können.
Der Ray-Cluster-Manager übernimmt die GPU-Koordination automatisch. Du musst lediglich die Anzahl der GPUs und die Parallelstrategie angeben. Auch NVLink und PCIe-Topologien werden berücksichtigt.
Multi-GPU-Start:
python -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.92 \
--max-model-len 8192Für 4+ GPUs empfiehlt sich zusätzlich Pipeline-Parallelismus, der die Layer sequenziell auf GPUs verteilt. Damit lassen sich auch 200B+ Modelle auf Clustern betreiben.
Für den produktiven Einsatz empfehlen wir ein containerisiertes Setup mit Docker. Das offizielle vLLM-Image enthält alle Abhängigkeiten und CUDA-Versionen und sorgt für reproduzierbare Deployments.
Ein typisches docker-compose-Setup umfasst den vLLM-Container, ein Reverse-Proxy wie Nginx und ein Monitoring-Stack. Mit Systemd kannst du den Container als Service verwalten und automatisch beim Boot starten lassen.
Docker-Compose-Beispiel:
version: '3.8'
services:
vllm:
image: vllm/vllm-openai:latest
runtime: nvidia
environment:
- NVIDIA_VISIBLE_DEVICES=all
ports:
- "8000:8000"
volumes:
- ./models:/root/.cache/huggingface
command: --model meta-llama/Meta-Llama-3-8B-Instruct --host 0.0.0.0
deploy:
resources:
reservations:
devices:
- capabilities: [gpu]Im Produktivbetrieb sind Monitoring und Logging unverzichtbar. vLLM liefert Prometheus-Metriken out-of-the-box, die du in Grafana visualisieren kannst. Wichtige Metriken sind aktive Requests, KV-Cache-Nutzung, Token-Durchsatz und GPU-Auslastung.
Für die Skalierung stehen dir mehrere Optionen zur Verfügung. Lastausgleichsstrategien wie Round-Robin, Least-Connections oder Token-basiertes Routing sorgen für gleichmäßige Verteilung. Mit Kubernetes und dem vLLM-Operator kannst du sogar autoskalierende Cluster bauen.
Best Practices für den Produktivbetrieb:
Auch bei sorgfältiger Planung können Fehler auftreten. Die häufigsten Probleme sind OOM-Errors (Out of Memory), CUDA-Mismatches und Performance-Bottlenecks durch ineffiziente Batch-Verarbeitung.
Bei OOM-Fehlern solltest du zunächst die gpu-memory-utilization reduzieren, kleinere Modelle verwenden oder Quantisierung aktivieren. Ein weiterer Trick ist das Aktivieren von Swap-Space, um Spitzen abzufangen.
Typische Fehlermeldungen und Lösungen:
| Fehler | Ursache | Lösung |
|---|---|---|
| CUDA out of memory | Zu hohe Speichernutzung | --gpu-memory-utilization 0.8 |
| RuntimeError: No GPU found | Treiber nicht geladen | nvidia-smi prüfen, neu starten |
| Model not found | HF-Token fehlt | huggingface-cli login |
| Slow first token | Zu hohe max-model-len | Kontext reduzieren |
vLLM ist die aktuell leistungsfähigste Open-Source-Lösung für LLM-Serving und bietet Enterprise-Features kostenlos. Mit der richtigen Hardware-Konfiguration, sauberem Setup und gezieltem Tuning lassen sich produktive Systeme betreiben, die mit kommerziellen APIs konkurrieren können.
Der Einstieg ist dank der OpenAI-kompatiblen API besonders einfach, und die Community wächst rasant. Wer jetzt in vLLM investiert, baut sich eine zukunftssichere, datenschutzkonforme KI-Infrastruktur auf – unabhängig von Cloud-Anbietern und API-Preisen.
Für den nächsten Schritt empfehlen wir, mit einem 7B- oder 13B-Modell zu starten, die Performance zu benchmarken und dann schrittweise zu skalieren. Bei hostazar.com findest du passende GPU-Server-Konfigurationen, die optimal für vLLM-Workloads dimensioniert sind.
Mistral Large, Mixtral 8x7B & 8x22B selbst hosten: MoE-Architektur, GPU-RAM-Anforderungen, Quantisierung für Consumer-Hardware, Vergleichstabelle und Hardware-Leitfaden 2026.
Mistral Large, Mixtral 8x7B & 8x22B selbst hosten: MoE-Architektur, GPU-RAM-Anforderungen, Quantisierung für Consumer-Hardware, Vergleichstabelle und Hardware-Leitfaden 2026.
Cloud GPU Kosten 2026 im großen Vergleich: RunPod, Vast.ai, Lambda, TensorDock, DataCrunch, JarvisLabs & Nebius AI. ✓ A100 ✓ H100 ✓ RTX 4090 ✓ L40S ✓ A6000 – Preise pro Stunde, Sparpotenzial & Empfehl
GPU-Backends für lokale LLMs 2026: CUDA (NVIDIA), ROCm (AMD), Vulkan (Universal), SYCL (Intel) im Vergleich. Kompatibilität, Performance, Setup & Hardware-Guide mit Benchmark-Ergebnissen.
DeepSeek R1 und V3 lokal hosten: MoE-Architektur, GPU-Anforderungen, Quantisierung (GGUF/Q4/Q8). Komplette Setup-Schritte für Ollama, vLLM & SGLang. Mit Kostenvergleich & Performance-Benchmarks.
Docker-Container für LLM-Inference: GPU-Passthrough mit NVIDIA Container Toolkit, Ollama & vLLM in Docker Compose, Multi-Container-Setup mit Open WebUI, Ressourcenlimits & Best Practices 2026.
GPU mieten für KI/LLMs 2026: NVIDIA A100, H100, RTX 4090, L40S, A6000 Preise und Performance bei RunPod, Vast.ai, Lambda, TensorDock, DataCrunch. Mit Kostenvergleichs-Tabelle.