Die Kombination aus Open WebUI und Ollama hat sich bis 2026 als De-facto-Standard für selbstgehostete KI-Assistenz etabliert. Während Ollama die leistungsstarke Inferenz-Engine im Hintergrund bereitstellt, liefert Open WebUI eine moderne, ChatGPT-ähnliche Benutzeroberfläche mit zahlreichen Features, die in reinen Terminal-Setups fehlen. Zusammen bilden sie eine vollwertige, datenschutzfreundliche Alternative zu kommerziellen Cloud-Diensten.
Diese Anleitung führt dich Schritt für Schritt durch die komplette Einrichtung – von der Installation über die Konfiguration bis hin zu fortgeschrittenen Features wie RAG (Retrieval Augmented Generation), Web-Browsing und Multi-User-Setup. Egal ob du einen einfachen Heimserver mit Raspberry Pi betreibst oder eine produktive Unternehmenslösung aufbauen möchtest: Diese Schritt-für-Schritt-Anleitung deckt alle relevanten Aspekte ab.
Bevor wir beginnen, ist es wichtig zu verstehen, dass Open WebUI weit mehr ist als eine simple Chat-Oberfläche. Es unterstützt multimodale Modelle, Sprachausgabe, Bildgenerierung, anpassbare Workspaces, ein mächtiges Berechtigungssystem und sogar die Integration in Slack, Discord oder Microsoft Teams. Wer das volle Potenzial ausschöpfen möchte, sollte daher auch die fortgeschrittenen Kapitel am Ende dieses Artikels lesen.
Bevor du mit der Installation beginnst, solltest du sicherstellen, dass dein System die Mindestanforderungen erfüllt. Open WebUI selbst ist ressourcenschonend, da die eigentliche Inferenz durch Ollama erfolgt. Dennoch empfehlen wir mindestens 8 GB RAM, besser 16 GB oder mehr, abhängig von der gewählten Modellgröße. Als CPU reicht ein moderner Multi-Core-Prozessor; für volle Performance ist allerdings eine dedizierte GPU dringend empfohlen.
| Komponente | Mindestanforderung | Empfohlen | Optimal |
|---|---|---|---|
| CPU | 4 Kerne (x86_64 / ARM64) | 8+ Kerne | 16+ Kerne |
| RAM | 8 GB | 32 GB | 64 GB+ |
| GPU | Integriert / Apple Silicon | NVIDIA RTX 4070+ | RTX 4090 / A100 |
| Speicher | 20 GB SSD | 100 GB NVMe | 500 GB+ NVMe |
| OS | Linux, macOS, Windows | Ubuntu 22.04 LTS | Ubuntu 24.04 LTS |
Als Software-Abhängigkeiten benötigst du Docker (empfohlen) oder eine direkte Python-Installation. Für Linux-Nutzer ist Docker die bevorzugte Variante, da es Updates vereinfacht und ein sauberes Trennen der Komponenten ermöglicht. macOS- und Windows-Nutzer können alternativ auf Docker Desktop zurückgreifen oder Open WebUI nativ installieren, wobei wir für Produktionsumgebungen klar zu Docker raten.
Eine Besonderheit gilt für Apple-Silicon-Nutzer: Ollama läuft auf M1/M2/M3/M4-Chips hervorragend und nutzt die Neural Engine sowie die Unified-Memory-Architektur optimal aus. Open WebUI kann in diesem Fall nativ oder als Docker-Container (mit experimenteller ARM-Unterstützung) betrieben werden. Beide Varianten funktionieren in der Praxis zuverlässig, wobei die native Installation tendenziell etwas ressourcenschonender ist.
Die Installation von Ollama bildet die Grundlage des gesamten Setups. Auf einem Linux-System genügt ein einzelner Befehl, der das offizielle Installationsskript ausführt. Das Skript erkennt automatisch die Distribution und installiert alle benötigten Abhängigkeiten, einschließlich CUDA-Treibern auf NVIDIA-Systemen.
curl -fsSL https://ollama.com/install.sh | sh
Nach der Installation wird der Ollama-Dienst automatisch gestartet und ist unter http://localhost:11434 erreichbar. Mit dem Befehl systemctl status ollama kannst du den Status überprüfen. Auf macOS und Windows installierst du Ollama am bequemsten über die offiziellen Installer, die auf der Website ollama.com zum Download bereitstehen.
Im nächsten Schritt lädst du ein erstes Modell herunter. Wir empfehlen für den Einstieg llama3.1 in der 8B-Variante, da es ein guter Kompromiss aus Qualität und Ressourcenbedarf ist. Für leistungsstärkere Setups eignen sich llama3.1:70b, mistral-large oder qwen2.5:32b.
ollama pull llama3.1
Nachdem Ollama läuft, starten wir Open WebUI als Docker-Container. Der folgende Befehl konfiguriert das System so, dass Open WebUI auf Port 8080 lauscht und automatisch eine Verbindung zu Ollama herstellt. Die Volume-Mounts sorgen dafür, dass Daten persistent gespeichert werden und Updates den Container ersetzen können, ohne dass Konfigurationen verloren gehen.
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
Nachdem der Container gestartet ist, kannst du Open WebUI im Browser unter http://localhost:3000 aufrufen. Beim ersten Aufruf wirst du aufgefordert, einen Administrator-Account zu erstellen. Wähle ein sicheres Passwort mit mindestens 12 Zeichen, da dieser Account vollständige administrative Rechte besitzt.
Wichtig: Wenn du Open WebUI und Ollama auf demselben Host betreibst, ist die Standardkonfiguration bereits korrekt. Falls sich die Dienste auf unterschiedlichen Hosts befinden, musst du die Umgebungsvariable OLLAMA_BASE_URL setzen, etwa -e OLLAMA_BASE_URL=http://192.168.1.100:11434. Sofern Ollama nicht auf Localhost lauscht, muss dort zudem OLLAMA_HOST=0.0.0.0 gesetzt werden.
Nach der Anmeldung gelangst du ins Haupt-Dashboard von Open WebUI. Im linken Seitenmenü findest du den Punkt "Workspace" und "Models", wo du deine lokal verfügbaren Modelle verwalten kannst. Open WebUI erkennt automatisch alle in Ollama installierten Modelle und zeigt diese in einer übersichtlichen Liste an.
Über das Zahnrad-Symbol oben rechts gelangst du zu den globalen Einstellungen. Hier empfehlen wir folgende Anpassungen für den Produktivbetrieb: Aktiviere "Web Search" mit deiner bevorzugten Suchmaschine (DuckDuckGo benötigt keinen API-Key), konfiguriere die Standard-Modellparameter und lege das gewünschte Standardmodell fest. Auch die Sprache der Benutzeroberfläche lässt sich hier auf Deutsch umstellen.
Für Entwickler besonders interessant ist der Bereich "Connections", wo sich benutzerdefinierte Endpunkte für OpenAI-kompatible APIs hinterlegen lassen. So kannst du neben lokalen Ollama-Modellen auch kommerzielle APIs wie OpenAI, Anthropic oder Google Gemini parallel nutzen. Open WebUI abstrahiert die Unterschiede und erlaubt den Wechsel zwischen den Backends mit einem Klick.
Eine der mächtigsten Funktionen von Open WebUI ist die integrierte RAG-Pipeline (Retrieval Augmented Generation). Damit kannst du Dokumente, PDFs, Webseiten und sogar komplette Datenbanken als Wissensquelle für die KI nutzen. Die Verarbeitung erfolgt komplett lokal; es werden keine Daten an externe Dienste übertragen.
Um RAG zu aktivieren, öffne die Einstellungen und navigiere zum Bereich "Documents". Lade zunächst ein oder mehrere Dokumente hoch – unterstützt werden PDF, TXT, DOCX, MD, CSV und viele weitere Formate. Open WebUI teilt die Dokumente automatisch in Chunks auf, erstellt Embeddings und speichert diese in einer lokalen Vektor-Datenbank (standardmäßig ChromaDB).
Standardmäßig nutzt Open WebUI ein lokales Sentence-Transformer-Modell für die Embeddings, was eine exzellente Qualität bei minimalem Ressourcenverbrauch liefert. In den Einstellungen lässt sich alternativ ein Ollama-Embedding-Modell wie nomic-embed-text oder mxbai-embed-large konfigurieren, was die Genauigkeit weiter erhöht.
ollama pull nomic-embed-text
Um RAG im Chat zu nutzen, gib einfach ein #-Zeichen ein und wähle das gewünschte Dokument aus, oder aktiviere den "Knowledge"-Toggle in der Chat-Oberfläche. Die KI bezieht sich dann automatisch auf die hinterlegten Quellen und kennzeichnet relevante Passagen mit Fußnoten. Diese Funktion eignet sich hervorragend für juristische Recherche, technische Dokumentation oder wissenschaftliche Arbeit.
Open WebUI ermöglicht es deinen Modellen, in Echtzeit auf aktuelle Informationen aus dem Internet zuzugreifen. Diese Funktion ist besonders nützlich, wenn du Fragen zu aktuellen Ereignissen stellen möchtest, deren Wissensstand das Trainingsdatum des Modells übersteigt. Die Implementierung ist modular aufgebaut und unterstützt mehrere Suchanbieter.
Aktiviere zunächst das Feature in den Admin-Einstellungen unter "Web Search". Wir empfehlen die Konfiguration mit SearXNG, einer selbstgehosteten Meta-Suchmaschine, die vollständige Kontrolle über die Suchergebnisse bietet. Alternativ kannst du kommerzielle Anbieter wie Google CSE, Brave Search API oder Tavily verwenden, sofern du API-Keys besitzt.
Für maximale Privatsphäre empfiehlt sich die Kombination mit einem SearXNG-Container. Die nachfolgende docker-compose-Konfiguration zeigt ein vollständiges Setup mit beiden Komponenten:
services:
searxng:
image: searxng/searxng:latest
ports: ["8888:8080"]
volumes: ["./searxng:/etc/searxng"]
In den Open WebUI-Einstellungen hinterlegst du anschließend die URL http://searxng:8080 als Web-Search-Provider. Ab sofort kann dein lokales Modell aktuelle Informationen abrufen und in seine Antworten einbeziehen – eine enorme Erweiterung
Mistral Large, Mixtral 8x7B & 8x22B selbst hosten: MoE-Architektur, GPU-RAM-Anforderungen, Quantisierung für Consumer-Hardware, Vergleichstabelle und Hardware-Leitfaden 2026.
Mistral Large, Mixtral 8x7B & 8x22B selbst hosten: MoE-Architektur, GPU-RAM-Anforderungen, Quantisierung für Consumer-Hardware, Vergleichstabelle und Hardware-Leitfaden 2026.
Cloud GPU Kosten 2026 im großen Vergleich: RunPod, Vast.ai, Lambda, TensorDock, DataCrunch, JarvisLabs & Nebius AI. ✓ A100 ✓ H100 ✓ RTX 4090 ✓ L40S ✓ A6000 – Preise pro Stunde, Sparpotenzial & Empfehl
GPU-Backends für lokale LLMs 2026: CUDA (NVIDIA), ROCm (AMD), Vulkan (Universal), SYCL (Intel) im Vergleich. Kompatibilität, Performance, Setup & Hardware-Guide mit Benchmark-Ergebnissen.
DeepSeek R1 und V3 lokal hosten: MoE-Architektur, GPU-Anforderungen, Quantisierung (GGUF/Q4/Q8). Komplette Setup-Schritte für Ollama, vLLM & SGLang. Mit Kostenvergleich & Performance-Benchmarks.
Docker-Container für LLM-Inference: GPU-Passthrough mit NVIDIA Container Toolkit, Ollama & vLLM in Docker Compose, Multi-Container-Setup mit Open WebUI, Ressourcenlimits & Best Practices 2026.
GPU mieten für KI/LLMs 2026: NVIDIA A100, H100, RTX 4090, L40S, A6000 Preise und Performance bei RunPod, Vast.ai, Lambda, TensorDock, DataCrunch. Mit Kostenvergleichs-Tabelle.