Lokale KI in 20 Minuten: Ollama und Open WebUI per Docker – dein eigener ChatGPT-Ersatz ohne Cloud

1

Ollama-Container starten

Nur CPU (funktioniert überall):

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Mit NVIDIA-Grafikkarte zuerst das NVIDIA Container Toolkit installieren, Docker konfigurieren und dann starten:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Mit AMD-Grafikkarte (ROCm) das spezielle Image verwenden:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Das Volume ollama speichert die Modelle dauerhaft; Port 11434 ist die Ollama-API.

2

Erstes Modell laden und testen

docker exec -it ollama ollama run llama3.2

Ollama lädt das Modell beim ersten Aufruf herunter und öffnet danach einen Chat im Terminal. Mit /bye beendest du ihn. Weitere Modelle findest du in der Ollama-Bibliothek; für deutschsprachige Aufgaben sind Modelle der Qwen- und Gemma-Familien beliebt. Faustregel: Ein Modell mit 8 Milliarden Parametern braucht rund 5 GB RAM oder VRAM, mit 3 Milliarden etwa 2 GB.

3

Open WebUI starten

Die Oberfläche läuft als zweiter Container und verbindet sich mit Ollama auf demselben Rechner:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Wer alles in einem Container möchte, nimmt das gebündelte Image (enthält Ollama gleich mit; CPU-Variante):

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Für GPU-Systeme ergänzt man --gpus=all. Die Doku empfiehlt zusätzlich einen festen Schlüssel per -e WEBUI_SECRET_KEY=… (erzeugen mit openssl rand -hex 32), damit Anmeldungen einen Neustart überleben.

4

Anmelden und Modell wählen

Öffne http://localhost:3000 (vom NAS aus: dessen IP-Adresse). Beim ersten Aufruf legst du ein Administratorkonto an – es liegt nur lokal in der Datenbank des Containers. Oben links wählst du das Modell; fehlt eines, kannst du es in Admin → Einstellungen → Modelle direkt aus der Oberfläche laden.

5

Dokumente einbinden (RAG)

Über das Büroklammer-Symbol im Chat lädst du PDFs oder Textdateien hoch; Open WebUI zerlegt sie und lässt das Modell darauf antworten. Unter Workspace → Knowledge legst du dauerhafte Sammlungen an – etwa deine Bedienungsanleitungen oder Notizen. Nichts davon verlässt den Rechner.

6

Zugriff aus dem Heimnetz und Updates

Andere Geräte erreichen die Oberfläche über http://<IP-des-Rechners>:3000. Öffne den Port nicht im Router nach außen – wer von unterwegs zugreifen will, nutzt ein VPN (z. B. WireGuard auf der FRITZ!Box). Updates: Container stoppen, Image neu ziehen, Container mit demselben Befehl neu anlegen; die Volumes bleiben erhalten.

docker pull ollama/ollama
docker pull ghcr.io/open-webui/open-webui:main