KI auf dem Raspberry Pi 5: Llama 3 lokal betreiben

🛒 Benötigte Hardware

📋 Schritt-für-Schritt-Anleitung

Schritt 1: Raspberry Pi OS installieren

Lade Raspberry Pi Imager herunter und installiere Raspberry Pi OS Lite (64-bit) auf deiner MicroSD-Karte:

1. Installiere Raspberry Pi Imager von raspberrypi.com
2. Wähle Raspberry Pi 5 als Gerät
3. Wähle Raspberry Pi OS Lite (64-bit)
4. Gehe auf Settings (Ctrl+Shift+X) und aktiviere SSH
5. Setze Benutzername (pi) und Passwort
6. Schreibe das Image auf die MicroSD-Karte

Schritt 2: Raspberry Pi einrichten

Stecke die MicroSD-Karte in den Pi, verbinde Keyboard, Monitor und Netzteil. Nach dem Booten:

# System aktualisieren
sudo apt update && sudo apt upgrade -y

# Abhängigkeiten installieren
sudo apt install -y python3 python3-pip git cmake build-essential

# RAM für Swap erhöhen (wichtig für KI-Modelle)
sudo sed -i 's/^CONF_SWAPSIZE=.*/CONF_SWAPSIZE=2048/' /etc/dphys-swapfile
sudo systemctl restart dphys-swapfile

Schritt 3: Ollama installieren

Ollama ist der einfachste Weg, lokale KI-Modelle zu betreiben:

# Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh

# Ollama-Dienst starten
systemctl --user start ollama

# Llama 3 8B herunterladen (ca. 5GB)
ollama pull llama3.2:3b

# Für 8GB Pi: Llama 3 8B (größer, aber intelligenter)
ollama pull llama3.2:8b

Schritt 4: KI testen

Jetzt kannst du mit deiner lokalen KI chatten:

# Im Terminal chatten
ollama run llama3.2:3b

# Oder über Web-Interface
# Installiere Open WebUI für eine schöne UI
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Schritt 5: Verfügbare Modelle

Neben Llama 3 gibt es viele weitere Modelle, die auf dem Raspberry Pi 5 laufen: