Lokale private KI ohne Cloud

Wer den Bezahlmodellen von Chatgpt und Co. nicht folgen möchte, schafft sich einfach selbst eine KI an. Grundlage für diese Anleitung ist ein Debian 13.

System vorbereiten

sudo apt update
sudo apt upgrade
sudo apt install curl git build-essential

Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh

Modell lokal laden

ollama pull mistral

KI starten

ollama run mistral