Inhaltsverzeichnis

Eigene KI mit Gedächtnis: Ultimativ in 4 Schritten

Stell dir vor: Du hast deine eigene, hochintelligente KI. Sie läuft vollständig auf deinem Rechner – ohne Internetverbindung und ohne dass deine Chats an die Server von Google, Microsoft oder OpenAI geschickt werden.

Und das Beste: Sie hat ein Langzeitgedächtnis. Sie erinnert sich an Details aus früheren Gesprächen und lernt Fakten über dich, ohne dass diese Daten jemals deine Festplatte verlassen.

Im Geiste der UN-Resolution 53/144 (Schutz von Menschenrechtsverteidigern) und im Sinne verfassungsrechtlicher Souveränität haben wir ein Paket geschnürt, das genau das ermöglicht: Gemma 2 mit permanentem SQLite-Gedächtnis für jedermann, einfach installierbar unter Windows per Klick!

Wir stellen euch das gesamte Paket als fertigen Download direkt hier auf dem Blog zur Verfügung.

💾 Download des Pakets

Lade dir das vorbereitete ZIP-Archiv direkt hier herunter:
👉 Download: Gemma Memory_Paket

🧠 Eigene KI mit Gedächtnis: Was ist im Paket enthalten?

Nach dem Entpacken findest du folgende Dateien in deinem Ordner:

install.bat: Der automatische Installer. Er prüft dein System auf Python und Ollama, installiert beides bei Bedarf nach und lädt das gewünschte Gemma-Modell herunter (wahlweise die ressourcenschonende Gemma 2 2B oder die leistungsstärkere Gemma 2 9B).
start.bat: Doppelklicke hier, um deine private KI im Terminal zu starten und direkt mit ihr zu chatten.
chat_with_memory.py: Das Gehirn der KI. Es verwaltet die lokale SQLite-Datenbank, sucht nach passenden alten Gesprächsfetzen und lernt kontinuierlich neue Fakten über dich, die es ins System einpflegt.
export_to_excel.bat & export_to_excel.py: Konvertiert deine gesamte Konversationsdatenbank und die gelernten Fakten per Doppelklick in Excel-Tabellen (.csv), die du mit jedem Standard-Excel sofort öffnen kannst.

🛠️ Die Installation (Schritt-für-Schritt)

Die Einrichtung ist kinderleicht und in wenigen Minuten erledigt:

Schritt 1: Paket entpacken

Entpacke die heruntergeladene Datei Gemma_Memory_Paket.zip in einen beliebigen Ordner auf deiner Festplatte (z. B. C:\Gemma_Memory).

Schritt 2: Python installieren (falls nicht vorhanden)

Falls du Python noch nicht hast, lade es von python.org für Windows herunter.
WICHTIG: Setze bei der Installation unbedingt den Haken bei „Add Python.exe to PATH“!

Schritt 3: Installation starten

Doppelklicke auf die Datei install.bat und folge den Anweisungen im Terminal. Das Skript richtet alles für dich ein.

Schritt 4: Chatten und Exportieren

KI starten: Doppelklicke auf start.bat und schreibe deine Nachricht.
Wissen sichern / Excel-Export: Doppelklicke auf export_to_excel.bat. Es entstehen sofort zwei Excel-kompatible Dateien in deinem Ordner, die dein gelerntes Langzeitgedächtnis und den Chatverlauf enthalten.

🚀 Pro-Tipp: Gigantische Modelle (70B/405B) auf Standard-Hardware ausführen mit AirLLM

Für diejenigen, die die absolute Speerspitze der Open-Source-KI ausprobieren wollen, aber keine Rechenzentren im Keller haben, gibt es ein fantastisches Werkzeug: AirLLM (von lyogavin auf GitHub).

Wie funktioniert AirLLM?

Normalerweise benötigt ein 70B-Modell (wie Llama 3 70B) mindestens 40 GB VRAM – weit mehr, als jede normale Grafikkarte besitzt. AirLLM nutzt eine „Teile-und-Herrsche“-Strategie: Es lädt die Schichten (Layers) des Modells nacheinander in den Speicher der GPU, führt die Berechnung durch und entlädt sie wieder.

Der Vorteil: Du kannst ein Llama 3 70B auf einer 4-GB-Grafikkarte oder sogar das gigantische Llama 3.1 405B auf 8 GB VRAM ausführen!
Der Nachteil: Da die Daten ständig zwischen Festplatte, RAM und GPU hin- und hergeschoben werden, ist die Ausgabegeschwindigkeit extrem langsam. Es ist nicht für Echtzeit-Chats geeignet, aber hervorragend für tiefgründige, offline durchgeführte Batch-Analysen (wie Dokumentenprüfung über Nacht).

Falls du tiefer in AirLLM einsteigen willst, schau dir das Projekt hier an: github.com/lyogavin/airllm.

Lies dazu auch unsere Analysen im Bereich Recht & Haftung, um zu verstehen, wie du dich rechtlich gegen behördliche Willkür schützt und nutze unsere Expertisen.