Lokale KI & Ollama

Kernbotschaft

Ollama ist eine Website und eine App, lädt Sprachmodelle auf den eigenen Rechner herunter und stellt sie lokal bereit — für eigene Anwendungen und andere Programme. Alle Daten bleiben dabei auf der eigenen Hardware.

Was Ollama leistet

Modelle herunterladen

Ein einziger Befehl im Terminal genügt — Ollama lädt das gewählte Sprachmodell herunter und richtet es ein. Kein Konto, kein API-Key nötig.

Modelle bereitstellen

Ollama stellt eine lokale API zur Verfügung — andere Programme auf demselben Rechner oder im Netzwerk können das Modell wie einen Cloud-Dienst ansprechen.

Daten bleiben lokal

Keine Anfrage verlässt den Rechner. Sensible Dokumente und interne Daten lassen sich ohne Datenschutzrisiko verarbeiten.

Drei Gründe für den Einstieg

Kostenlos

Ollama ist Open Source und kostenlos. Die meisten Modelle (Llama, Mistral, Gemma, Phi) sind ebenfalls frei verfügbar — kein Abo, keine Nutzungsgebühr pro Anfrage.

Einfacher Einstieg

Installation über die offizielle Website, ein Terminal-Befehl zum Starten — fertig. Kein Serveraufbau, keine Konfigurationsdatei, keine Programmierkenntnisse nötig.

Läuft offline

Nach dem Download funktioniert das Modell ohne Internetverbindung — kein Ausfall durch Cloud-Störungen, keine Latenz durch externe Server.

Installation in zwei Schritten

Ollama einrichten

Ollama herunterladen und installieren ollama.com aufrufen → passende Version für macOS, Windows oder Linux herunterladen → Installer ausführen. Fertig — Ollama läuft jetzt im Hintergrund.

Modell direkt in der App auswählen In der Ollama-Oberfläche unten rechts auf das Modell-Dropdown klicken → gewünschtes Modell aus der Liste wählen (z. B. gemma4, qwen3.6, mistral) → Ollama lädt es automatisch herunter. Kein Terminal nötig.

Codex lokal betreiben — mit Ollama

Codex mit lokalem Modell betreiben

Codex ist das agentenbasierte CLI-Tool von Anthropic und läuft standardmäßig mit Cloud-Modellen. Über eine einfache Konfiguration lässt sich Codex stattdessen mit einem lokalen Ollama-Modell verbinden — die Verarbeitung findet dann vollständig auf dem eigenen Rechner statt, ohne dass Daten nach außen übertragen werden.

Dafür muss Ollama im Hintergrund laufen und Codex über einen Terminal-Befehl mit dem lokalen Modell gestartet werden. Das Ergebnis: dieselbe Codex-Oberfläche, dieselben Skills — vollständig lokal und ohne Cloud-Abhängigkeit.

Code-Beispiel — Codex App mit Ollama starten

Terminal-Befehle

# Codex App starten — Ollama lädt das Modell und öffnet die Oberfläche
ollama launch codex-app

# Codex App beenden — Modell wird entladen, Speicher freigegeben
ollama launch codex-app --restore

Datenschutz-Vorteil: Alle Anfragen an das lokale Modell bleiben auf dem eigenen Rechner — kein Drittanbieter sieht die Daten. Sensible Informationen lassen sich ohne Cloud-Abhängigkeit verarbeiten. Lokale KI ist damit eine datenschutzkonforme Grundlage für den Einsatz vertraulicher Daten.

Praxis-Demo — Verblenden & Entblenden

Sensible Daten schützen — ohne auf KI zu verzichten

Dokumente mit vertraulichen Informationen lassen sich nicht ohne weiteres in eine Cloud-KI einfügen — der Datenschutz steht dagegen. Mit dem Verblenden-Skill und lokaler KI gibt es einen Ausweg: Die sensiblen Daten werden zuerst lokal anonymisiert, erst dann geht das Dokument in die Cloud.

Ein einziger Skill übernimmt beide Richtungen: Verblenden ersetzt Originaldaten durch neutrale IDs, Entblenden setzt die IDs am Ende wieder durch die Originaldaten zurück.

Wichtig: Der Verblendungsskill wird mit Codex und den Cloud-Modellen erstellt, da diese leistungsfähig sind.
Der Verblendungsskill wird dann mit lokaler KI durchgeführt.

Idee dahinter

Lokal → Cloud → Lokal

Lokal — Ollama + Codex

Analysieren

KI erkennt sensible Daten im Originaldokument

→

Mapping erstellen

Tabelle: sensible Daten erhalten eindeutige IDs

→

Verblenden

Neues Dokument — Originaldaten durch IDs ersetzt

Cloud — beliebige KI

Weiterverarbeiten

Cloud-KI arbeitet mit dem anonymisierten Dokument — Bericht, Zusammenfassung, Analyse. Keine sensiblen Daten in der Cloud.

Lokal — Ollama + Codex

Entblenden

Lokal: IDs im fertigen Bericht werden anhand der Mapping-Tabelle durch Originaldaten ersetzt — fertig.

Wichtig: Schritt 5 (Entblenden) muss ebenfalls lokal ablaufen — in diesem Schritt werden IDs und Originaldaten wieder zusammengeführt. Das Ergebnis enthält wieder Patientendaten und darf die eigene Hardware nicht verlassen.

Schritt 1 — Skill erstellen mit Codex und Cloud-Modellen

Prompt für Codex

Diesen Prompt in Codex eingeben — der Skill wird damit eingerichtet und ist sofort einsatzbereit.

Erstelle einen Skill mit zwei Modi: Verblenden und Entblenden. Der Skill arbeitet mit einem projektbasierten Ordner-System.

Basis-Ordner:
verblenden-skill/
└── SKILL.md

Jedes Projekt bekommt einen eigenen Unterordner:
verblenden-skill/
└── [Projektname]/
    ├── 01_eingang/
    ├── 02_mapping/
    ├── 03_verblendet/
    └── 04_entblendet/

── START DES SKILLS — IMMER ──

1. Frage: "Verblenden oder Entblenden?"
2. Frage: "Wie heißt das Projekt?"
3. Prüfe ob der Projektordner existiert:
   - Existiert er → weiter mit dem gewählten Modus
   - Existiert er nicht → lege ihn automatisch mit allen vier Unterordnern an,
     bestätige: "Neues Projekt '[Name]' wurde angelegt." → weiter

── MODUS 1: VERBLENDEN ──

Eingabe: Dokument in verblenden-skill/[Projektname]/01_eingang/

Schritt 1 — Analysieren:
Lies das Dokument und erkenne alle datenschutzrelevanten Daten:
Personennamen, Firmennamen, Adressen, Telefonnummern, E-Mail-Adressen,
Vertragsnummern, Kundennummern, Kontonummern, Diagnosen,
Datumsangaben die Personen zugeordnet sind, und ähnliche identifizierbare Informationen.

Schritt 2 — Mapping-Tabelle erstellen:
Erstelle eine CSV-Datei in 02_mapping/ mit dem gleichen Dateinamen wie das Original.
Format:
ID,Original
PERSON_01,Max Mustermann
PERSON_02,Anna Schmidt
ADRESSE_01,Musterstraße 12
NR_001,Vertrag-Nr. 4711

Kategorien: PERSON_, FIRMA_, ADRESSE_, TEL_, EMAIL_, NR_, DATUM_, SONSTIGE_

Schritt 3 — Verblendetes Dokument erstellen:
Erstelle eine Kopie des Originals in 03_verblendet/.
Ersetze alle sensiblen Einträge durch die IDs aus der Mapping-Tabelle.
Das Original in 01_eingang/ bleibt unverändert.

── MODUS 2: ENTBLENDEN ──

Eingabe: Verarbeitetes Dokument in verblenden-skill/[Projektname]/03_verblendet/

Schritt 1 — Mapping-Tabelle laden:
Lade die passende CSV aus 02_mapping/ (gleicher Dateiname).

Schritt 2 — Entblenden:
Ersetze alle IDs im Dokument durch die Originalwerte aus der Mapping-Tabelle.

Schritt 3 — Ergebnis speichern:
Speichere das entblendete Dokument in 04_entblendet/ mit dem gleichen Dateinamen.

── ALLGEMEINE REGELN ──

- .txt und .md direkt bearbeiten. Bei .docx Text extrahieren, verarbeiten, neu speichern.
- Die Mapping-Tabelle wird nach Erstellung nie verändert — nur gelesen.
- Gibt es mehrere Dokumente in 01_eingang/, alle nacheinander verarbeiten.
- Die Mapping-Tabelle bleibt immer lokal — sie verlässt den Rechner nicht.

Schritt 2 — Dokumente zum Verblenden in den Ordner legen

Dokument ablegen

Das Dokument mit den sensiblen Daten in den Eingangsordner des Projekts legen.

Schritt 3 — Dokumente verblenden und entblenden mit lokaler KI

Verblenden

Dokument in 01_eingang/ ablegen, dann diesen Prompt in Codex eingeben:

Verblende alle Dateien im Ordner

Entblenden

Verarbeitetes Dokument in 03_verblendet/ ablegen, dann diesen Prompt eingeben:

Entblende alle Dateien im Ordner

Lokale KI-Chatbots, die sich mit Ollama verbinden

AnythingLLM

Desktop-App mit einfacher Oberfläche — verbindet sich per Klick mit Ollama. Unterstützt eigene Dokumente als Wissensbasis und lässt sich ohne Programmierkenntnisse einrichten.

Open WebUI

Browser-basierte Oberfläche für Ollama — sieht aus wie ChatGPT, läuft aber vollständig lokal. Gut geeignet für Teams, die eine gemeinsame Oberfläche im Netzwerk betreiben möchten.