Installation & Updates

Lokale KI mit Ollama nutzen

Verbinde Franz mit einem lokalen Ollama-Modell. Aktualisiere Modelle selbst und nutze sie in mehreren Apps. Mit Einrichtung und Hilfe bei Verbindungsproblemen.

Zurück zur Hilfe

Franz 6.9 verbindet sich für lokale Chats mit Ollama. Du bestimmst, wann du Modelle aktualisierst, und kannst sie in anderen Apps nutzen. Franz startet dafür kein eigenes Chat-Modell mehr. Ollama braucht weiterhin Arbeitsspeicher und Rechenleistung.

Ollama starten

Installiere Ollama, starte es und lade ein lokales Chat-Modell mit Tool-Unterstützung herunter, das zu deinem Computer passt. Franz unterstützt stabile Ollama-Versionen ab 0.12 bis vor 1.0.

Deaktiviere Ollamas Cloud-Funktionen und starte Ollama neu. Cloud-Modelle werden nicht unterstützt.

Dein Modell für Ask Franz vorbereiten

Ask Franz schickt Werkzeuganweisungen zusammen mit deiner Nachricht. Das Modell braucht dafür genug Kontext, also Platz für den Text, den es gleichzeitig verarbeiten kann.

Erstelle eine reine Textdatei namens Modelfile:

FROM YOUR_LOCAL_MODEL
PARAMETER num_ctx 16384

Ersetze YOUR_LOCAL_MODEL durch den Namen deines installierten Modells aus ollama list. Öffne ein Terminal im Ordner dieser Datei und führe aus:

ollama create franz-local -f Modelfile

Damit speicherst du eine Modellkonfiguration namens franz-local. Die Schritte folgen Ollamas Modelfile-Dokumentation.

16.384 Tokens funktionierten mit qwen2.5:1.5b im lokalen Test. Längere Gespräche und verbundene Services können mehr brauchen. Größere Kontexte benötigen mehr Arbeitsspeicher. Wähle eine Einrichtung, die dein Computer bewältigt.

Franz verbinden

Öffne die KI-Einstellungen in Franz und wähle Ollama. Lass den Port auf 11434, sofern du ihn in Ollama nicht geändert hast.
Klicke auf Connect or refresh, wähle franz-local und dann Use this model.
Test connection prüft die Verbindung und lokale Modellinformationen. Dabei wird keine Antwort erzeugt.

Braucht Franz mehr Kontext, erhöhe num_ctx in deiner Datei, führe denselben Create-Befehl aus und aktualisiere die Liste. Wähle das Modell danach erneut.

Deine Einrichtung verwalten

Franz installiert oder startet Ollama nicht und lädt keine Ollama-Modelle herunter. Lass Ollama laufen. Verbinde nur Software, der du vertraust.

Bisher heruntergeladene Franz-Modelle bleiben auf deinem Computer. Franz verwendet oder löscht sie nicht. Cloud-Einstellungen und eigene Anbieter bleiben gespeichert. Ollama ist in Free enthalten. Kostenpflichtige KI-Funktionen behalten ihre bisherigen Pläne. Modelle auf einem anderen Computer kannst du mit Pro als eigenen Anbieter verbinden.

Lokale E-Mail-Kategorisierung, Suche und Sprachtranskription behalten ihre bisherigen Engines. Stoppt Ollama, wechselt Franz nicht stillschweigend zur Cloud.