Die produktive Nutzung lokaler KI ist komplex. Die Auswahl von Hardware und Sprachmodell ist schwierig, die Empfehlungen scheinen sich fast wöchentlich zu ändern und eine Unmenge an Fachbegriffen erschwert den Einstieg. Um diese Schwierigkeiten ein Stück weit aus dem Weg zu räumen, bietet es sich an, dass du mit einem kleinen lokalen Chatbot loslegst.
In fünf Minuten zum lokalen KI-Chatbot
Diese einfache Schritt-für-Schritt-Anleitung bringt dir dein eigenes privates Mini-ChatGPT auf deinem Rechner:
1. Installiere die Chatbot-App Jan
Gehe auf jan.ai (öffnet in neuem Tab) und lade die Desktop-Anwendung Jan herunter und installiere sie. Jan ist das Interface, in dem du mit deinem lokalen Modell kommunizierst. Zugleich bringt Jan eine integrierte Funktion mit, um KI-Modelle lokal auf dem Rechner laufen zu lassen. Jan nutzt dazu die Library llama.cpp.
2. Lade ein kleines LLM von Hugging Face
Neben der Software benötigen wir noch eine Datei mit dem eigentlichen KI-Modell (dem LLM). Es gibt inzwischen eine riesige Auswahl frei verfügbarer Modelle. Wir starten, um es möglichst simpel zu halten, mit einem besonders kleinen Modell: Qwen3.5-0.8B-Q4
Die Bezeichnung erscheint kryptisch, aber es lohnt sich, kurz darauf einzugehen, denn viele der Bezeichnungen werden uns immer wieder begegnen:
Qwen = eine Familie von Sprachmodellen des chinesischen Anbieters Alibaba
3.5 = die Version der Modell-Familie
0.8B = die Parameterzahl dieses Modells, im Beispiel „0.8 billion” – also 0,8 Milliarden Parameter
Q4 = die Quantisierung (Komprimierung) der Modellparameter, in diesem Fall auf 4 Bit
Als zentraler Anbieter nahezu aller Modell-Dateien hat sich Hugging Face (öffnet in neuem Tab) etabliert, dort bekommen wir auch unsere Modell-Datei: Qwen3.5-0.8B-Q4 (öffnet in neuem Tab) (ca. 530MB)
Wichtiger Hinweis: Ein Modell mit 0,8 Milliarden Parametern ist winzig. Zum Vergleich: GPT 5.2 wird auf 1800 Milliarden Parameter geschätzt.
3. Importiere die Modell-Datei in Jan
Öffne Jan, klicke auf Settings und dann unter “MODEL PROVIDERS” auf Llama.cpp. Dort dann rechts oben auf “Import” klicken, zur eben heruntergeladenen Datei mit der Endung .gguf navigieren. Nach dem Importieren des Modells bitte kurz überprüfen, ob in den Eigenschaften des Modells (auf das Bleistift-Symbol klicken) unter “Capabilities” die Eigenschaft “Tools” aktiviert ist.

Überprüfe in den “Settings” zudem, ob unter “Web Search” der Punkt “Enable Web Search” aktiviert ist. Auch den werden wir für den ersten Test benötigen.
4. Die erste Frage stellen
Gehe nun links oben auf “New Chat” und wähle im Dropdown das Model “Qwen3.5-0.8B” aus. Im Chatfenster sehen wir mehrere kleine Symbole. Die Weltkugel steht dabei für die Websuche, die dem Modell ermöglicht, im Web zu suchen. Für den ersten Test stellen wir das aus, so dass die Weltkugel grau erscheint. Rechts daneben ist ein kleines Gehirnsymbol. Darüber steuern wir, wie viel unser Modell “nachdenken” (reasoning) soll. Klick darauf und wähle “Off”. Kleine Modelle tendieren dazu, ewig nachzudenken und kommen dann zu keinem Ergebnis.

Mit diesen Einstellungen fragen wir nun:
What’s the capital of France?
Das Modell sollte die korrekte Antwort recht schnell liefern. Wenn hier eine Antwort wie “The capital of France is Paris.” erscheint, hast du deine erste lokale KI-Antwort erfolgreich generiert.
5. Mit den Einstellungen spielen
Die Frage nach der französischen Hauptstadt ist so einfach, das kann sogar unser wirklich kleines Modell korrekt beantworten. Machen wir’s deshalb etwas komplizierter. Stellen wir als nächstes diese Frage:
Wann wurde die Stadt Osterhofen erstmals erwähnt?

Mit deaktiviertem Reasoning fängt das Modell hier an wild zu halluzinieren, denn diese sehr spezielle Information ist in so einem kleinen Modell natürlich nicht im Modelwissen enthalten. Darf das Modell nun nachdenken, wird’s aber auch nicht besser. Das Modell denkt und denkt und verrennt sich in immer gleichen Wiederholungen, bis irgendwann sein Kontext (der interne Wissensspeicher, auf dem jede Antwort basiert) komplett gefüllt ist – und bricht dann ohne Antwort ab.

Erlauben wir dem Modell nun schließlich den Zugriff auf die Websuche. Dazu klicken wir auf die kleine Weltkugel, so dass die Websuche aktiviert wird. Das Reasoning sollte auf “On” oder “Auto” stehen, schließlich muss das Modell zumindest so viel “Denken” können, dass es die Websuche auch nutzt. Und siehe da, selbst ein im Vergleich winziges Modell kann diese sehr spezifische Frage zur Geschichte meiner Heimatstadt nun korrekt beantworten. Vielleicht ist dir aufgefallen, dass das Model auf Englisch geantwortet hat: Das ist gerade bei sehr kleinen Modellen eine häufige Eigenschaft und es hängt vom konkreten Einsatzweck ab, ob das ein Problem ist oder nicht.

Fazit
Mit diesem kurzen Einstieg haben wir bereits viele Aspekte lokaler KI-Nutzung kennen gelernt und konnten in wenigen Modellen einen lokalen ChatGPT-Klon aufsetzen. Unserem winzigen Modell mangelt es natürlich noch sehr an Wissen und Intelligenz, aber die Beispiele verdeutlichen, was selbst ein Modell, das um den Faktor 2000 kleiner ist als die großen Frontier-Modelle, leisten kann.