KI lokal betreiben, ohne Terminal: So läuft ein Sprachmodell auf Ihrem Rechner

Ein Sprachmodell auf dem eigenen Rechner zu betreiben, ein lokales LLM, wie es im Englischen heißt, war lange eine Sache für Leute, die gern im Terminal arbeiten. Auf Mac und Windows hat sich das geändert. Sie installieren ein Programm, laden darin ein Modell herunter und schreiben los, ohne einen einzigen Befehl einzutippen. Solange das Modell auf Ihrem Rechner läuft, bleiben Ihre Eingaben dort.

Eine Empfehlung für ein bestimmtes Modell steht hier bewusst nicht. Neue Modelle erscheinen laufend, und welches zu Ihrem Gerät passt, hängt an dessen Speicher. Das beantwortet die Suche auf welche.ai für Ihr Gerät, und sie bleibt aktuell, wenn dieser Text es nicht mehr ist.

1Was Sie brauchen

Genug Arbeitsspeicher. Ein Modell wird zum Arbeiten in den Speicher geladen. LM Studio erklärt das so: „Loading a model typically means allocating memory to be able to accommodate the model's weights and other parameters in your computer's RAM.“ Als grobe Orientierung empfiehlt LM Studio 16 GB Arbeitsspeicher. Für einen Mac mit 8 GB schreibt es: „You may still be able to use LM Studio on 8GB Macs, but stick to smaller models and modest context sizes.“ Gemeint sind kleinere Modelle und eine kürzere Kontextlänge (dazu unten mehr). Welche kleinen Modelle auf Ihrem Gerät laufen, zeigt welche.ai auf der Seite Ihres Geräts. Für Windows nennt LM Studio als allgemeine Empfehlung mindestens 16 GB und zusätzlich eine Grafikkarte mit mindestens 4 GB eigenem Speicher. Kleine Modelle laufen auch darunter; steht Ihr Gerät in unserem Katalog, zeigt seine Seite, welche. Wie viel Speicher ein bestimmtes Modell braucht, steht auf welche.ai für jede Variante, die dort geführt wird.

Ein aktuelles Betriebssystem. Auf dem Mac setzen beide gängigen Programme macOS 14 (Sonoma) oder neuer voraus. LM Studio läuft nur auf Macs mit Apple-Chip, Ollama auch auf Macs mit Intel-Prozessor, dort aber nur auf dem Prozessor.

Platz auf der Festplatte. Modelldateien sind groß. Ollama schreibt dazu: „Once you’ve installed Ollama, you’ll need additional space for storing the Large Language models, which can be tens to hundreds of GB in size.“

Ein Programm mit Oberfläche. Zwei sind verbreitet: LM Studio für macOS mit Apple-Chip, Windows und Linux, und Ollama, das auf macOS und Windows eine eigene Anwendung mitbringt. Worin sich die beiden unterscheiden, steht im Ratgeber Ollama oder LM Studio.

Wenn Sie nicht wissen, welches Gerät Sie genau haben oder wie viel Speicher darin steckt, hilft die Seite Welches Gerät habe ich?. Sie zeigt für Mac, Windows und Linux, wo diese Angaben stehen; unter Linux führt sie dafür allerdings ins Terminal.

2Schritt für Schritt mit LM Studio

1. Gerät prüfen. Geben Sie Ihr Gerät in die Suche auf welche.ai ein. Sie sehen, welche Modelle darauf laufen und in welcher Variante. Steht Ihr Gerät nicht dabei, finden Sie auf der Seite Welches Gerät habe ich? die Geräte nach Hersteller sortiert und ein vergleichbares Gerät.
2. LM Studio installieren. Laden Sie auf der Download-Seite von LM Studio das Programm „LM Studio“ für Ihr Betriebssystem herunter. Oben auf der Seite bietet der Anbieter zuerst ein zweites Programm namens „Bionic“ an; diese Anleitung beschreibt LM Studio. Unter Linux kommt LM Studio als einzelne Programmdatei (AppImage) statt mit einem Installationsprogramm.
3. Ein Modell herunterladen. Öffnen Sie den Bereich „Discover“ (⌘ + 2 auf dem Mac, Strg + 2 unter Windows und Linux). Am genauesten landen Sie, wenn Sie die Adresse von der Modellseite auf welche.ai kopieren, die dort unter „Quelle“ steht, etwa https://huggingface.co/Qwen/Qwen3-14B-GGUF, und in das Suchfeld einfügen. LM Studio nimmt solche Adressen an: „You can even insert full Hugging Face URLs into the search bar!“ Zu den meisten Modellen gibt es mehrere Varianten, die unterschiedlich stark verkleinert sind. LM Studio rät: „Choose a 4-bit option or higher if your machine is capable enough for running it.“ Im Variantennamen erkennen Sie das in der Regel an einem Q mit einer 4 oder einer höheren Zahl dahinter, etwa Q4_K_M. Auf welche.ai steht bei jeder geführten Variante, wie viel Speicher sie braucht.
4. Das Modell laden. Im Bereich „Chat“ öffnen Sie die Modellauswahl und wählen das heruntergeladene Modell aus. Es wird dann in den Speicher geladen. Wenn Sie vorher die Kontextlänge festlegen wollen, schalten Sie in der Modellauswahl „Modellladeparameter manuell auswählen“ ein (englisch „Manually choose model load parameters“); dann zeigt LM Studio die Ladeeinstellungen, bevor es lädt.
5. Loslegen. Sie schreiben wie in jedem Chatprogramm. Dokumente im Format .docx, .pdf oder .txt können Sie an eine Unterhaltung anhängen und Fragen dazu stellen.

Sobald das Modell auf Ihrem Rechner liegt, brauchen Sie für die Arbeit damit keine Internetverbindung mehr. LM Studio schreibt: „Nothing you enter into LM Studio when chatting with LLMs leaves your device.“ Für angehängte Dokumente gilt dasselbe: „All document processing is done locally, and nothing you upload into LM Studio leaves the application.“ Eine Verbindung braucht das Programm zum Suchen und Herunterladen von Modellen und Laufzeitkomponenten und zum Prüfen auf Aktualisierungen. Die Cloud-Funktionen des Anbieters, etwa Cloud-Modelle und Websuche, schicken Ihre Eingaben dagegen hinaus.

Die Kontextlänge einstellen

Die Kontextlänge legt fest, wie viel Text das Modell auf einmal im Blick behält: Ihre Fragen, seine Antworten und angehängte Dokumente, gezählt in Token. LM Studio beschreibt sie als „Die maximale Anzahl von Token, die das Modell in einem Prompt berücksichtigen kann“. Je länger der Kontext, desto mehr Speicher braucht das Modell; LM Studio warnt in der Einstellung selbst, ein hoher Wert könne „die Speichernutzung erheblich beeinflussen“.

Die Geräteseite von welche.ai rechnet mit der Kontextlänge des gewählten Anwendungsfalls, beim Ausprobieren etwa mit 4.096 Token; unter „Mit anderer Kontextlänge rechnen“ wählen Sie selbst einen Wert. Der angezeigte Speicherbedarf gilt für genau diese Länge. Damit die Rechnung auf Ihrem Rechner aufgeht, laden Sie dieselbe Variante und stellen in LM Studio denselben Wert ein. Dafür gibt es zwei Wege:

• Einmal, beim Laden: Wählen Sie in der Modellauswahl „Modellladeparameter manuell auswählen“ und tragen Sie bei „Kontextlänge“ (englisch „Context Length“) die Zahl ein, etwa 32768.
• Dauerhaft für ein Modell: Öffnen Sie den Bereich „Meine Modelle“ („My Models“) und klicken Sie beim Modell auf das Zahnrad. Was Sie dort bei „Kontextlänge“ eintragen, gilt künftig bei jedem Laden.

Neuere Fassungen von LM Studio können die Kontextlänge beim Laden auch selbst wählen, passend zum freien Speicher („Automatic Context Sizing“ bzw. „Automatic Optimize Based on Hardware“). Wenn Sie mit einem festen Wert rechnen wollen, prüfen Sie in den Ladeeinstellungen, ob eine solche Automatik eingeschaltet ist.

Ist der Wert für Ihre Unterhaltung zu klein, bricht die Antwort mit dem Hinweis ab, das Kontextlängenlimit sei erreicht, oder das Modell vergisst still den Anfang der Unterhaltung; was davon geschieht, legt die Einstellung „Kontextüberlauf“ fest. Reicht dagegen der Speicher nicht, ist eine kürzere Kontextlänge der erste Versuch; reicht das nicht, nehmen Sie eine kleinere Variante desselben Modells.

3Was es kostet

LM Studio und Ollama kosten für den Betrieb auf dem eigenen Rechner nichts. Ollama schreibt auf seiner Preisseite: „Running models on your own hardware is always unlimited.“ LM Studio ist seit Juli 2025 auch im Beruf kostenlos nutzbar: „Starting today, LM Studio is free to use both at home and at work.“ Die Nutzungsbedingungen erlauben den Einsatz für persönliche und interne geschäftliche Zwecke („personal and / or internal business purposes“), nicht aber, das Programm als Dienst für Dritte anzubieten.

Bezahlt wird bei beiden nur, was nicht auf Ihrem Rechner läuft: Cloud-Modelle und Zusatzfunktionen des Anbieters. Die eigentlichen Kosten des lokalen Betriebs liegen beim Gerät und beim Strom. Wie sich das gegen ein Abonnement rechnet, zeigt der Ratgeber ChatGPT-Kosten gegen eigene Hardware.

4Mit Ollama

Auf macOS und Windows geht es mit Ollama ähnlich. Laden Sie die Anwendung auf der Download-Seite von Ollama über die Download-Schaltfläche herunter; den Befehl, der darüber steht, brauchen Sie nicht. Beim ersten Start auf dem Mac fragt Ollama nach Ihrer Erlaubnis, eine Verknüpfung für seine Befehlszeile anzulegen; das ist vorgesehen. Dann öffnen Sie die Anwendung, wählen ein Modell aus, laden es herunter und schreiben los. Dateien ziehen Sie direkt in das Fenster.

Genau die Variante, die welche.ai für Ihr Gerät ausweist, startet Ollama allerdings über einen Befehl im Terminal; auf den Modellseiten von welche.ai steht dieser Befehl in der Regel dabei. Ohne Terminal kommen Sie mit LM Studio genauer ans Ziel.

Ollama bietet inzwischen auch Modelle an, die nicht auf Ihrem Rechner laufen, sondern beim Anbieter in der Cloud. Sie tragen das Wort „cloud“ im Namen, etwa gemma4:cloud oder gpt-oss:120b-cloud. Wenn Sie ein solches Modell wählen, verlassen Ihre Eingaben Ihr Gerät. Für Cloud-Modelle verlangt Ollama eine Anmeldung. Wenn Sie nur lokal arbeiten wollen, melden Sie sich beim ersten Start nicht an und wählen ein lokales Modell. Wie Sie die Cloud-Funktionen samt Websuche ganz abschalten, beschreibt Ollama in seinen häufigen Fragen; der Weg führt über eine Einstellungsdatei.

5Was ein lokales Modell leistet, und was nicht

Auf einem gewöhnlichen Rechner laufen die kleineren und stärker verkleinerten Varianten offener Modelle. Ob eine kleine Variante für Ihre Aufgabe reicht, zeigt am schnellsten ein Versuch mit Ihren eigenen Texten.

Auch die Geschwindigkeit hängt am Gerät, vor allem an Speicher und Grafikeinheit. Wenn Ihnen die Antworten zu lange dauern, ist eine kleinere Variante desselben Modells meist der bessere Schritt als ein anderes Programm, denn LM Studio und Ollama rechnen im Kern mit demselben Unterbau, llama.cpp.

Welche Daten bei welchem Aufbau Ihr Haus verlassen, stellt die Datenschutz-Ampel nebeneinander. Die ausführliche Einordnung steht im Ratgeber DSGVO-konforme KI. Was hinter den Namen Ollama, LM Studio, llama.cpp und vLLM steckt, erklärt der Ratgeber Was ist Ollama.

6Wenn es geschäftlich wird

Soll ein lokales Modell im Unternehmen für mehrere Menschen laufen oder mit Firmendaten arbeiten, kommen Fragen dazu, die kein Programm beantwortet: welche Aufgabe es tragen soll, wer es betreibt und was dafür zu dokumentieren ist. Für diesen Schritt gibt es die KI-Implementierung von minoka. Wenn noch offen ist, ob sich ein lokales Modell überhaupt lohnt, beginnt die KI-Beratung mit genau dieser Frage.

7Quellen

Gelesen am 19. September 2026; die Angaben zu Arbeitsspeicher, Kontextlänge und Kosten am 6. Oktober 2026.

• LM Studio, Dokumentation: Übersicht, Erste Schritte, Modelle herunterladen, Betrieb ohne Internet, Dokumente im Chat, Systemanforderungen; Download; Cloud-Verarbeitung: Datenschutzerklärung; Ladeeinstellungen: Standardwerte je Modell, Ladeparameter manuell wählen, Bezeichnungen der Oberfläche aus der Übersetzung von LM Studio (Einstellungen, Chat, Seitenleiste, englisch: Einstellungen, Chat); Kosten: kostenlos auch im Beruf, Nutzungsbedingungen, Preise
• Ollama, Dokumentation: macOS, Erste Schritte, Cloud, häufige Fragen; Vorstellung der Anwendung; Download; gpt-oss im Katalog mit Cloud-Varianten; Preise