KI lokal betreiben, ohne Terminal: So läuft ein Sprachmodell auf Ihrem Rechner

Lokale KI-Modelle brauchen auf Mac und Windows keine Befehlszeile mehr. Was Sie an Hardware brauchen, wie die Einrichtung Schritt für Schritt gelingt und wo die Grenzen liegen.

Stand: 2026-09-19

Ein Sprachmodell auf dem eigenen Rechner zu betreiben, ein lokales LLM, wie es im Englischen heißt, war lange eine Sache für Leute, die gern im Terminal arbeiten. Auf Mac und Windows hat sich das geändert. Sie installieren ein Programm, laden darin ein Modell herunter und schreiben los, ohne einen einzigen Befehl einzutippen. Solange das Modell auf Ihrem Rechner läuft, bleiben Ihre Eingaben dort.

Eine Empfehlung für ein bestimmtes Modell steht hier bewusst nicht. Neue Modelle erscheinen laufend, und welches zu Ihrem Gerät passt, hängt an dessen Speicher. Das beantwortet die Suche auf welche.ai für Ihr Gerät, und sie bleibt aktuell, wenn dieser Text es nicht mehr ist.

Was Sie brauchen

Genug Arbeitsspeicher. Ein Modell wird zum Arbeiten in den Speicher geladen. LM Studio erklärt das so: „Loading a model typically means allocating memory to be able to accommodate the model's weights and other parameters in your computer's RAM.“ Als grobe Orientierung empfiehlt LM Studio 16 GB Arbeitsspeicher; für einen Mac mit 8 GB rät es zu kleineren Modellen. Unter Windows empfiehlt es zusätzlich eine Grafikkarte mit mindestens 4 GB eigenem Speicher. Wie viel Speicher ein bestimmtes Modell braucht, steht auf welche.ai für jede Variante, die dort geführt wird.

Ein aktuelles Betriebssystem. Auf dem Mac setzen beide gängigen Programme macOS 14 (Sonoma) oder neuer voraus. LM Studio läuft nur auf Macs mit Apple-Chip, Ollama auch auf Macs mit Intel-Prozessor, dort aber nur auf dem Prozessor.

Platz auf der Festplatte. Modelldateien sind groß. Ollama schreibt dazu: „Once you’ve installed Ollama, you’ll need additional space for storing the Large Language models, which can be tens to hundreds of GB in size.“

Ein Programm mit Oberfläche. Zwei sind verbreitet: LM Studio für macOS mit Apple-Chip, Windows und Linux, und Ollama, das auf macOS und Windows eine eigene Anwendung mitbringt. Worin sich die beiden unterscheiden, steht im Ratgeber Ollama oder LM Studio.

Wenn Sie nicht wissen, welches Gerät Sie genau haben oder wie viel Speicher darin steckt, hilft der Geräte-Finder. Er zeigt für Mac, Windows und Linux, wo diese Angaben stehen; unter Linux führt er dafür allerdings ins Terminal.

Schritt für Schritt mit LM Studio

  1. Gerät prüfen. Geben Sie Ihr Gerät in die Suche auf welche.ai ein. Sie sehen, welche Modelle darauf laufen und in welcher Variante. Steht Ihr Gerät nicht dabei, finden Sie im Geräte-Finder die Geräte nach Hersteller sortiert und ein vergleichbares Gerät.
  2. LM Studio installieren. Laden Sie auf lmstudio.ai/download das Programm „LM Studio“ für Ihr Betriebssystem herunter. Oben auf der Seite bietet der Anbieter zuerst ein zweites Programm namens „Bionic“ an; diese Anleitung beschreibt LM Studio. Unter Linux kommt LM Studio als einzelne Programmdatei (AppImage) statt mit einem Installationsprogramm.
  3. Ein Modell herunterladen. Öffnen Sie den Bereich „Discover“ (⌘ + 2 auf dem Mac, Strg + 2 unter Windows und Linux). Am genauesten landen Sie, wenn Sie die Adresse von der Modellseite auf welche.ai kopieren, die dort unter „Quelle“ steht, etwa https://huggingface.co/Qwen/Qwen3-14B-GGUF, und in das Suchfeld einfügen. LM Studio nimmt solche Adressen an: „You can even insert full Hugging Face URLs into the search bar!“ Zu den meisten Modellen gibt es mehrere Varianten, die unterschiedlich stark verkleinert sind. LM Studio rät: „Choose a 4-bit option or higher if your machine is capable enough for running it.“ Im Variantennamen erkennen Sie das in der Regel an einem Q mit einer 4 oder einer höheren Zahl dahinter, etwa Q4_K_M. Auf welche.ai steht bei jeder geführten Variante, wie viel Speicher sie braucht.
  4. Das Modell laden. Im Bereich „Chat“ öffnen Sie die Modellauswahl und wählen das heruntergeladene Modell aus. Es wird dann in den Speicher geladen.
  5. Loslegen. Sie schreiben wie in jedem Chatprogramm. Dokumente im Format .docx, .pdf oder .txt können Sie an eine Unterhaltung anhängen und Fragen dazu stellen.

Sobald das Modell auf Ihrem Rechner liegt, brauchen Sie für die Arbeit damit keine Internetverbindung mehr. LM Studio schreibt: „Nothing you enter into LM Studio when chatting with LLMs leaves your device.“ Für angehängte Dokumente gilt dasselbe: „All document processing is done locally, and nothing you upload into LM Studio leaves the application.“ Eine Verbindung braucht das Programm zum Suchen und Herunterladen von Modellen und Laufzeitkomponenten und zum Prüfen auf Aktualisierungen. Die Cloud-Funktionen des Anbieters, etwa Cloud-Modelle und Websuche, schicken Ihre Eingaben dagegen hinaus.

Mit Ollama

Auf macOS und Windows geht es mit Ollama ähnlich. Laden Sie die Anwendung auf ollama.com/download über die Download-Schaltfläche herunter; den Befehl, der darüber steht, brauchen Sie nicht. Beim ersten Start auf dem Mac fragt Ollama nach Ihrer Erlaubnis, eine Verknüpfung für seine Befehlszeile anzulegen; das ist vorgesehen. Dann öffnen Sie die Anwendung, wählen ein Modell aus, laden es herunter und schreiben los. Dateien ziehen Sie direkt in das Fenster.

Genau die Variante, die welche.ai für Ihr Gerät ausweist, startet Ollama allerdings über einen Befehl im Terminal; auf den Modellseiten von welche.ai steht dieser Befehl in der Regel dabei. Ohne Terminal kommen Sie mit LM Studio genauer ans Ziel.

Ollama bietet inzwischen auch Modelle an, die nicht auf Ihrem Rechner laufen, sondern beim Anbieter in der Cloud. Sie tragen das Wort „cloud“ im Namen, etwa gemma4:cloud oder gpt-oss:120b-cloud. Wenn Sie ein solches Modell wählen, verlassen Ihre Eingaben Ihr Gerät. Für Cloud-Modelle verlangt Ollama eine Anmeldung. Wenn Sie nur lokal arbeiten wollen, melden Sie sich beim ersten Start nicht an und wählen ein lokales Modell. Wie Sie die Cloud-Funktionen samt Websuche ganz abschalten, beschreibt Ollama in seinen häufigen Fragen; der Weg führt über eine Einstellungsdatei.

Was ein lokales Modell leistet, und was nicht

Auf einem gewöhnlichen Rechner laufen die kleineren und stärker verkleinerten Varianten offener Modelle. Ob eine kleine Variante für Ihre Aufgabe reicht, zeigt am schnellsten ein Versuch mit Ihren eigenen Texten.

Auch die Geschwindigkeit hängt am Gerät, vor allem an Speicher und Grafikeinheit. Wenn Ihnen die Antworten zu lange dauern, ist eine kleinere Variante desselben Modells meist der bessere Schritt als ein anderes Programm, denn LM Studio und Ollama rechnen im Kern mit demselben Unterbau, llama.cpp.

Welche Daten bei welchem Aufbau Ihr Haus verlassen, stellt die Datenschutz-Ampel nebeneinander. Die ausführliche Einordnung steht im Ratgeber DSGVO-konforme KI. Was hinter den Namen Ollama, LM Studio, llama.cpp und vLLM steckt, erklärt der Ratgeber Was ist Ollama.

Wenn es geschäftlich wird

Soll ein lokales Modell im Unternehmen für mehrere Menschen laufen oder mit Firmendaten arbeiten, kommen Fragen dazu, die kein Programm beantwortet: welche Aufgabe es tragen soll, wer es betreibt und was dafür zu dokumentieren ist. Für diesen Schritt gibt es die KI-Implementierung von minoka. Wenn noch offen ist, ob sich ein lokales Modell überhaupt lohnt, beginnt die KI-Beratung mit genau dieser Frage.

Quellen

Alle gelesen am 19. September 2026.

Weitere Ratgeber