Was ist Ollama, und welche Alternativen gibt es?

Wer sich mit Sprachmodellen auf dem eigenen Rechner beschäftigt, trifft schnell auf vier Namen: Ollama, LM Studio, llama.cpp und vLLM. Sie werden oft in einem Atemzug genannt, als wären es vier Varianten derselben Sache. Das sind sie nicht. Zwei davon sind Programme, die Sie selbst bedienen. Eines ist der Unterbau, den beide nutzen. Und das vierte ist für eine andere Aufgabe gebaut.

Dieser Text hält die vier auseinander. Wer ihn gelesen hat, versteht danach auch die Startbefehle und Varianten auf den Modellseiten von welche.ai.

1Was ist Ollama?

Ollama ist ein kostenloses Programm, das offene Sprachmodelle herunterlädt und auf Ihrem eigenen Rechner ausführt. Hugging Face, eine Plattform, auf der viele solcher Modelle veröffentlicht werden, beschreibt es so: „Ollama is an application based on llama.cpp to interact with LLMs directly through your computer.“ LLM steht dabei für Large Language Model, also ein großes Sprachmodell.

Praktisch übernimmt Ollama drei Aufgaben:

1. Es besorgt das Modell. Ein kurzer Befehl lädt es aus dem Katalog von Ollama oder direkt von Hugging Face herunter.
2. Es führt das Modell aus, auf der Grafikkarte, wenn eine passende da ist, sonst auf dem Prozessor oder verteilt auf beide.
3. Es stellt das Modell anderen Programmen bereit. Ollama nimmt auf Ihrem eigenen Rechner unter der Adresse localhost:11434 Anfragen anderer Programme entgegen, weitgehend in der Form, die OpenAI für seine Schnittstelle festgelegt hat. Software, die für die Schnittstelle von OpenAI geschrieben ist, lässt sich deshalb meist durch eine geänderte Adresse auf das lokale Modell umstellen.

Unter macOS und Windows gibt es dazu eine Anwendung, in der Sie mit Modellen chatten und Dateien hineinziehen können. Unter Linux läuft Ollama ohne Fenster, auf Wunsch als Hintergrunddienst. Der Quelltext ist offen und steht unter der MIT-Lizenz. Für die Nutzung auf dem eigenen Gerät zahlen Sie nichts; die Bezahlstufen von Ollama betreffen Modelle, die nicht bei Ihnen, sondern beim Anbieter in der Cloud laufen. Wer das ausschließen will, kann die Cloud-Funktionen samt Websuche abschalten.

Wie der Befehl für ein bestimmtes Modell aussieht, zeigt welche.ai auf den Modellseiten. Für Qwen3 14B in der Variante Q4_K_M, einer verkleinerten Fassung (mehr dazu im Abschnitt zu llama.cpp), lautet er:

ollama run hf.co/Qwen/Qwen3-14B-GGUF:Q4_K_M

hf.co ist die Kurzadresse von Hugging Face, GGUF das Dateiformat, das llama.cpp liest.

2Die vier Namen auf einen Blick

MIT und Apache 2.0 sind freie Lizenzen: Sie dürfen die Software nutzen, verändern und weitergeben, auch geschäftlich, unter den Bedingungen der jeweiligen Lizenz.

3llama.cpp: der Unterbau

llama.cpp ist ein freies Projekt, das ein Sprachmodell auf der Hardware rechnen lässt, die gerade da ist: auf dem Prozessor, auf Grafikkarten von NVIDIA, AMD oder Intel, auf einem Apple-Chip und weiteren. Das Projekt beschreibt sein Ziel so: „The main goal of llama.cpp is to enable LLM (and VLM) inference with minimal setup and state-of-the-art performance on a wide range of hardware - locally and in the cloud.“ Also: Sprachmodelle mit wenig Einrichtung schnell auf möglichst vielen Geräten rechnen lassen, lokal wie in der Cloud.

Zwei Fähigkeiten sind für Sie besonders wichtig. llama.cpp verkleinert Modelle, indem es die Zahlen, aus denen sie bestehen, mit weniger Stellen speichert, laut Projektseite zwischen 1,5 und 8 Bit. Solche Varianten erkennen Sie am Q im Namen, etwa Q4_K_M. Und es kann ein Modell zwischen Grafikkarte und Prozessor aufteilen, wenn der Grafikspeicher allein nicht reicht. Beides entscheidet, ob ein Modell auf Ihrem Gerät überhaupt startet. Welche Variante eines Modells wie viel Speicher braucht, führt welche.ai auf jeder Modellseite auf.

Man kann llama.cpp auch ohne Ollama benutzen. Es bringt einen eigenen Server mit, der ebenfalls die OpenAI-kompatible Schnittstelle anbietet, und eine einfache Weboberfläche dazu.

llama.cpp oder Ollama? Ollama ist vor allem eine Schicht über llama.cpp, die Ihnen Arbeit abnimmt: Modelle finden und verwalten, den Dienst im Hintergrund, eine Anwendung auf macOS und Windows. Wer llama.cpp direkt nutzt, arbeitet ohne diese Schicht. Das lohnt sich, wenn Sie genau wissen, welche Einstellung Sie brauchen, oder eigene Software ganz ohne Zwischenschicht bauen. Für den Einstieg ist Ollama der kürzere Weg.

4vLLM: für Server mit vielen Nutzern

vLLM kommt aus einer anderen Richtung. Das Projekt entstand im Sky Computing Lab der University of California in Berkeley und beschreibt sich selbst so: „vLLM is a fast and easy-to-use library for LLM inference and serving.“ Gemeint sind zwei Aufgaben: ein Sprachmodell rechnen lassen und es anderen bereitstellen.

Der Schwerpunkt liegt auf der zweiten Aufgabe, dem Bereitstellen für viele. vLLM fasst eingehende Anfragen laufend zu Stapeln zusammen und geht sparsam mit dem Zwischenspeicher um, den jede laufende Anfrage belegt. Für einen einzelnen Menschen an einem Rechner bringt das wenig. Für einen Server, den viele Menschen gleichzeitig nutzen, ist es der eigentliche Zweck.

Ollama arbeitet in der Grundeinstellung je Modell eine Anfrage nach der anderen ab; weitere warten in einer Schlange. Über die Einstellung OLLAMA_NUM_PARALLEL lassen sich bei den meisten Modellen mehrere gleichzeitig bearbeiten, wenn genug Speicher frei ist. Einige Modellfamilien, etwa Qwen3.5 und LFM2, nimmt Ollama davon aus. Laut Dokumentation wächst dann mit jeder zusätzlichen gleichzeitigen Anfrage der Speicherbedarf.

Auch die Voraussetzungen sind andere. vLLM ist eine Programmbibliothek für Python, also Software, die man über Python einrichtet und startet, und läuft offiziell unter Linux. Die Dokumentation sagt ausdrücklich: „vLLM does not support Windows natively.“ Unter Windows bleibt vor allem der Umweg über das Windows-Subsystem für Linux, eine Linux-Umgebung innerhalb von Windows; auf Macs mit Apple-Chip gibt es einen von der Gemeinschaft gepflegten Zusatz namens vLLM-Metal. Unterstützt werden neuere Grafikkarten von NVIDIA, etwa ab der Reihe RTX 20, ausgewählte Modelle von AMD und Intel sowie Prozessoren. Der Quelltext steht unter der Apache-Lizenz 2.0.

vLLM oder Ollama? Die Frage entscheidet sich vor allem an der Zahl der gleichzeitigen Nutzer, am Betriebssystem und an der Grafikkarte. Arbeiten Sie allein oder zu wenigen mit einem Modell, ist Ollama der einfachere Weg und läuft auf allen drei Betriebssystemen. Soll ein Linux-Server mit passender Grafikkarte viele Anfragen gleichzeitig bedienen, ist das die Aufgabe, für die vLLM gebaut ist.

5LM Studio: Programm mit Oberfläche

LM Studio macht im Kern dasselbe wie Ollama, aber mit einer vollständigen Oberfläche auf Macs mit Apple-Chip, unter Windows und unter Linux: Modelle suchen, herunterladen, ausprobieren, ohne einen einzigen Befehl. Es rechnet ebenfalls mit llama.cpp und auf Macs mit Apple-Chip zusätzlich mit MLX, Apples eigener Grundlage für maschinelles Lernen. Für die Nutzung auf dem eigenen Gerät ist es kostenlos, der Quelltext der Anwendung ist aber nicht offen. Den ausführlichen Vergleich, einschließlich der Frage, welche Daten dabei Ihr Haus verlassen, finden Sie im Ratgeber Ollama oder LM Studio.

6Welche Alternative wofür

• Ein Modell ausprobieren, ohne Befehlszeile: LM Studio.
• Ein Modell anderen Programmen bereitstellen, auf dem eigenen Rechner oder einem kleinen Server: Ollama.
• Eigene Software bauen, ganz ohne Zwischenschicht: llama.cpp. Soll ein fertiges Programm eingebaut werden, ist Ollama der kürzere Weg.
• Viele Nutzer greifen gleichzeitig auf ein Modell zu, und ein Linux-Server mit passender Grafikkarte steht bereit: vLLM.

Wichtiger als die Wahl des Programms ist die Frage, die davor kommt: welches Modell Ihr Gerät überhaupt trägt. Dafür gibt es die Suche auf welche.ai und, wenn Sie Ihr Gerät nicht genau kennen, die Seite Welches Gerät habe ich?. Was bei lokalen und bei Cloud-Modellen an Daten Ihr Haus verlässt, zeigt die Datenschutz-Ampel.

7Wenn es geschäftlich wird

Soll ein lokales Modell im Unternehmen für viele Menschen laufen, bleibt es selten bei der Frage vLLM oder Ollama. Dazu kommen die Hardware, der laufende Betrieb und die Frage, welche Daten das Modell sehen darf. Für diesen Schritt gibt es die KI-Implementierung von minoka. Wenn noch offen ist, ob sich ein eigenes Modell überhaupt lohnt, beginnt die KI-Beratung mit genau dieser Frage.

8Quellen

Alle gelesen am 19. September 2026.

• Hugging Face: Ollama mit GGUF-Modellen
• Ollama, README und Lizenz: README, MIT; Dokumentation: macOS, Windows, Linux, OpenAI-Kompatibilität, häufige Fragen; Voreinstellung für gleichzeitige Anfragen und Ausnahmen: envconfig/config.go, server/sched.go; MLX-Engine: Versionshinweise v0.30.0 und v0.30.10; Vorstellung der Anwendung; Preise
• llama.cpp: Projektseite auf GitHub; Lizenz: MIT
• vLLM: Projektseite auf GitHub; Installation und Grafikkarten; Lizenz: Apache 2.0
• LM Studio: Dokumentation, Systemanforderungen; Nutzungsbedingungen; Befehlszeile unter MIT; Preise