Grafikkarte für KI: Worauf es bei lokalen Modellen ankommt
Für KI zählt an einer Grafikkarte zuerst der Speicher, dann das Tempo. Welche Speicherklasse wie viele Modelle trägt und was der Schritt von 16 auf 24 GB bringt.
Stand: 2026-09-25
Wer eine Grafikkarte für KI sucht, sollte anders auswählen als für Spiele. Bei Spielen entscheidet die Rechenleistung, wie flüssig das Bild läuft. Bei einem lokalen Sprachmodell entscheidet zuerst der Grafikspeicher, welche Modelle überhaupt laufen, und erst danach die Rechenleistung, wie schnell.
Dieser Text ordnet die Grafikkarten nach dem ein, was für KI zählt. Er nennt keine Preise und empfiehlt keinen Händler; er zeigt, welche Speicherklasse wie viele Modelle trägt, und wo sich ein Schritt nach oben lohnt. Die Zahlen stammen aus unserem Katalog mit 153 Sprachmodellen und den Grafikkarten, gegen die wir sie rechnen.
Zuerst zählt der Grafikspeicher
Damit ein Sprachmodell schnell rechnet, muss es vollständig in den Grafikspeicher passen. Passt es nicht, weicht das Programm auf den gewöhnlichen Arbeitsspeicher aus, und das Modell wird langsam. Warum das so ist und wie Sie es erkennen, erklärt der Ratgeber Lokale KI-Modelle.
Nutzbar ist dabei etwas weniger als die Angabe auf der Karte. In unserer Rechnung bleiben bei jeder Grafikkarte 0,8 GB für das System reserviert: eine Karte mit 16 GB stellt 15,2 GB für ein Modell bereit, eine mit 24 GB 23,2 GB.
Was die gängigen Speicherklassen tragen
Wir haben für die gängigen Speicherklassen gezählt, wie viele der 153 Sprachmodelle unseres Katalogs in der jeweils verbreiteten Variante und bei 4.096 Token Kontext in den nutzbaren Speicher passen:
| Speicher | davon nutzbar | passende Modelle | Beispiel | Karten dieser Klasse, zum Beispiel |
|---|---|---|---|---|
| 8 GB | 7,2 GB | 50 von 153 | Qwen3 8B | GeForce RTX 4060, RTX 5060, Radeon RX 9060 XT (8 GB) |
| 12 GB | 11,2 GB | 69 von 153 | Qwen3 14B | GeForce RTX 3060, RTX 4070, RTX 5070, Radeon RX 7700 XT |
| 16 GB | 15,2 GB | 70 von 153 | gpt-oss 20B | GeForce RTX 4080, RTX 5070 Ti, RTX 5080, Radeon RX 9070 XT |
| 20 GB | 19,2 GB | 78 von 153 | Qwen3.6 27B | Radeon RX 7900 XT, RTX 4000 Ada Generation |
| 24 GB | 23,2 GB | 99 von 153 | Gemma 4 31B | GeForce RTX 3090, RTX 4090, Radeon RX 7900 XTX |
| 32 GB | 31,2 GB | 121 von 153 | Laguna XS 2.1 | GeForce RTX 5090, Radeon AI PRO R9700 |
| 48 GB | 47,2 GB | 123 von 153 | Llama 3.3 70B | RTX 6000 Ada Generation, Radeon PRO W7900 |
Die übrigen Modelle des Katalogs sind so groß, dass sie auf keine einzelne Karte dieser Klassen passen.
Der Schritt von 16 auf 24 GB
Die Stufen sind ungleich. Von 12 auf 16 GB steigt die Zahl der passenden Modelle von 69 auf 70, von 16 auf 24 GB von 70 auf 99, von 24 auf 32 GB von 99 auf 121.
Beim Schritt von 16 auf 24 GB kommen vor allem Modelle mit rund 22 bis 35 Milliarden Parametern dazu, die in der verbreiteten Variante zwischen 15,6 und 22,7 GB brauchen. EuroLLM 22B etwa braucht 15,6 GB und verfehlt eine 16-GB-Karte damit um 0,4 GB, Mistral Small 3.2 24B mit 17,0 GB um 1,8 GB. Gemma 4 31B braucht 21,9 GB, die Qwen-Modelle mit 27 und 30 Milliarden Parametern liegen dazwischen. In dieser Variante läuft auf einer 16-GB-Karte keines davon ganz im Grafikspeicher, auf einer 24-GB-Karte jedes. Einzelne passen in einer niedrigeren Stufe auch auf 16 GB, etwa Mistral Small 3.2 24B in der Variante Q3_K_M mit 14,1 GB.
Daraus folgt ein Vergleich, der bei Spielen andersherum ausgeht: eine ältere GeForce RTX 3090 mit 24 GB trägt in unserem Katalog 99 der 153 Modelle, eine neue RTX 5080 mit 16 GB trägt 70. Für KI ist hier die ältere Karte die größere.
Das Tempo ist die zweite Frage
Innerhalb einer Speicherklasse unterscheiden sich die Karten im Tempo. Für gpt-oss 20B rechnen wir auf einer GeForce RTX 5080 mit 156 bis 248 Token je Sekunde, auf der GeForce RTX 4070 Ti SUPER mit ebenfalls 16 GB mit 125 bis 200. Diese Werte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf der Karte selbst gemessen. Auch für die Radeon-Karten von AMD sind die Werte bei gpt-oss 20B abgeglichen, etwa 108 bis 200 Token je Sekunde auf einer Radeon RX 9070 XT mit 16 GB.
Umgekehrt kann eine ältere Karte die schnellere sein: bei Ornith 1.5 9B liegt die GeForce RTX 3080 Ti mit 12 GB bei 99 bis 121 Token je Sekunde, die neuere RTX 5070 mit 12 GB bei 75 bis 92. Für den Alltag heißt das: die Speicherklasse entscheidet, welche Modelle laufen, die Karte innerhalb der Klasse, wie schnell, und zwischen zwei Karten derselben Klasse kann ein Viertel und mehr liegen. Die Werte für jede Karte stehen auf den Modellseiten unseres Katalogs.
NVIDIA, AMD und die Software
Eine Grafikkarte rechnet nur dann für ein Sprachmodell, wenn das Programm sie unterstützt. Für Ollama, eines der verbreiteten Programme, steht die Grenze bei NVIDIA in der Dokumentation:
„Ollama supports Nvidia GPUs with compute capability 5.0+ and driver version 550 and newer.“
Damit sind die NVIDIA-Karten der vergangenen Jahre abgedeckt. Bei AMD ist die Lage uneinheitlicher. Der Hauptweg führt über eine Bibliothek, die nicht jede Karte kennt:
„Ollama leverages the AMD ROCm library, which does not support all AMD GPUs.“
Welche AMD-Karten über diese Bibliothek laufen, führt dieselbe Seite in zwei Listen, für Linux und für Windows. Die Windows-Liste ist deutlich kürzer und nennt etwa die Radeon RX 9070 XT nicht. Für Karten außerhalb der Listen gibt es unter Windows und Linux einen zweiten Weg über die Schnittstelle Vulkan. Wenn Sie eine AMD-Karte kaufen wollen, prüfen Sie deshalb vorher, ob sie in der Liste für Ihr Betriebssystem steht.
Wann eine Grafikkarte nicht die Antwort ist
Wenn Sie Modelle mit 70 Milliarden Parametern oder mehr nutzen wollen. Die größte Spielekarte in unserem Katalog, die GeForce RTX 5090, hat 32 GB. Llama 3.3 70B braucht 45,5 GB, gpt-oss 120B rund 65 GB. Dafür braucht es eine Profikarte mit 48 oder 96 GB, oder ein System, in dem Prozessor und Grafik sich einen großen Speicher teilen. Ein Mac Studio mit 96 GB stellt in unserer Rechnung 72 GB für ein Modell bereit. Selbst eine Karte mit 96 GB trägt nur 133 der 153 Modelle; für die 20 größten reicht keine Karte, die unser Katalog führt.
Wenn Sie ein Notebook nutzen. Dort ist die Grafikkarte fest verbaut, und es zählt, was im Gerät steckt. Welche Modelle auf Ihrem Notebook laufen, zeigt dessen Seite in unserem Katalog; wie Sie es finden, beschreibt die Anleitung Welches Gerät habe ich?
Wenn Sie nur kleine Modelle brauchen. Für Zusammenfassungen, Umformulierungen und Fragen zu Texten, die Sie mitliefern, reicht oft ein Modell mit 4 bis 8 Milliarden Parametern, und das läuft auf einer 8-GB-Karte. Dann ist eine größere Karte Geld für Speicher, den Sie nicht nutzen.
Welche Modelle es gibt und wie viel Speicher jedes braucht, finden Sie unter Modelle.
Kurz gesagt
Bei einer Grafikkarte für KI entscheidet zuerst der Grafikspeicher, welche Modelle laufen, und erst danach die Rechenleistung, wie schnell. Wählen Sie deshalb zuerst die Modelle und danach die Speicherklasse; beim Schritt von 16 auf 24 GB kommen vor allem Modelle mit rund 22 bis 35 Milliarden Parametern dazu, sodass eine ältere RTX 3090 für KI mehr trägt als eine neue RTX 5080. Bei AMD prüfen Sie vor dem Kauf, ob die Karte in der Liste von Ollama für Ihr Betriebssystem steht. Für Modelle mit 70 Milliarden Parametern oder mehr reicht keine Spielekarte, und wer nur kleine Modelle braucht, kommt mit einer 8-GB-Karte aus.
Häufige Fragen
Welche Grafikkarte eignet sich für lokale KI?
Eine, in deren Grafikspeicher die Modelle passen, die Sie nutzen wollen: Ein Modell rechnet am schnellsten, wenn es ganz im Grafikspeicher liegt und nichts in den Arbeitsspeicher ausgelagert wird. Wählen Sie deshalb zuerst die Modelle und danach die Speicherklasse; wie viele Modelle welche Klasse trägt, zeigt der Abschnitt „Was die gängigen Speicherklassen tragen“.
Quelle: Ollama, Kontextlänge
Eignet sich eine AMD-Grafikkarte für KI?
Ja, aber nicht jede gleich gut: Ollama nutzt bei AMD vor allem die Bibliothek ROCm, die nicht alle Karten unterstützt, und die Liste für Windows ist deutlich kürzer als die für Linux. Für andere Karten gibt es unter Windows und Linux den Weg über Vulkan. Prüfen Sie vor dem Kauf die Liste für Ihr Betriebssystem, siehe „NVIDIA, AMD und die Software“.
Quelle: Ollama, Grafikkarten
Läuft lokale KI auch ohne Grafikkarte?
Ja, Ollama rechnet dann auf dem Prozessor und im Arbeitsspeicher, auf Macs mit Intel-Prozessor geht es nur so. Schneller ist es, wenn das Modell ganz auf der Grafik liegt; auf Macs mit Apple-Chip nutzt Ollama die eingebaute Grafik. Wann ein solches System die bessere Wahl ist als eine Grafikkarte, steht im Abschnitt „Wann eine Grafikkarte nicht die Antwort ist“.
Quellen: Ollama, häufige Fragen · Ollama, macOS · Ollama, Kontextlänge
Kann ich zwei Grafikkarten zusammen nutzen?
Ja. Ollama lädt ein Modell auf eine einzelne Karte, wenn es dort ganz hineinpasst, weil das am schnellsten ist; passt es nicht, verteilt Ollama es auf alle vorhandenen Karten.
Quelle: Ollama, häufige Fragen
Weitere Ratgeber
- Sprachassistent selber bauen: lokal mit Whisper, Ollama und PiperEin Sprachassistent ohne Cloud braucht drei Modelle: Whisper hört zu, ein Sprachmodell antwortet, Piper liest vor. Speicher, gemessenes Tempo und unsere Grenzen.
- Whisper lokal: Interviews und Besprechungen auf dem eigenen Rechner transkribierenWhisper lokal installieren und nutzen, mit Programm oder im Terminal: Welches Modell für deutsche Aufnahmen passt, wie viel Speicher es braucht und wo die Grenzen liegen.
- KI-Agenten mit lokalem Modell: zwölf Werkzeuge im VergleichOpenClaw, Hermes Agent, DeepSeek Harness und neun weitere Agenten mit einem Modell auf dem eigenen Rechner: was jeder verlangt, was Ihr Gerät hergibt und welcher zu Ihnen passt.
- DeepSeek Harness installieren und lokal nutzenDeepSeek Harness ist der quelloffene Programmier-Agent von DeepSeek. Wie Sie ihn installieren, mit einem lokalen Modell verbinden und was an DeepSeek geht.
- KI auf dem eigenen PC installieren: Reicht Ihr Rechner, oder müssen Sie etwas kaufen?Zum Ausprobieren brauchen Sie meist weder neue Hardware noch das Terminal. Was mit 8 und 16 GB Arbeitsspeicher läuft, welche Programme ohne Befehle auskommen und wann sich ein Kauf lohnt.
- Lokale KI: Was das heißt, was Sie brauchen, was sie kannLokale KI heißt, dass die Modelldatei auf Ihrem Gerät liegt und die Rechenarbeit dort stattfindet. Was Sie dafür brauchen, was heute gut funktioniert und wo die Grenzen liegen.
- Qwen lokal betreiben: welche Fassung auf welches GerätQwen gibt es in vielen Größen. Die kleinste aktuelle Fassung in unserem Katalog, Qwen3.5 4B, braucht 4,4 GB und läuft damit auf praktisch jedem Rechner, Qwen3.8 27B flüssig auf 261 von 891 Geräten. Welche Fassung zu Ihrem Rechner passt und wie Sie sie starten.
- Qwen-Image: KI-Bilder lokal erzeugen und die richtige Fassung wählenQwen-Image erzeugt Bilder auf dem eigenen Rechner. Die neue Fassung 2.1 ist nur für Forschung und Erprobung freigegeben, für Unternehmen ist 2512 die Fassung. Was beide an Speicher brauchen und wie lange ein Bild auf unserer Karte dauerte.
- DSGVO-konforme KI: Welche Daten verlassen bei welchem Aufbau Ihr Haus?Lokal heißt nicht telemetriefrei, und eine EU-Zusage hängt am Bereitstellungstyp. Was bei vier gängigen Aufbauten wirklich übertragen wird, mit Zitaten aus den Datenschutzerklärungen der Anbieter.
- KI für Berufsgeheimnisträger: Was § 203 StGB bei ChatGPT & Co. verlangtHat ChatGPT eine Schweigepflicht? Worauf Anwälte, Ärzte, Steuerberater und Psychotherapeuten bei KI achten müssen, was die Kammern sagen und warum lokale KI die einfachste Antwort ist.
- KI lokal betreiben, ohne Terminal: So läuft ein Sprachmodell auf Ihrem RechnerLokale KI-Modelle brauchen auf Mac und Windows keine Befehlszeile mehr. Was Sie an Hardware brauchen, wie die Einrichtung Schritt für Schritt gelingt und wo die Grenzen liegen.
- Lokale KI-Modelle: Welches läuft auf Ihrer Hardware?Ob ein lokales KI-Modell auf Ihrem Rechner läuft, entscheidet der Speicher. Wie Sie die richtige Zahl finden und was die Stufen hinter dem Namen bedeuten.
- Mac mini für lokale KI: Welche Ausstattung reicht und wann es der Mac Studio sein mussBeim Mac zählt der Arbeitsspeicher, nicht die ganze Zahl. Was der Mac mini mit M4, M5 Pro und M6 trägt, wann es der Mac Studio sein muss und was gebraucht zählt.
- Deutsche und europäische KI-Modelle: Welche es gibt und was davon lokal läuftTeuken aus Deutschland, EuroLLM aus einem EU-Projekt, Mistral aus Paris, Apertus aus der Schweiz. Lizenz, Größe und auf wie vielen der 891 Geräte sie flüssig laufen.
- gpt-oss: OpenAIs offenes Modell auf dem eigenen Rechnergpt-oss gibt es in zwei Größen. Die kleine läuft auf 478 von 891 geführten Geräten flüssig, die große auf 80. Was Sie brauchen und wo das Modell nicht passt.
- Hermes Agent lokal: mit Ollama oder LM Studio nutzenHermes Agent lokal mit Ollama oder LM Studio: Er braucht mindestens 64.000 Token Kontext, ein Modell mit Werkzeugaufrufen und genug Speicher.
- KI selbst hosten: Was sich ändert, sobald mehrere zugreifenSelbst hosten heißt, dass einer betreibt und mehrere nutzen. Was dafür nötig ist, warum die Voreinstellungen dafür nicht gemacht sind und welche Fragen ab dem zweiten Nutzer keine Technikfragen mehr sind.
- Open Source KI: Welche Modelle wirklich offen sindDie meisten Modelle, die „Open Source KI“ heißen, geben nur die fertigen Modelldateien frei, nicht den Weg dorthin. Was der Begriff bedeutet, welche Familien es gibt und was davon auf eigener Hardware läuft.
- OpenClaw lokal: mit Ollama oder LM Studio einrichtenOpenClaw mit einem lokalen Modell über Ollama oder LM Studio: installieren, einrichten, passende Modelle wählen und wissen, was trotzdem ins Netz geht.
- Ornith 1.5: Welche der drei Größen auf Ihrem Rechner läuftOrnith 1.5 in drei Größen: Die kleinste läuft beim Ausprobieren auf 576 von 891 Geräten flüssig, die größte auf 9. Was jede braucht und wann ein Verbund hilft.
- Ollama oder LM Studio: Was ist der Unterschied, und welches passt zu Ihnen?Beide laden offene Sprachmodelle auf Ihren Rechner und rechnen mit demselben Unterbau. Was sie wirklich unterscheidet, was sie kosten und welche Daten dabei Ihr Haus verlassen.
- Was ist Ollama, und welche Alternativen gibt es?Ollama, LM Studio, llama.cpp und vLLM tauchen in vielen Anleitungen für lokale KI auf. Was jedes davon ist, wie die vier zusammenhängen und welches Sie wofür brauchen.
- Was kostet ChatGPT wirklich, und ab wann lohnt sich eigene Hardware?Die Rechnung hat vier Posten, und drei davon stehen auf keiner Preisliste. Was ein Modell über die Schnittstelle kostet, was eigene Hardware dagegenstellt, und ab welchem Punkt sich der Wechsel rechnet.