Grafikkarte für KI: Worauf es bei lokalen Modellen ankommt

Für KI zählt an einer Grafikkarte zuerst der Speicher, dann das Tempo. Welche Speicherklasse wie viele Modelle trägt und was der Schritt von 16 auf 24 GB bringt.

Stand: 2026-09-25

Wer eine Grafikkarte für KI sucht, sollte anders auswählen als für Spiele. Bei Spielen entscheidet die Rechenleistung, wie flüssig das Bild läuft. Bei einem lokalen Sprachmodell entscheidet zuerst der Grafikspeicher, welche Modelle überhaupt laufen, und erst danach die Rechenleistung, wie schnell.

Dieser Text ordnet die Grafikkarten nach dem ein, was für KI zählt. Er nennt keine Preise und empfiehlt keinen Händler; er zeigt, welche Speicherklasse wie viele Modelle trägt, und wo sich ein Schritt nach oben lohnt. Die Zahlen stammen aus unserem Katalog mit 153 Sprachmodellen und den Grafikkarten, gegen die wir sie rechnen.

Zuerst zählt der Grafikspeicher

Damit ein Sprachmodell schnell rechnet, muss es vollständig in den Grafikspeicher passen. Passt es nicht, weicht das Programm auf den gewöhnlichen Arbeitsspeicher aus, und das Modell wird langsam. Warum das so ist und wie Sie es erkennen, erklärt der Ratgeber Lokale KI-Modelle.

Nutzbar ist dabei etwas weniger als die Angabe auf der Karte. In unserer Rechnung bleiben bei jeder Grafikkarte 0,8 GB für das System reserviert: eine Karte mit 16 GB stellt 15,2 GB für ein Modell bereit, eine mit 24 GB 23,2 GB.

Was die gängigen Speicherklassen tragen

Wir haben für die gängigen Speicherklassen gezählt, wie viele der 153 Sprachmodelle unseres Katalogs in der jeweils verbreiteten Variante und bei 4.096 Token Kontext in den nutzbaren Speicher passen:

Speicherdavon nutzbarpassende ModelleBeispielKarten dieser Klasse, zum Beispiel
8 GB7,2 GB50 von 153Qwen3 8BGeForce RTX 4060, RTX 5060, Radeon RX 9060 XT (8 GB)
12 GB11,2 GB69 von 153Qwen3 14BGeForce RTX 3060, RTX 4070, RTX 5070, Radeon RX 7700 XT
16 GB15,2 GB70 von 153gpt-oss 20BGeForce RTX 4080, RTX 5070 Ti, RTX 5080, Radeon RX 9070 XT
20 GB19,2 GB78 von 153Qwen3.6 27BRadeon RX 7900 XT, RTX 4000 Ada Generation
24 GB23,2 GB99 von 153Gemma 4 31BGeForce RTX 3090, RTX 4090, Radeon RX 7900 XTX
32 GB31,2 GB121 von 153Laguna XS 2.1GeForce RTX 5090, Radeon AI PRO R9700
48 GB47,2 GB123 von 153Llama 3.3 70BRTX 6000 Ada Generation, Radeon PRO W7900

Die übrigen Modelle des Katalogs sind so groß, dass sie auf keine einzelne Karte dieser Klassen passen.

Der Schritt von 16 auf 24 GB

Die Stufen sind ungleich. Von 12 auf 16 GB steigt die Zahl der passenden Modelle von 69 auf 70, von 16 auf 24 GB von 70 auf 99, von 24 auf 32 GB von 99 auf 121.

Beim Schritt von 16 auf 24 GB kommen vor allem Modelle mit rund 22 bis 35 Milliarden Parametern dazu, die in der verbreiteten Variante zwischen 15,6 und 22,7 GB brauchen. EuroLLM 22B etwa braucht 15,6 GB und verfehlt eine 16-GB-Karte damit um 0,4 GB, Mistral Small 3.2 24B mit 17,0 GB um 1,8 GB. Gemma 4 31B braucht 21,9 GB, die Qwen-Modelle mit 27 und 30 Milliarden Parametern liegen dazwischen. In dieser Variante läuft auf einer 16-GB-Karte keines davon ganz im Grafikspeicher, auf einer 24-GB-Karte jedes. Einzelne passen in einer niedrigeren Stufe auch auf 16 GB, etwa Mistral Small 3.2 24B in der Variante Q3_K_M mit 14,1 GB.

Daraus folgt ein Vergleich, der bei Spielen andersherum ausgeht: eine ältere GeForce RTX 3090 mit 24 GB trägt in unserem Katalog 99 der 153 Modelle, eine neue RTX 5080 mit 16 GB trägt 70. Für KI ist hier die ältere Karte die größere.

Das Tempo ist die zweite Frage

Innerhalb einer Speicherklasse unterscheiden sich die Karten im Tempo. Für gpt-oss 20B rechnen wir auf einer GeForce RTX 5080 mit 156 bis 248 Token je Sekunde, auf der GeForce RTX 4070 Ti SUPER mit ebenfalls 16 GB mit 125 bis 200. Diese Werte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf der Karte selbst gemessen. Auch für die Radeon-Karten von AMD sind die Werte bei gpt-oss 20B abgeglichen, etwa 108 bis 200 Token je Sekunde auf einer Radeon RX 9070 XT mit 16 GB.

Umgekehrt kann eine ältere Karte die schnellere sein: bei Ornith 1.5 9B liegt die GeForce RTX 3080 Ti mit 12 GB bei 99 bis 121 Token je Sekunde, die neuere RTX 5070 mit 12 GB bei 75 bis 92. Für den Alltag heißt das: die Speicherklasse entscheidet, welche Modelle laufen, die Karte innerhalb der Klasse, wie schnell, und zwischen zwei Karten derselben Klasse kann ein Viertel und mehr liegen. Die Werte für jede Karte stehen auf den Modellseiten unseres Katalogs.

NVIDIA, AMD und die Software

Eine Grafikkarte rechnet nur dann für ein Sprachmodell, wenn das Programm sie unterstützt. Für Ollama, eines der verbreiteten Programme, steht die Grenze bei NVIDIA in der Dokumentation:

„Ollama supports Nvidia GPUs with compute capability 5.0+ and driver version 550 and newer.“

Quelle: Ollama, Hardware support, gelesen am

Damit sind die NVIDIA-Karten der vergangenen Jahre abgedeckt. Bei AMD ist die Lage uneinheitlicher. Der Hauptweg führt über eine Bibliothek, die nicht jede Karte kennt:

„Ollama leverages the AMD ROCm library, which does not support all AMD GPUs.“

Quelle: Ollama, Hardware support, gelesen am

Welche AMD-Karten über diese Bibliothek laufen, führt dieselbe Seite in zwei Listen, für Linux und für Windows. Die Windows-Liste ist deutlich kürzer und nennt etwa die Radeon RX 9070 XT nicht. Für Karten außerhalb der Listen gibt es unter Windows und Linux einen zweiten Weg über die Schnittstelle Vulkan. Wenn Sie eine AMD-Karte kaufen wollen, prüfen Sie deshalb vorher, ob sie in der Liste für Ihr Betriebssystem steht.

Wann eine Grafikkarte nicht die Antwort ist

Wenn Sie Modelle mit 70 Milliarden Parametern oder mehr nutzen wollen. Die größte Spielekarte in unserem Katalog, die GeForce RTX 5090, hat 32 GB. Llama 3.3 70B braucht 45,5 GB, gpt-oss 120B rund 65 GB. Dafür braucht es eine Profikarte mit 48 oder 96 GB, oder ein System, in dem Prozessor und Grafik sich einen großen Speicher teilen. Ein Mac Studio mit 96 GB stellt in unserer Rechnung 72 GB für ein Modell bereit. Selbst eine Karte mit 96 GB trägt nur 133 der 153 Modelle; für die 20 größten reicht keine Karte, die unser Katalog führt.

Wenn Sie ein Notebook nutzen. Dort ist die Grafikkarte fest verbaut, und es zählt, was im Gerät steckt. Welche Modelle auf Ihrem Notebook laufen, zeigt dessen Seite in unserem Katalog; wie Sie es finden, beschreibt die Anleitung Welches Gerät habe ich?

Wenn Sie nur kleine Modelle brauchen. Für Zusammenfassungen, Umformulierungen und Fragen zu Texten, die Sie mitliefern, reicht oft ein Modell mit 4 bis 8 Milliarden Parametern, und das läuft auf einer 8-GB-Karte. Dann ist eine größere Karte Geld für Speicher, den Sie nicht nutzen.

Welche Modelle es gibt und wie viel Speicher jedes braucht, finden Sie unter Modelle.

Fazit

Kurz gesagt

Bei einer Grafikkarte für KI entscheidet zuerst der Grafikspeicher, welche Modelle laufen, und erst danach die Rechenleistung, wie schnell. Wählen Sie deshalb zuerst die Modelle und danach die Speicherklasse; beim Schritt von 16 auf 24 GB kommen vor allem Modelle mit rund 22 bis 35 Milliarden Parametern dazu, sodass eine ältere RTX 3090 für KI mehr trägt als eine neue RTX 5080. Bei AMD prüfen Sie vor dem Kauf, ob die Karte in der Liste von Ollama für Ihr Betriebssystem steht. Für Modelle mit 70 Milliarden Parametern oder mehr reicht keine Spielekarte, und wer nur kleine Modelle braucht, kommt mit einer 8-GB-Karte aus.

Häufige Fragen

Welche Grafikkarte eignet sich für lokale KI?

Eine, in deren Grafikspeicher die Modelle passen, die Sie nutzen wollen: Ein Modell rechnet am schnellsten, wenn es ganz im Grafikspeicher liegt und nichts in den Arbeitsspeicher ausgelagert wird. Wählen Sie deshalb zuerst die Modelle und danach die Speicherklasse; wie viele Modelle welche Klasse trägt, zeigt der Abschnitt „Was die gängigen Speicherklassen tragen“.

Quelle: Ollama, Kontextlänge

Eignet sich eine AMD-Grafikkarte für KI?

Ja, aber nicht jede gleich gut: Ollama nutzt bei AMD vor allem die Bibliothek ROCm, die nicht alle Karten unterstützt, und die Liste für Windows ist deutlich kürzer als die für Linux. Für andere Karten gibt es unter Windows und Linux den Weg über Vulkan. Prüfen Sie vor dem Kauf die Liste für Ihr Betriebssystem, siehe „NVIDIA, AMD und die Software“.

Quelle: Ollama, Grafikkarten

Läuft lokale KI auch ohne Grafikkarte?

Ja, Ollama rechnet dann auf dem Prozessor und im Arbeitsspeicher, auf Macs mit Intel-Prozessor geht es nur so. Schneller ist es, wenn das Modell ganz auf der Grafik liegt; auf Macs mit Apple-Chip nutzt Ollama die eingebaute Grafik. Wann ein solches System die bessere Wahl ist als eine Grafikkarte, steht im Abschnitt „Wann eine Grafikkarte nicht die Antwort ist“.

Quellen: Ollama, häufige Fragen · Ollama, macOS · Ollama, Kontextlänge

Kann ich zwei Grafikkarten zusammen nutzen?

Ja. Ollama lädt ein Modell auf eine einzelne Karte, wenn es dort ganz hineinpasst, weil das am schnellsten ist; passt es nicht, verteilt Ollama es auf alle vorhandenen Karten.

Quelle: Ollama, häufige Fragen

Weitere Ratgeber