gpt-oss 120B
gpt-oss 120B braucht mit der Variante Q4_K_M rund 65,0 GB Speicher und läuft auf 69 von 527 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: Apple Mac Studio (2026), M5 Ultra mit 64-Kern-GPU, 96 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- OpenAI
- Parameter
- 116,8 Mrd., davon 5,1 Mrd. aktiv
- Längster Kontext
- 131.072 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run gpt-oss:120bGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 59 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| NVIDIA RTX PRO 6000 Blackwell, 96 GB | Läuft gut | 155 bis 232 Token/s | 96 GB davon 95,2 GB nutzbar |
Alle Geräte und Grafikkarten für gpt-oss 120B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q4_0 | 62,6 GB | 64,8 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q3_K_M | 62,6 GB | 64,8 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q4_K_M | 62,8 GB | 65,0 GB | ollama run gpt-oss:120b |
| Q5_K_M | 62,9 GB | 65,1 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q6_K | 63,3 GB | 65,5 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |
| Q8_0 | 63,4 GB | 65,6 GB | In mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar. |