Gemma 4 12B
Gemma 4 12B braucht mit der Variante Q4_0 rund 8,3 GB Speicher und läuft auf 400 von 527 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: ASUS ROG Strix G18 (2025), GeForce RTX 5070 Ti Laptop GPU, 16 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- Parameter
- 11,9 Mrd.
- Längster Kontext
- 262.144 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run hf.co/google/gemma-4-12B-it-qat-q4_0-gguf:Q4_0Geräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 390 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| NVIDIA GeForce RTX 3080, 10 GB | Läuft gut | 67 bis 81 Token/s | 10 GB davon 9,2 GB nutzbar |
| Intel Arc B570, 10 GB | Läuft gut | 28 bis 49 Token/s | 10 GB davon 9,2 GB nutzbar |
| NVIDIA GeForce RTX 3080 Ti, 12 GB | Läuft gut | 78 bis 96 Token/s | 12 GB davon 11,2 GB nutzbar |
| NVIDIA GeForce RTX 3080, 12 GB | Läuft gut | 78 bis 96 Token/s | 12 GB davon 11,2 GB nutzbar |
| NVIDIA GeForce RTX 5070, 12 GB | Läuft gut | 60 bis 73 Token/s | 12 GB davon 11,2 GB nutzbar |
| NVIDIA GeForce RTX 4070, 12 GB | Läuft gut | 46 bis 56 Token/s | 12 GB davon 11,2 GB nutzbar |
| NVIDIA GeForce RTX 4070 SUPER, 12 GB | Läuft gut | 46 bis 56 Token/s | 12 GB davon 11,2 GB nutzbar |
| NVIDIA GeForce RTX 4070 Ti, 12 GB | Läuft gut | 46 bis 56 Token/s | 12 GB davon 11,2 GB nutzbar |
| Intel Arc B580, 12 GB | Läuft gut | 34 bis 58 Token/s | 12 GB davon 11,2 GB nutzbar |
| AMD Radeon RX 6750 XT, 12 GB | Läuft gut | 32 bis 56 Token/s | 12 GB davon 11,2 GB nutzbar |
und 42 weitere
Alle Geräte und Grafikkarten für Gemma 4 12B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q4_0 | 7,0 GB | 8,3 GB | ollama run hf.co/google/gemma-4-12B-it-qat-q4_0-gguf:Q4_0 |
Quelle: https://huggingface.co/google/gemma-4-12B-it-qat-q4_0-gguf