Gemma 4 26B A4B
Gemma 4 26B A4B braucht mit der Variante Q4_K_M rund 18,4 GB Speicher und läuft auf 233 von 527 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: ASUS ROG Strix SCAR 18 (2025), GeForce RTX 5090 Laptop GPU, 32 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- Parameter
- 25,2 Mrd., davon 3,8 Mrd. aktiv
- Längster Kontext
- 262.144 Token
- Lizenz
- apache-2.0
So starten Sie es mit Ollama:
$ ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_MGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 223 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| AMD Radeon RX 7900 XT, 20 GB | Läuft gut | 149 bis 259 Token/s * | 20 GB davon 19,2 GB nutzbar |
| NVIDIA RTX 4000 Ada Generation, 20 GB | Läuft gut | 63 bis 94 Token/s | 20 GB davon 19,2 GB nutzbar |
| AMD Radeon RX 7900 XTX, 24 GB | Läuft gut | 175 bis 304 Token/s * | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 4090, 24 GB | Läuft gut | 133 bis 200 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090 Ti, 24 GB | Läuft gut | 133 bis 200 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090, 24 GB | Läuft gut | 127 bis 190 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX A5000, 24 GB | Läuft gut | 111 bis 167 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX PRO 4000 Blackwell, 24 GB | Läuft gut | 101 bis 152 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX 4500 Ada Generation, 24 GB | Läuft gut | 73 bis 109 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 5090, 32 GB | Läuft gut | 182 bis 274 Token/s | 32 GB davon 31,2 GB nutzbar |
und 9 weitere
Alle Geräte und Grafikkarten für Gemma 4 26B A4B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q3_K_M | 12,7 GB | 14,1 GB | ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q3_K_M |
| Q4_K_M | 16,9 GB | 18,4 GB | ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_M |
| Q5_K_M | 21,2 GB | 22,7 GB | ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q5_K_M |
| Q6_K | 23,2 GB | 24,7 GB | ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q6_K |
| Q8_0 | 26,9 GB | 28,5 GB | ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:Q8_0 |
| BF16 | 50,5 GB | 52,6 GB | ollama run gemma4:26b-a4b-it-bf16 |
Quelle: https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF