GLM-4.7-Flash

GLM-4.7-Flash braucht mit der Variante Q4_K_M rund 19,7 GB Speicher und läuft auf 236 von 538 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: ASUS ROG Strix SCAR 16 (2025), GeForce RTX 5090 Laptop GPU, 32 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
Z.ai
Parameter
29,9 Mrd., davon 3 Mrd. aktiv
Längster Kontext
202.752 Token
Nimmt entgegen
Text
Lizenz
MIT

So starten Sie es mit Ollama:

$ ollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q4_K_M
>>> /set parameter num_ctx 4096

Ab 24 GB Grafikspeicher (beim Mac ab 36 GB Arbeitsspeicher) wählt Ollama von selbst mehr Kontext und braucht dann mehr Speicher. Die zweite Zeile, nach dem Start in Ollama eingegeben, hält den Kontext bei den 4.096 Token, für die die Zahlen hier gelten.

Geräte, auf denen es flüssig läuft

Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
ASUS ROG Strix SCAR 16 (2025), GeForce RTX 5090 Laptop GPU, 32 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 16 (2025), GeForce RTX 5090 Laptop GPU, 64 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 18 (2025), GeForce RTX 5090 Laptop GPU, 16 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 18 (2025), GeForce RTX 5090 Laptop GPU, 32 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 18 (2025), GeForce RTX 5090 Laptop GPU, 64 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 18 (2026), GeForce RTX 5090 Laptop GPU, 64 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
ASUS ROG Strix SCAR 18 (2026), GeForce RTX 5090 Laptop GPU, 128 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
HP OMEN MAX 16 (2025), GeForce RTX 5090 Laptop GPU, 32 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
HP OMEN MAX 16 (2025), GeForce RTX 5090 Laptop GPU, 64 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar
Razer Blade 16 (2026), GeForce RTX 5090 Laptop GPU, 32 GBLäuft gut166 bis 265 Token/s *24 GB
davon 23,2 GB nutzbar

und 226 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
NVIDIA GeForce RTX 4090, 24 GBLäuft gut179 bis 285 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA GeForce RTX 3090 Ti, 24 GBLäuft gut179 bis 285 Token/s24 GB
davon 23,2 GB nutzbar
AMD Radeon RX 7900 XTX, 24 GBLäuft gut156 bis 290 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA GeForce RTX 3090, 24 GBLäuft gut171 bis 272 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA RTX A5000, 24 GBLäuft gut151 bis 240 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA RTX PRO 4000 Blackwell, 24 GBLäuft gut138 bis 220 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA RTX 4500 Ada Generation, 24 GBLäuft gut100 bis 159 Token/s24 GB
davon 23,2 GB nutzbar
NVIDIA GeForce RTX 5090, 32 GBLäuft gut240 bis 384 Token/s32 GB
davon 31,2 GB nutzbar
NVIDIA RTX PRO 4500 Blackwell, 32 GBLäuft gut166 bis 265 Token/s32 GB
davon 31,2 GB nutzbar
AMD Radeon AI PRO R9700, 32 GBLäuft gut117 bis 218 Token/s32 GB
davon 31,2 GB nutzbar

und 7 weitere

Alle Geräte und Grafikkarten für GLM-4.7-Flash

Varianten

Der Bedarf gilt für 4.096 Token Kontext. Dabei bleibt Ollama, wenn Sie nach dem Start „/set parameter num_ctx 4096“ eingeben.

VarianteDateiSpeicherbedarfStartbefehl
Q3_K_M14,6 GB15,9 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q3_K_M
Q4_017,2 GB18,6 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q4_0
Q4_K_M18,3 GB19,7 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q4_K_M
Q5_K_M21,4 GB22,9 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q5_K_M
Q6_K24,7 GB26,2 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q6_K
Q8_031,8 GB33,5 GBollama run hf.co/unsloth/GLM-4.7-Flash-GGUF:Q8_0
BF1659,9 GB62,1 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.

Quelle: https://huggingface.co/unsloth/GLM-4.7-Flash-GGUF

Weitere Ratgeber