Qwen-AgentWorld-35B-A3B

Dieses Modell ist aus seiner Modellkarte automatisch übernommen und von uns noch nicht gegengelesen; Größen, Kontext und Lizenz sind gemessen, die Einordnung nicht.

Qwen-AgentWorld-35B-A3B braucht mit der Variante Q4_K_M rund 23,5 GB Speicher und läuft auf 161 von 544 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: HP ZBook Ultra G1a (2025), Ryzen AI Max PRO 385 mit Radeon 8050S, 32 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
Qwen
Parameter
34,7 Mrd., davon 3 Mrd. aktiv
Längster Kontext
262.144 Token
Nimmt entgegen
Text
Lizenz
Apache 2.0

So starten Sie es mit Ollama:

$ ollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:UD-Q4_K_M
>>> /set parameter num_ctx 4096

Ab 24 GB Grafikspeicher wählt Ollama von selbst mehr Kontext und braucht dann mehr Speicher; beim Mac zählt dabei der Teil des Arbeitsspeichers, den macOS der Grafik zuteilt. Die zweite Zeile, nach dem Start in Ollama eingegeben, hält den Kontext bei den 4.096 Token, für die die Zahlen hier gelten.

Für mehrere Nutzer gleichzeitig: Ollama bedient dieses Modell immer nur mit einer Anfrage nach der anderen. Bei anderen Modellen lässt sich das über die Einstellung OLLAMA_NUM_PARALLEL ändern, hier nicht: Ollama setzt den Wert für diese Modellart selbst zurück. Die Tempoangaben oben gelten für eine einzelne Anfrage.

Geräte, auf denen es flüssig läuft

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
HP ZBook Ultra G1a (2025), Ryzen AI Max PRO 385 mit Radeon 8050S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
HP Z2 Mini G1a (2025), Ryzen AI Max PRO 390 mit Radeon 8050S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
Framework Desktop (2025), Ryzen AI Max 385 mit Radeon 8050S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
HP ZBook Ultra G1a (2025), Ryzen AI Max PRO 390 mit Radeon 8050S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
ASUS ROG Flow Z13 (2025), Ryzen AI Max+ 395 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
ASUS ProArt PX13 (2026), Ryzen AI Max+ 388 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
ASUS TUF Gaming A14 (2026), Ryzen AI Max+ 392 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
Lenovo Legion 7a Gen 11 (2026), Ryzen AI Max+ 388 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
Lenovo Yoga Pro 7a Gen 11 (2026), Ryzen AI Max+ 388 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar
ASUS ProArt PX13 (2026), Ryzen AI Max+ 395 mit Radeon 8060S, 32 GBLäuft gut51 bis 86 Token/s32 GB
davon 24,0 GB nutzbar

und 151 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
NVIDIA GeForce RTX 5090, 32 GBLäuft gut240 bis 383 Token/s32 GB
davon 31,2 GB nutzbar
NVIDIA RTX PRO 4500 Blackwell, 32 GBLäuft gut165 bis 264 Token/s32 GB
davon 31,2 GB nutzbar
AMD Radeon AI PRO R9700, 32 GBLäuft gut117 bis 217 Token/s32 GB
davon 31,2 GB nutzbar
NVIDIA RTX 5000 Ada Generation, 32 GBLäuft gut123 bis 196 Token/s32 GB
davon 31,2 GB nutzbar
AMD Radeon PRO W7800, 32 GBLäuft gut107 bis 199 Token/s32 GB
davon 31,2 GB nutzbar
NVIDIA RTX PRO 5000 Blackwell, 48 GBLäuft gut208 bis 333 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA RTX 6000 Ada Generation, 48 GBLäuft gut173 bis 276 Token/s48 GB
davon 47,2 GB nutzbar
AMD Radeon PRO W7900, 48 GBLäuft gut145 bis 268 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA RTX A6000, 48 GBLäuft gut150 bis 239 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA RTX PRO 6000 Blackwell, 96 GBLäuft gut240 bis 383 Token/s96 GB
davon 95,2 GB nutzbar

Alle Geräte und Grafikkarten für Qwen-AgentWorld-35B-A3B

Varianten

Der Bedarf gilt für 4.096 Token Kontext. Dabei bleibt Ollama, wenn Sie nach dem Start „/set parameter num_ctx 4096“ eingeben.

VarianteDateiSpeicherbedarfStartbefehl
Q3_K_M16,7 GB17,9 GBollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:UD-Q3_K_M
Q4_K_M22,1 GB23,5 GBollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:UD-Q4_K_M
Q5_K_M26,5 GB27,9 GBollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:UD-Q5_K_M
Q6_K29,3 GB30,8 GBollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:UD-Q6_K
Q8_036,9 GB38,5 GBollama run hf.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF:Q8_0
BF1669,4 GB71,6 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.

Quelle: https://huggingface.co/unsloth/Qwen-AgentWorld-35B-A3B-GGUF

Weitere Ratgeber