Welche Hardware für Qwen3.5 122B A10B?

Qwen3.5 122B A10B braucht mit der Variante Q6_K rund 104,0 GB Speicher und läuft auf 17 von 740 geführten Geräten flüssig.

Gerechnet mit 8.192 Token Kontext (Anwendungsfall „Texte schreiben, übersetzen“):Ausprobieren, NeugierProgrammierenTexte schreiben, übersetzenDokumente auswertenKundendaten, interne UnterlagenAbläufe automatisieren, Agenten

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Geräte

Grafikkarten, in die es ganz passt