AMD Radeon PRO W6400, 4 GB

Ja. Mit dieser Karte läuft LFM2.5 2.6B flüssig, mit rund 40 bis 75 Token pro Sekunde.

Die Grenze dieser Karte: LFM2.5 2.6B läuft noch, Spark-X2.5 4B nicht mehr. Dafür fehlen 0,7 GB Grafikspeicher.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“), nur mit dem Grafikspeicher der Karte: ohne Auslagerung in den Arbeitsspeicher und ohne Prozessor. Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf dieser Karte gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie die Karte nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis

Stärkstes Modell, das flüssig läuft

LFM2.5 2.6B

Q4_K_M · 40 bis 75 Token/s

So starten Sie es mit Ollama:

$ ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M

Schnellstes Modell

Spark-X2.5 1.7B

Q4_K_M · 61 bis 113 Token/s

Das schnellste unter den flüssig laufenden Modellen mit mindestens halb so vielen Parametern wie das größte unter ihnen.

So starten Sie es mit Ollama:

$ ollama run hf.co/XHToken/Spark-X2.5-1.7B-GGUF:Q4_K_M

Modelle auf dieser Karte

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Kartendaten

Hersteller
AMD
Grafikspeicher
4 GB
Speicherbandbreite
128 GB/s
Rechenschnittstelle
Vulkan
Erschienen
2022

Weitere Ratgeber