AMD Radeon RX 5500 XT, 4 GB

Ja. Mit dieser Karte läuft LFM2.5 2.6B flüssig, mit rund 69 bis 128 Token pro Sekunde (nicht an Messungen abgeglichen).

Die Grenze dieser Karte: LFM2.5 2.6B läuft noch, Spark-X2.5 4B nicht mehr. Dafür fehlen 0,7 GB Grafikspeicher.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“), nur mit dem Grafikspeicher der Karte: ohne Auslagerung in den Arbeitsspeicher und ohne Prozessor. Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf dieser Karte gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie die Karte nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis

Stärkstes Modell, das flüssig läuft

LFM2.5 2.6B

Q4_K_M · 69 bis 128 Token/s

Dieses Tempo ist auf diesem Gerät nicht an Messungen abgeglichen und deshalb unsicher.

So starten Sie es mit Ollama:

$ ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M

Schnellstes Modell

Spark-X2.5 1.7B

Q4_K_M · 105 bis 195 Token/s

Dieses Tempo ist auf diesem Gerät nicht an Messungen abgeglichen und deshalb unsicher.

Das schnellste unter den flüssig laufenden Modellen mit mindestens halb so vielen Parametern wie das größte unter ihnen.

So starten Sie es mit Ollama:

$ ollama run hf.co/XHToken/Spark-X2.5-1.7B-GGUF:Q4_K_M

Modelle auf dieser Karte

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Kartendaten

Hersteller
AMD
Grafikspeicher
4 GB
Speicherbandbreite
224 GB/s
Rechenschnittstelle
Vulkan
Erschienen
2019

Weitere Ratgeber