NVIDIA GeForce GTX 1650 SUPER, 4 GB

Ja. Mit dieser Karte läuft LFM2.5 2.6B flüssig, mit rund 74 bis 91 Token pro Sekunde (nicht an Messungen abgeglichen).

Die Grenze dieser Karte: LFM2.5 2.6B läuft noch, Spark-X2.5 4B nicht mehr. Dafür fehlen 0,7 GB Grafikspeicher.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“), nur mit dem Grafikspeicher der Karte: ohne Auslagerung in den Arbeitsspeicher und ohne Prozessor. Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf dieser Karte gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie die Karte nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis

Stärkstes Modell, das flüssig läuft

LFM2.5 2.6B

Q4_K_M · 74 bis 91 Token/s

Dieses Tempo ist auf diesem Gerät nicht an Messungen abgeglichen und deshalb unsicher.

So starten Sie es mit Ollama:

$ ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M

Schnellstes Modell

Spark-X2.5 1.7B

Q4_K_M · 113 bis 138 Token/s

Dieses Tempo ist auf diesem Gerät nicht an Messungen abgeglichen und deshalb unsicher.

Das schnellste unter den flüssig laufenden Modellen mit mindestens halb so vielen Parametern wie das größte unter ihnen.

So starten Sie es mit Ollama:

$ ollama run hf.co/XHToken/Spark-X2.5-1.7B-GGUF:Q4_K_M

Modelle auf dieser Karte

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Kartendaten

Hersteller
NVIDIA
Grafikspeicher
4 GB
Speicherbandbreite
192 GB/s
Rechenschnittstelle
CUDA
Erschienen
2019

Weitere Ratgeber