NVIDIA T1000, 4 GB

Ja. Mit dieser Karte läuft LFM2.5 2.6B flüssig, mit rund 62 bis 76 Token pro Sekunde.

Die Grenze dieser Karte: LFM2.5 2.6B läuft noch, Spark-X2.5 4B nicht mehr. Dafür fehlen 0,7 GB Grafikspeicher.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“), nur mit dem Grafikspeicher der Karte: ohne Auslagerung in den Arbeitsspeicher und ohne Prozessor. Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf dieser Karte gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie die Karte nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis

Stärkstes Modell, das flüssig läuft

LFM2.5 2.6B

Q4_K_M · 62 bis 76 Token/s

So starten Sie es mit Ollama:

$ ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M

Schnellstes Modell

Spark-X2.5 1.7B

Q4_K_M · 94 bis 115 Token/s

Das schnellste unter den flüssig laufenden Modellen mit mindestens halb so vielen Parametern wie das größte unter ihnen.

So starten Sie es mit Ollama:

$ ollama run hf.co/XHToken/Spark-X2.5-1.7B-GGUF:Q4_K_M

Modelle auf dieser Karte

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Kartendaten

Hersteller
NVIDIA
Grafikspeicher
4 GB
Speicherbandbreite
160 GB/s
Rechenschnittstelle
CUDA
Erschienen
2021

Weitere Ratgeber