NVIDIA RTX A400, 4 GB

Ja. Mit dieser Karte läuft LFM2.5 2.6B flüssig, mit rund 38 bis 46 Token pro Sekunde.

Die Grenze dieser Karte: LFM2.5 2.6B läuft noch, Spark-X2.5 4B nicht mehr. Dafür fehlen 0,7 GB Grafikspeicher.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“), nur mit dem Grafikspeicher der Karte: ohne Auslagerung in den Arbeitsspeicher und ohne Prozessor. Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf dieser Karte gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie die Karte nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis

Stärkstes Modell, das flüssig läuft

LFM2.5 2.6B

Q4_K_M · 38 bis 46 Token/s

So starten Sie es mit Ollama:

$ ollama run hf.co/LiquidAI/LFM2.5-2.6B-GGUF:Q4_K_M

Schnellstes Modell

Spark-X2.5 1.7B

Q4_K_M · 57 bis 70 Token/s

Das schnellste unter den flüssig laufenden Modellen mit mindestens halb so vielen Parametern wie das größte unter ihnen.

So starten Sie es mit Ollama:

$ ollama run hf.co/XHToken/Spark-X2.5-1.7B-GGUF:Q4_K_M

Modelle auf dieser Karte

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Kartendaten

Hersteller
NVIDIA
Grafikspeicher
4 GB
Speicherbandbreite
96 GB/s
Rechenschnittstelle
CUDA
Erschienen
2024

Wo es diese Karte gibt

Preise aus den Produktdaten der Händler, zuletzt abgeglichen am 3. Oktober 2026. Maßgeblich ist der Preis beim Händler. Partnerlinks: Kaufen Sie über einen dieser Links, erhalten wir eine Provision. Der Preis für Sie bleibt gleich, und die Einstufung oben hängt nicht davon ab.

Weitere Ratgeber