Welche Hardware für EuroLLM 22B?

EuroLLM 22B braucht mit der Variante Q6_K rund 20,7 GB Speicher und läuft auf 211 von 527 geführten Geräten flüssig.

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Preise folgen. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.

Geräte

Grafikkarten, in die es ganz passt