Welche Hardware für Llama 3.1 8B?

Llama 3.1 8B braucht mit der Variante Q5_K_M rund 7,2 GB Speicher und läuft auf 503 von 527 geführten Geräten flüssig.

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Preise folgen. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.