Welche Hardware für GLM-5.3?

GLM-5.3 braucht mit der Variante Q8_0 rund 895,4 GB Speicher und läuft auf keinem der 527 geführten Geräte flüssig.

Gerechnet mit Variante:Q8_0BF16

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Preise folgen. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.

Geräte

Grafikkarten, in die es ganz passt