Welche Hardware für MiniCPM5-1B?

MiniCPM5-1B braucht mit der Variante F16 rund 3,8 GB Speicher und läuft auf allen 561 geführten Geräten flüssig.

Gerechnet mit 32.768 Token Kontext (Anwendungsfall „Dokumente auswerten“):Ausprobieren, NeugierProgrammierenTexte schreiben, übersetzenDokumente auswertenKundendaten, interne Unterlagen

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Geräte

Grafikkarten, in die es ganz passt

Welche Hardware für MiniCPM5-1B? | welche.ai