Welche Hardware für LensVLM-9B?

LensVLM-9B braucht mit der Variante Q6_K rund 9,8 GB Speicher und läuft auf 407 von 544 geführten Geräten flüssig.

Sortiert nach dem kleinsten Speicher, der reicht, bei gleichem Speicher nach Tempo. Preise folgen. Grafikkarten sind ohne Auslagerung in den Arbeitsspeicher gerechnet. Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.