Computer (computer-10)

Dieses Modell ist aus seiner Modellkarte automatisch übernommen und von uns noch nicht gegengelesen; Größen, Kontext und Lizenz sind gemessen, die Einordnung nicht.

Computer (computer-10) braucht mit der Variante Q4_K_M rund 47,0 GB Speicher und läuft auf 12 von 558 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: Apple Mac Studio (2026), M5 Ultra mit 64-Kern-GPU, 96 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
cosmicoptima
Parameter
70,6 Mrd.
Längster Kontext
131.072 Token
Nimmt entgegen
Text
Lizenz
Llama 3.1 Community License

So starten Sie es mit Ollama:

$ ollama run hf.co/bartowski/cosmicoptima_computer-10-GGUF:Q4_K_M
>>> /set parameter num_ctx 4096

Ab 24 GB Grafikspeicher wählt Ollama von selbst mehr Kontext und braucht dann mehr Speicher; beim Mac zählt dabei der Teil des Arbeitsspeichers, den macOS der Grafik zuteilt. Die zweite Zeile, nach dem Start in Ollama eingegeben, hält den Kontext bei den 4.096 Token, für die die Zahlen hier gelten.

Geräte, auf denen es flüssig läuft

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
Apple Mac Studio (2026), M5 Ultra mit 64-Kern-GPU, 96 GBLäuft gut8,9 bis 12 Token/s96 GB
davon 72,0 GB nutzbar
Apple Mac Studio (2026), M5 Ultra mit 80-Kern-GPU, 96 GBLäuft gut8,9 bis 12 Token/s96 GB
davon 72,0 GB nutzbar
Apple Mac Studio (2026), M5 Ultra mit 64-Kern-GPU, 256 GBLäuft gut8,9 bis 12 Token/s256 GB
davon 192,0 GB nutzbar
Apple Mac Studio (2026), M5 Ultra mit 80-Kern-GPU, 256 GBLäuft gut8,9 bis 12 Token/s256 GB
davon 192,0 GB nutzbar
Apple Mac Studio (2026), M5 Ultra mit 80-Kern-GPU, 512 GBLäuft gut8,9 bis 12 Token/s512 GB
davon 384,0 GB nutzbar
ASUS ExpertCenter Pro ET900N G3 (2026), NVIDIA GB300 mit Blackwell-Ultra-GPU, 748 GBLäuft gut55 bis 68 Token/s748 GB
davon 252,0 GB nutzbar
Dell Pro Max mit GB300 (2026), NVIDIA GB300 mit Blackwell-Ultra-GPU, 748 GBLäuft gut55 bis 68 Token/s748 GB
davon 252,0 GB nutzbar
HP ZGX Fury G1n AI Station (2026), NVIDIA GB300 mit Blackwell-Ultra-GPU, 748 GBLäuft gut55 bis 68 Token/s748 GB
davon 252,0 GB nutzbar
MSI XpertStation WS300 (2026), NVIDIA GB300 mit Blackwell-Ultra-GPU, 748 GBLäuft gut55 bis 68 Token/s748 GB
davon 252,0 GB nutzbar
Gigabyte W775-V10-L01 (2026), NVIDIA GB300 mit Blackwell-Ultra-GPU, 748 GBLäuft gut55 bis 68 Token/s748 GB
davon 252,0 GB nutzbar

und 2 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
NVIDIA RTX PRO 5000 Blackwell, 48 GBLäuft gut18 bis 22 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA RTX 6000 Ada Generation, 48 GBLäuft gut14 bis 17 Token/s48 GB
davon 47,2 GB nutzbar
AMD Radeon PRO W7900, 48 GBLäuft gut9,6 bis 18 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA RTX A6000, 48 GBLäuft gut11 bis 14 Token/s48 GB
davon 47,2 GB nutzbar
NVIDIA Quadro RTX 8000, 48 GBLäuft gut9,8 bis 12 Token/s *48 GB
davon 47,2 GB nutzbar
NVIDIA RTX PRO 6000 Blackwell, 96 GBLäuft gut23 bis 28 Token/s96 GB
davon 95,2 GB nutzbar

Alle Geräte und Grafikkarten für Computer (computer-10)

Varianten

Der Bedarf gilt für 4.096 Token Kontext. Dabei bleibt Ollama, wenn Sie nach dem Start „/set parameter num_ctx 4096“ eingeben.

VarianteDateiSpeicherbedarfStartbefehl
Q3_K_M35,3 GB38,2 GBollama run hf.co/bartowski/cosmicoptima_computer-10-GGUF:Q3_K_M
Q4_040,8 GB43,8 GBollama run hf.co/bartowski/cosmicoptima_computer-10-GGUF:Q4_0
Q4_K_M44,0 GB47,0 GBollama run hf.co/bartowski/cosmicoptima_computer-10-GGUF:Q4_K_M
Q5_K_M51,1 GB54,3 GBollama run hf.co/bartowski/cosmicoptima_computer-10-GGUF:Q5_K_M
Q6_K60,1 GB63,4 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
Q8_075,0 GB78,6 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
BF16141,1 GB146,1 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.

Quelle: https://huggingface.co/bartowski/cosmicoptima_computer-10-GGUF

Weitere Ratgeber