Ornith 1.5 35B A3B
Ornith 1.5 35B A3B braucht mit der Variante Q4_K_M rund 23,0 GB Speicher und läuft auf 202 von 527 geführten Geräten flüssig.
Mit dem wenigsten Speicher schafft es: ASUS ROG Strix SCAR 18 (2025), GeForce RTX 5090 Laptop GPU, 32 GB.
Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.
- Anbieter
- Ornith AI
- Parameter
- 35,5 Mrd., davon 3 Mrd. aktiv
- Längster Kontext
- 262.144 Token
- Lizenz
- mit
So starten Sie es mit Ollama:
$ ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:Q4_K_MGeräte, auf denen es flüssig läuft
Alle Tempowerte sind berechnet und an veröffentlichten Messungen abgeglichen, nicht auf dem Gerät gemessen. Mit * markierte Werte sind nicht abgeglichen und deshalb unsicher.
und 192 weitere
Grafikkarten, in die es ganz passt
| Grafikkarte | Urteil | Tempo | Speicher |
|---|---|---|---|
| AMD Radeon RX 7900 XTX, 24 GB | Läuft gut | 254 bis 442 Token/s * | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 4090, 24 GB | Läuft gut | 186 bis 279 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090 Ti, 24 GB | Läuft gut | 186 bis 279 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 3090, 24 GB | Läuft gut | 178 bis 267 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX A5000, 24 GB | Läuft gut | 157 bis 236 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX PRO 4000 Blackwell, 24 GB | Läuft gut | 144 bis 216 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA RTX 4500 Ada Generation, 24 GB | Läuft gut | 104 bis 157 Token/s | 24 GB davon 23,2 GB nutzbar |
| NVIDIA GeForce RTX 5090, 32 GB | Läuft gut | 249 bis 374 Token/s | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon AI PRO R9700, 32 GB | Läuft gut | 180 bis 313 Token/s * | 32 GB davon 31,2 GB nutzbar |
| AMD Radeon PRO W7800, 32 GB | Läuft gut | 163 bis 283 Token/s * | 32 GB davon 31,2 GB nutzbar |
und 7 weitere
Alle Geräte und Grafikkarten für Ornith 1.5 35B A3B
Varianten
| Variante | Datei | Speicherbedarf | Startbefehl |
|---|---|---|---|
| Q4_K_M | 21,7 GB | 23,0 GB | ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:Q4_K_M |
| Q5_K_M | 25,3 GB | 26,7 GB | ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:Q5_K_M |
| Q6_K | 29,2 GB | 30,7 GB | ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:Q6_K |
| Q8_0 | 37,8 GB | 39,5 GB | ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:Q8_0 |
| BF16 | 71,1 GB | 73,4 GB | ollama run hf.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF:BF16 |
Quelle: https://huggingface.co/ornith-ai/Ornith-1.5-35B-A3B-GGUF