OneJev-4B

Dieses Modell ist aus seiner Modellkarte automatisch übernommen und von uns noch nicht gegengelesen; Größen, Kontext und Lizenz sind gemessen, die Einordnung nicht.

OneJev-4B braucht mit der Variante Q4_K_M rund 4,8 GB Speicher und läuft auf allen 561 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf diesem Gerät gemessen.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
OmniJev
Parameter
4,8 Mrd.
Längster Kontext
262.144 Token
Nimmt entgegen
Text und Bilder
Lizenz
Apache 2.0

So starten Sie es mit Ollama:

$ ollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q4_K_M
>>> /set parameter num_ctx 4096

Ab 24 GB Grafikspeicher wählt Ollama von selbst mehr Kontext und braucht dann mehr Speicher; beim Mac zählt dabei der Teil des Arbeitsspeichers, den macOS der Grafik zuteilt. Die zweite Zeile, nach dem Start in Ollama eingegeben, hält den Kontext bei den 4.096 Token, für die die Zahlen hier gelten.

Für mehrere Nutzer gleichzeitig: Ollama bedient dieses Modell immer nur mit einer Anfrage nach der anderen. Bei anderen Modellen lässt sich das über die Einstellung OLLAMA_NUM_PARALLEL ändern, hier nicht: Ollama setzt den Wert für diese Modellart selbst zurück. Die Tempoangaben oben gelten für eine einzelne Anfrage.

Geräte, auf denen es flüssig läuft

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P1 16 Zoll (2025), RTX PRO 1000 Blackwell Laptop GPU, 32 GBLäuft gut81 bis 99 Token/s *8 GB
davon 7,2 GB nutzbar
Lenovo ThinkPad P1 16 Zoll (2025), RTX PRO 1000 Blackwell Laptop GPU, 64 GBLäuft gut81 bis 99 Token/s *8 GB
davon 7,2 GB nutzbar
Lenovo ThinkPad P1 16 Zoll (2025), RTX PRO 2000 Blackwell Laptop GPU, 16 GBLäuft gut81 bis 99 Token/s *8 GB
davon 7,2 GB nutzbar

und 551 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
NVIDIA GeForce GTX 1660 SUPER, 6 GBLäuft gut71 bis 87 Token/s *6 GB
davon 5,2 GB nutzbar
NVIDIA GeForce RTX 2060, 6 GBLäuft gut71 bis 87 Token/s *6 GB
davon 5,2 GB nutzbar
AMD Radeon RX 5600 XT, 6 GBLäuft gut49 bis 91 Token/s6 GB
davon 5,2 GB nutzbar
NVIDIA RTX A2000, 6 GBLäuft gut62 bis 75 Token/s6 GB
davon 5,2 GB nutzbar
NVIDIA GeForce GTX 1660 Ti, 6 GBLäuft gut62 bis 75 Token/s *6 GB
davon 5,2 GB nutzbar
NVIDIA GeForce GTX 1660, 6 GBLäuft gut42 bis 51 Token/s *6 GB
davon 5,2 GB nutzbar
Intel Arc A380, 6 GBLäuft gut32 bis 60 Token/s6 GB
davon 5,2 GB nutzbar
NVIDIA GeForce RTX 3050, 6 GBLäuft gut36 bis 45 Token/s6 GB
davon 5,2 GB nutzbar
NVIDIA GeForce RTX 3070 Ti, 8 GBLäuft gut124 bis 152 Token/s8 GB
davon 7,2 GB nutzbar
Intel Arc A750, 8 GBLäuft gut84 bis 156 Token/s8 GB
davon 7,2 GB nutzbar

und 94 weitere

Alle Geräte und Grafikkarten für OneJev-4B

Varianten

Der Bedarf gilt für 4.096 Token Kontext. Dabei bleibt Ollama, wenn Sie nach dem Start „/set parameter num_ctx 4096“ eingeben.

VarianteDateiSpeicherbedarfStartbefehl
Q3_K_M2,4 GB4,1 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q3_K_M
Q4_03,0 GB4,7 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q4_0
Q4_K_M3,2 GB4,8 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q4_K_M
Q5_K_M3,7 GB5,4 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q5_K_M
Q6_K4,2 GB5,9 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q6_K
Q8_05,2 GB6,9 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:Q8_0
BF169,7 GB11,5 GBollama run hf.co/bartowski/OmniJev_OneJev-4B-GGUF:BF16

Quelle: https://huggingface.co/bartowski/OmniJev_OneJev-4B-GGUF

Weitere Ratgeber