K2-Horizon-0.9B

K2-Horizon-0.9B braucht mit der Variante Q4_K_M rund 1,6 GB Speicher und läuft auf allen 684 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 64 GB. Die letzte Zahl im Namen ist der Arbeitsspeicher; der Grafikspeicher beträgt 4 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf diesem Gerät gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
IFM (MBZUAI)
Parameter
1,1 Mrd.
Längster Kontext
131.072 Token
Nimmt entgegen
Text
Lizenz
Apache 2.0

Oder mit llama.cpp, mit dem Kontext dieser Seite (lädt das Modell von Hugging Face):

$ llama-server -hf IFM/K2-Horizon-0.9B-GGUF:Q4_K_M -c 4096

Geräte, auf denen es flüssig läuft

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 64 GBLäuft gut125 bis 153 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 16 GBLäuft gut125 bis 153 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 32 GBLäuft gut125 bis 153 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut276 bis 337 Token/s *6 GB
davon 5,2 GB nutzbar

und 674 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
AMD Radeon RX 5500 XT, 4 GBLäuft gut173 bis 310 Token/s *4 GB
davon 3,2 GB nutzbar
NVIDIA GeForce GTX 1650 SUPER, 4 GBLäuft gut186 bis 228 Token/s *4 GB
davon 3,2 GB nutzbar
NVIDIA T1000, 4 GBLäuft gut156 bis 191 Token/s4 GB
davon 3,2 GB nutzbar
NVIDIA T600, 4 GBLäuft gut156 bis 191 Token/s4 GB
davon 3,2 GB nutzbar
AMD Radeon RX 6500 XT, 4 GBLäuft gut113 bis 199 Token/s4 GB
davon 3,2 GB nutzbar
AMD Radeon PRO W6400, 4 GBLäuft gut101 bis 177 Token/s4 GB
davon 3,2 GB nutzbar
AMD Radeon RX 6400, 4 GBLäuft gut101 bis 177 Token/s4 GB
davon 3,2 GB nutzbar
Intel Arc A310, 4 GBLäuft gut98 bis 172 Token/s4 GB
davon 3,2 GB nutzbar
NVIDIA GeForce GTX 1650, 4 GBLäuft gut126 bis 153 Token/s *4 GB
davon 3,2 GB nutzbar
NVIDIA RTX A400, 4 GBLäuft gut95 bis 116 Token/s4 GB
davon 3,2 GB nutzbar

und 105 weitere

Alle Geräte und Grafikkarten für K2-Horizon-0.9B

Was die Angaben bedeuten
  • Token: Ein Modell liest und schreibt in Wortstücken, den Token. Ein deutsches Wort sind rund 1,5 bis 1,8 Token.
  • Token/s: So viele Token schreibt das Modell je Sekunde. Angegeben ist eine Spanne, gerechnet, nicht auf diesem Gerät gemessen.
  • Kontext: Wie viel Text das Modell auf einmal im Blick behält, also Ihre Frage, angehängte Dokumente und den bisherigen Verlauf, gezählt in Token. Mehr Kontext braucht mehr Speicher.
  • Mrd.: Milliarden Parameter, die Größe des Modells. Größere Modelle antworten in der Regel besser und brauchen mehr Speicher.
  • „davon … aktiv“: Das Modell (Mixture-of-Experts) rechnet je Token nur mit einem Teil seiner Parameter. Das macht es schneller; Speicher braucht es trotzdem für alle.
  • Q4_K_M, Q8_0 und ähnlich: die Stufe der Quantisierung. Die Zahlen des Modells werden mit weniger Bits gespeichert; je kleiner die Zahl hinter dem Q, desto kleiner die Datei und desto größer die Abweichung vom Original.
  • VL im Namen steht für Vision-Language: solche Modelle lesen auch Bilder. Was ein Modell entgegennimmt, steht auf seiner Seite unter „Nimmt entgegen“.
  • „Läuft gut“: Das Modell passt ganz in den Speicher und schafft in der Mitte der Spanne mindestens 10 Token/s. „Eingeschränkt“: Es passt, ist aber langsamer, oder ein Teil liegt im Arbeitsspeicher. Ob die Antworten stimmen, sagt beides nicht.
  • „*“ am Tempo: Die Rechnung geht hier über ihre Messungen hinaus, der Wert ist unsicherer.
  • „Der Speicher für den Kontext ist geschätzt“: Für die Bauart dieses Modells lesen wir den Speicher für den Kontext nicht aus der Modelldatei ab, sondern schätzen ihn aus der Modellgröße.
  • Wie wir rechnen

Varianten

Der Bedarf gilt für 4.096 Token Kontext. Dabei bleibt Ollama, wenn Sie nach dem Start „/set parameter num_ctx 4096“ eingeben.

VarianteDateiSpeicherbedarfStartbefehl
Q4_K_M0,7 GB1,6 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
Q5_K_M0,8 GB1,7 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
Q6_K0,9 GB1,8 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
Q8_01,1 GB2,1 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.
BF162,2 GB3,1 GBIn mehrere Dateien aufgeteilt, mit Ollama nicht direkt startbar.

Quelle: https://huggingface.co/IFM/K2-Horizon-0.9B-GGUF

Weitere Ratgeber