EuroMoE 2.6B A0.6B

EuroMoE 2.6B A0.6B braucht mit der Variante Q4_K_M rund 2,5 GB Speicher und läuft auf 732 von 740 geführten Geräten flüssig.

Mit dem wenigsten Speicher schafft es: HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 16 GB. Die letzte Zahl im Namen ist der Arbeitsspeicher; der Grafikspeicher beträgt 4 GB.

Berechnet für 4.096 Token Kontext (Anwendungsfall „Ausprobieren, Neugier“). Die Tempowerte sind an veröffentlichten und eigenen Messungen abgeglichen, aber nicht auf diesem Gerät gemessen. Ausgenommen sind Werte mit dem Zusatz „nicht an Messungen abgeglichen“: für sie fehlt der Abgleich, sie sind unsicher.

Wofür möchten Sie das Modell nutzen?
Mehr zu diesem Einsatzzweck: Modelle und Geräte nach Preis
Anbieter
EuroLLM (utter-project)
Parameter
2,6 Mrd., davon 0,6 Mrd. aktiv
Längster Kontext
4.096 Token
Deutsch
In der Modellkarte als Sprache genannt„Bulgarian, Croatian, Czech, Danish, Dutch, English, Estonian, Finnish, French, German, Greek, Hungarian, Irish, Italian, Latvian, Lithuanian, Maltese, Polish, Portuguese, Romanian, Slovak, Slovenian, Spanish, Swedish, Arabic, Catalan, Chinese, Galician, Hindi, Japanese, Korean, Norwegian, Russian, Turkish, and Ukrainian.“ (Quelle: huggingface.co, gelesen am 5. Oktober 2026)
Lizenz
Apache 2.0

So starten Sie es mit Ollama:

$ ollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q4_K_M

Oder mit llama.cpp, mit dem Kontext dieser Seite (lädt das Modell von Hugging Face):

$ llama-server -hf mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q4_K_M -c 4096

Geräte, auf denen es flüssig läuft

Die Tempowerte sind berechnet, nicht auf dem Gerät gemessen, und an veröffentlichten und eigenen Messungen abgeglichen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

GerätUrteilTempoSpeicher
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 16 GBLäuft gut163 bis 261 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 64 GBLäuft gut163 bis 261 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 16 Zoll (2025), RTX 500 Ada Generation Laptop GPU, 32 GBLäuft gut163 bis 261 Token/s *4 GB
davon 3,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 48 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
Lenovo ThinkPad P14s 14,5 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 14 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 64 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar
HP ZBook 8 G2i 16 Zoll (2026), RTX PRO 500 Blackwell Laptop GPU, 32 GBLäuft gut336 bis 537 Token/s *6 GB
davon 5,2 GB nutzbar

und 722 weitere

Grafikkarten, in die es ganz passt

GrafikkarteUrteilTempoSpeicher
AMD Radeon RX 5500 XT, 4 GBLäuft gut227 bis 421 Token/s *4 GB
davon 3,2 GB nutzbar
NVIDIA GeForce GTX 1650 SUPER, 4 GBLäuft gut236 bis 378 Token/s *4 GB
davon 3,2 GB nutzbar
NVIDIA T1000, 4 GBLäuft gut201 bis 320 Token/s4 GB
davon 3,2 GB nutzbar
NVIDIA T600, 4 GBLäuft gut201 bis 320 Token/s4 GB
davon 3,2 GB nutzbar
AMD Radeon RX 6500 XT, 4 GBLäuft gut151 bis 280 Token/s4 GB
davon 3,2 GB nutzbar
NVIDIA GeForce GTX 1650, 4 GBLäuft gut164 bis 261 Token/s *4 GB
davon 3,2 GB nutzbar
AMD Radeon PRO W6400, 4 GBLäuft gut135 bis 251 Token/s4 GB
davon 3,2 GB nutzbar
AMD Radeon RX 6400, 4 GBLäuft gut135 bis 251 Token/s4 GB
davon 3,2 GB nutzbar
Intel Arc A310, 4 GBLäuft gut131 bis 243 Token/s4 GB
davon 3,2 GB nutzbar
NVIDIA RTX A400, 4 GBLäuft gut125 bis 200 Token/s4 GB
davon 3,2 GB nutzbar

und 105 weitere

Alle Geräte und Grafikkarten für EuroMoE 2.6B A0.6B

Was die Angaben bedeuten
  • Token: Ein Modell liest und schreibt in Wortstücken, den Token. Ein deutsches Wort sind rund 1,5 bis 1,8 Token.
  • Token/s: So viele Token schreibt das Modell je Sekunde. Angegeben ist eine Spanne, gerechnet, nicht auf diesem Gerät gemessen.
  • Kontext: Wie viel Text das Modell auf einmal im Blick behält, also Ihre Frage, angehängte Dokumente und den bisherigen Verlauf, gezählt in Token. Mehr Kontext braucht mehr Speicher.
  • Mrd.: Milliarden Parameter, die Größe des Modells. Größere Modelle antworten in der Regel besser und brauchen mehr Speicher.
  • „davon … aktiv“: Das Modell (Mixture-of-Experts) rechnet je Token nur mit einem Teil seiner Parameter. Das macht es schneller; Speicher braucht es trotzdem für alle.
  • Q4_K_M, Q8_0 und ähnlich: die Stufe der Quantisierung. Die Zahlen des Modells werden mit weniger Bits gespeichert; je kleiner die Zahl hinter dem Q, desto kleiner die Datei und desto größer die Abweichung vom Original.
  • VL im Namen steht für Vision-Language: solche Modelle lesen auch Bilder. Was ein Modell entgegennimmt, steht auf seiner Seite unter „Nimmt entgegen“.
  • „Läuft gut“: Das Modell passt ganz in den Speicher und schafft in der Mitte der Spanne mindestens 10 Token/s; beginnt die Spanne darunter, schreiben wir „knapp flüssig“. „Eingeschränkt“: Es passt, ist aber langsamer, oder ein Teil liegt im Arbeitsspeicher. Ob die Antworten stimmen, sagt beides nicht.
  • „21,9 von 48,0 GB“: Links steht, was das Modell an Speicher braucht, rechts, was das Gerät für Modelle frei hat. Das ist weniger als eingebaut, weil ein Teil für Betriebssystem, Anzeige und Programme bleibt; wie viel, steht bei den Gerätedaten unter „Davon für Modelle nutzbar“.
  • „*“ am Tempo: Die Rechnung geht hier über ihre Messungen hinaus, der Wert ist unsicherer.
  • „Der Speicher für den Kontext ist geschätzt“: Für die Bauart dieses Modells lesen wir den Speicher für den Kontext nicht aus der Modelldatei ab, sondern schätzen ihn aus der Modellgröße.
  • Wie wir rechnen

Varianten

VarianteDateiSpeicherbedarfStartbefehl
Q3_K_M1,3 GB2,2 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q3_K_M
Q4_K_M1,6 GB2,5 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q4_K_M
Q5_K_M1,9 GB2,8 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q5_K_M
Q6_K2,2 GB3,1 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q6_K
Q8_02,8 GB3,7 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:Q8_0
F165,2 GB6,2 GBollama run hf.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF:F16

Quelle: https://huggingface.co/mradermacher/EuroMoE-2.6B-A0.6B-Instruct-2512-GGUF

Weitere Ratgeber