So rechnen wir: Speicher, Tempo und Urteil

Alle Zahlen zu Speicherbedarf und Tempo auf welche.ai sind berechnet, nicht auf dem jeweiligen Gerät gemessen. Diese Seite zeigt die Formeln, die Faktoren, die Messungen, an denen sie abgeglichen sind, und die Stellen, an denen die Rechnung an ihre Grenze kommt.

Stand der Formel: 2026-10-13.1. Die Faktoren und Schwellen unten werden aus demselben Code gelesen, mit dem die Geräte- und Modellseiten rechnen; sie können davon nicht abweichen. Ändern wir einen Faktor oder eine Schwelle, erhöhen wir diese Version. Die Speicherzuschläge für Audio- und Einbettungsmodelle weiter unten sind Messwerte je Modell, keine Konstanten der Formel; eine neue Messung dort ändert die Version nicht.

Speicherbedarf

Speicherbedarf = Gewichte + Bildprojektor (nur bei Modellen, die Bilder lesen) + KV-Cache + Laufzeitpuffer

  • Gewichte: die Dateigröße der gewählten Quantisierung, gelesen an der Quelle (Hugging Face), in Gigabyte zu 10⁹ Byte.
  • KV-Cache: die Bytes je Token leiten wir je Architektur aus dem Kopf der GGUF-Datei ab, gerechnet in f16 wie in llama.cpp voreingestellt. Schichten mit gleitendem Fenster wachsen nur bis zur Fenstergröße. Fehlen die Angaben, schätzen wir aus der Parameterzahl (25 kB je Token und Milliarde Parameter, bewusst hoch) und sagen es auf der Seite.
  • Laufzeitpuffer: 0,8 GB Grundlast plus 2 % der Gewichte. Das ist eine Annahme, nicht gemessen.
  • Kontext: Er hängt am Einsatzzweck und steht auf jeder Seite („Gerechnet mit … Token Kontext“). Eine Zahl für „Ausprobieren“ und eine für „Programmieren“ sind deshalb nicht dieselbe Rechnung.

Nutzbarer Speicher des Geräts

Ob ein Modell läuft, entscheidet der Speicher, den das Gerät dem Modell geben kann:

  • Grafikkarte mit eigenem Speicher: die Herstellerangabe minus 0,8 GB für Betriebssystem und Anzeige. Eine Karte mit 24 GB hat damit 23,2 GB nutzbar.
  • Apple Silicon: bis 36 GB Arbeitsspeicher zwei Drittel, darüber drei Viertel. macOS gibt der Grafik nur einen Teil frei; die Grenze bei 36 GB ist eine Annahme.
  • Andere Geräte mit gemeinsamem Speicher (etwa AMD Ryzen AI Max oder NVIDIA GB10): drei Viertel, sofern der Hersteller keine feste Zuteilung nennt. Auch das ist eine Annahme.
  • Nur Prozessor: der Arbeitsspeicher minus 6 GB für Betriebssystem und Anwendungen.
  • Auslagerung: Bei Geräten mit eigener Grafik rechnen wir zusätzlich den Arbeitsspeicher mit, der nach der Reserve bleibt; ein Modell, das nur so passt, gilt als „eingeschränkt“. Die Listen der einzelnen Grafikkarten rechnen ohne Auslagerung.
  • Einheit: Die Herstellerangaben (zum Beispiel „24 GB“) sind binär gemeint, 24 GB sind 24 GiB oder rund 25,8 GB. Wir rechnen sie ohne Umrechnung. Das fällt vorsichtig aus: ein Modell, das knapp passt, kann in der Praxis auf einer 24-GB-Karte laufen, obwohl wir „läuft nicht“ sagen.

Tempo

Sekunden je Token = Faktor × gelesene Gigabyte ÷ Speicherbandbreite + Boden × aktive Parameter. Tempo = 1 ÷ Sekunden je Token.

Beim Erzeugen liest das Gerät je Token alle aktiven Gewichte und den KV-Cache aus dem Speicher. Das Tempo folgt deshalb vor allem der Speicherbandbreite. Der Boden ist ein fester Zeitanteil je Token und wächst mit der Zahl der aktiven Parameter.

Gelesene Gigabyte: bei dichten Modellen die ganze Datei, bei Mixture-of-Experts nur der aktive Anteil (Datei × aktive Parameter ÷ alle Parameter), jeweils plus KV-Cache. Wir nehmen an, dass der Kontext beim Erzeugen im Mittel halb gefüllt ist.

Die Spanne um den berechneten Wert ist so breit gewählt, dass sie 90 % der Messungen des jeweiligen Abgleichs einschließt.

Faktoren für dichte Modelle

RechenschnittstelleFaktorBoden (ms je Mrd. aktive Parameter)SpanneMesspunktemittlere Abweichungabgeglichen
Apple (Metal)1,070,88±16 %794,4 %ja
NVIDIA (CUDA)1,250,12±10 %195,6 %ja
AMD (ROCm)1,020,59±27 %1612,4 %ja
Vulkan (AMD, Intel und andere)1,20,15±30 %5612,3 %ja
Prozessor1,61±50 %keine Messungennein
Apple (Metal)nur M5-Chips, eigener Boden1,070,26±16 %84,5 %ja

Faktoren für Mixture-of-Experts

RechenschnittstelleFaktorBoden (ms je Mrd. aktive Parameter)SpanneMesspunktemittlere Abweichungabgeglichen bis (Mrd. aktive Parameter)
Apple (Metal)1,781,08±19 %1013,3 %5,1
NVIDIA (CUDA)1,320,59±23 %189,3 %12
AMD (ROCm)nur Geräte mit gemeinsamem Speicher1,271,65±26 %1014,6 %12
Vulkan (AMD, Intel und andere)1,480,49±30 %2413,7 %12

Das Sternchen: Ein Tempowert trägt „*“ und den Zusatz „nicht an Messungen abgeglichen“, wenn die Rechnung über ihre Messungen hinausgeht. Das ist der Fall bei einer Schnittstelle ohne Abgleich (Prozessor), bei Mixture-of-Experts ohne eigenen Abgleich für diese Schnittstelle oder mit mehr aktiven Parametern als gemessen, bei dichten Modellen über 27,32 Mrd. Parametern, bei Qwen3.5 und Qwen3.6 und ihren Nachtrainings als Mixture-of-Experts auf NVIDIA-Karten, bei den Apple-Chips M5 Ultra und M6 (kein eigener Messpunkt), bei Grafikkarten vor 2020, bei Notebook-Grafik (die Hersteller begrenzen die Leistung unterschiedlich) und bei Auslagerung.

Das Urteil: läuft gut, eingeschränkt, läuft nicht

  • Läuft gut: das Modell liegt ganz im Speicher des Beschleunigers, und die Mitte der Spanne liegt bei mindestens 10 Token pro Sekunde. Beginnt die Spanne darunter, heißt es im Satz oben „knapp flüssig“.
  • Eingeschränkt: das Modell passt, aber die Mitte liegt unter 10 Token pro Sekunde, oder ein Teil liegt im Arbeitsspeicher. Im zweiten Fall kann das Tempo hoch bleiben, es gilt trotzdem als eingeschränkt; der Satz auf der Geräteseite nennt es dann.
  • Läuft nicht: das Modell braucht mehr Speicher, als das Gerät auch mit Auslagerung hergibt, oder die Obergrenze der Spanne liegt unter 2 Token pro Sekunde, oder das Modell verarbeitet den Kontext des Einsatzzwecks gar nicht.

Die Messungen dahinter

Der Abgleich beruht auf 178 Messpunkten für dichte Modelle und 62 für Mixture-of-Experts, entnommen aus veröffentlichten Messreihen und unseren eigenen. Gemessen wurde mit llama.cpp bei leerem Kontext.

175 der 178 dichten Punkte sind dasselbe Modell, Llama 2 7B (6,74 Mrd. Parameter), das Bezugsmodell der veröffentlichten Messreihen.

Quellen der dichten Messpunkte

  • https://github.com/ggml-org/llama.cpp/discussions/4167 (Apple Silicon, Stand 2026-08-31; Bandbreite laut Tabelle)
  • https://github.com/ggml-org/llama.cpp/discussions/15013 (CUDA-Scoreboard, Stand 2026-09-16)
  • https://github.com/ggml-org/llama.cpp/discussions/15021 (ROCm-Scoreboard, Stand 2026-09-13)
  • https://github.com/ggml-org/llama.cpp/discussions/10879 (Vulkan-Scoreboard, Stand 2026-09-15)
  • übernommene Angabe: Speicherbandbreite der Grafikkarten aus dbgpu 2025.12 (https://github.com/painebenjamin/dbgpu, MIT-Lizenz, Daten aus der TechPowerUp GPU Database)
  • Eigene Messung, 2026-09-19: AMD Radeon AI PRO R9700, Qwen3.8-27B Q4_K_M, Q5_K_M und Q6_K, llama-bench b10666 ohne MTP, -dev Vulkan0 -ngl 999 -p 512 -n 128 -r 5, Mesa 25.2.8, Karte allein; am Rohprotokoll gegengeprüft
  • Eigene Messreihe, 2026-09-22: AMD Radeon AI PRO R9700, llama-bench b10666 (4e97ac86e), Vulkan RADV, Mesa 25.2.8, -p 512 -n 128 -r 5, ohne spekulatives Dekodieren, Grafikspeicher und GTT mitgeschrieben (GTT-Zuwachs 4 bis 17 MiB, also kein Auslagern). 88 Messungen, die sechs Llama-2-7B-Stufen am 2026-09-23 am Rohprotokoll gegengeprüft. Dateigrößen aus llama-bench (GB, dezimal).

Quellen der Mixture-of-Experts-Punkte

Grenzen der Rechnung

  • Das Tempo Ihres Geräts ist gerechnet, nicht gemessen: die Messpunkte stammen von wenigen Geräten. Die Spanne gilt für den Abgleich, nicht für Ihr Gerät; Software-Version, Einstellungen und Kühlung verschieben es.
  • Wir rechnen das Erzeugungstempo. Die Zeit bis zum ersten Token, also das Verarbeiten des Eingabetextes, rechnen wir nicht.
  • Die Formel kennt keinen Term für die Quantisierung. An der einzigen Karte mit mehreren gemessenen Stufen rechnet sie höhere Stufen zu langsam.
  • Der Abgleich für dichte Modelle stützt sich fast ganz auf ein kleines Modell. Für Modelle über 27,32 Mrd. Parametern setzen wir das Sternchen.
  • Bei Notebooks mit eigener Grafik gibt es keinen Abgleich; die Rechnung nutzt die Speicherbandbreite des Chips.
  • Bei AMD Ryzen AI Max (Strix Halo) trifft die Mitte der Spanne bei dichten Modellen die veröffentlichten Messungen gut. Die Obergrenze ist dort zu hoch: sie stammt aus Messungen an Grafikkarten und kann bei großen Quantisierungsstufen über dem liegen, was die Speicherbandbreite je Token hergibt.
  • Der Abgleich für Mixture-of-Experts trifft nicht jede Modellfamilie gleich gut. Qwen3.5 und Qwen3.6 und ihre Nachtrainings (Architektur „qwen35moe“) rechnet er schon an den gemessenen Geräten bei Q4 deutlich zu schnell; eine veröffentlichte Messung einer NVIDIA GeForce RTX 5090 liegt unter unserer Spanne. Bei Q8_0 trifft die Rechnung dieselben Modelle auf AMD Ryzen AI Max gut; mit so wenigen Messungen lässt sich das nicht in die Formel aufnehmen. Diese Modelle tragen auf NVIDIA-Karten deshalb das Sternchen.
  • Der Apple-Abgleich beruht auf Messungen an M1 bis M5. Die M5-Generation braucht je Token deutlich weniger feste Zeit als ihre Vorgänger und hat deshalb einen eigenen Boden (Tabelle oben). Für den M5 Ultra gibt es keinen eigenen Messpunkt: er rechnet mit dem Boden der M5-Generation und trägt das Sternchen. Ebenso der M6: er rechnet mit dem Boden der älteren Chips und trägt das Sternchen, bis es Messungen gibt.
  • Wie gut ein Modell antwortet, sagen wir nicht. Eignungen für einen Einsatzzweck stammen aus den Angaben der Anbieter und stehen mit Zitat daneben, sie sind kein Urteil von uns.
  • Den Stromverbrauch rechnen wir nicht: Die Leistungsaufnahme führen wir für kein Gerät, und gemessen haben wir sie nicht.
  • Einplatinenrechner wie den Raspberry Pi und Notebooks mit Snapdragon-Prozessor führen wir nicht, und für sie gilt auch der Rechner mit eigenen Angaben nicht; er gibt zwar eine Zahl aus, die wäre aber geraten. Von den Rechnern mit ARM-Prozessor führen wir nur Macs mit Apple-Chip und Geräte mit NVIDIA-Chip wie den DGX Spark.
  • Intel-Macs führen wir nicht als Geräte. Ollama rechnet auf ihnen laut Hersteller nur mit dem Prozessor (ab macOS 14), LM Studio läuft dort nicht. Mit eigenen Angaben rechnen Sie einen solchen Mac wie einen Rechner ohne Grafikkarte: Arbeitsspeicher, Speicherart und Zahl der Module.

Audiomodelle

Bei Spracherkennung und Sprachausgabe rechnen wir nur den Speicher, kein Tempo: die Datei der Stufe plus einen Zuschlag für das, was das Programm beim Laufen zusätzlich belegt.

Den Zuschlag haben wir am 17. Oktober 2026 selbst gemessen, auf einer AMD Radeon AI PRO R9700 (Vulkan) und einem Ryzen 7 7700X, jeweils mit dem Startbefehl der Modellseite: die Spitze des Grafik- bzw. Arbeitsspeichers über der Grundlast, abzüglich der Dateien. Spracherkennung mit einer deutschen Aufnahme von knapp 9 Minuten, Sprachausgabe mit einem deutschen Satz.

Wir nehmen je Modell den größeren Wert aus Grafikkarte und Prozessor und dieselbe Zahl für alle Stufen. Eine längere Aufnahme oder ein längerer Text kann mehr brauchen; bei Parakeet lag die Spitze auf der Grafikkarte bei 7,7 GB, deutlich über der Datei von 0,7 GB, und warum, haben wir nicht untersucht.

Embedding-Modelle

Bei Embedding-Modellen rechnen wir nur den Speicher: die Datei der Stufe plus einen Zuschlag für das, was llama-server beim Einbetten zusätzlich belegt.

Den Zuschlag haben wir am 19. Oktober 2026 selbst gemessen, auf einem Apple M5 Pro (Metal) mit llama.cpp Build 11723 und genau dem Startbefehl der Modellseite: --embedding, Kontext und Stapelgröße 8.192 Token, je ein deutscher Text von gut 6.000 bis 7.000 Token. Gezählt ist, was llama.cpp selbst für Modell, Kontextspeicher und Rechenpuffer belegt, abzüglich der Datei.

Gemessen ist je Modell die Standardstufe; für die übrigen Stufen nehmen wir denselben Zuschlag an. Mit kleinerem Kontext sinkt der Bedarf, das haben wir nicht gemessen. Bild, Video und Audio rechnen wir nicht: der Startbefehl lädt den Projektor dafür nicht.

Wie sich welche.ai finanziert

welche.ai ist ein Projekt der Minoka GbR und kostet Sie nichts. Es finanziert sich auf zwei Wegen.

Partnerlinks: Auf Geräte- und Grafikkartenseiten stehen Angebote von Händlern, gekennzeichnet als „Partnerlink“. Kaufen Sie nach einem Klick, erhalten wir eine Provision über Awin oder eBay. Ihr Preis bleibt gleich.

Beratung: Minoka berät Unternehmen bei lokaler KI. Wo es um geschäftliche Daten geht, weisen wir darauf hin.

Beides beeinflusst die Rechnung nicht. Ob und wie schnell ein Modell auf einem Gerät läuft, ergibt sich aus Speicher und Formel auf dieser Seite, und die Einstufung eines Geräts hängt nicht davon ab, ob es ein Angebot gibt. Nur die Preisabschnitte auf den Seiten je Einsatzzweck („Was Ihr Budget schafft“, „Geräte nach Preis“) zählen Geräte mit aktuellem Händlerpreis, weil sich ohne Preis keine Preisgrenze ziehen lässt.

Fehler melden

Stimmt eine Zahl nicht, schreiben Sie uns bitte über das Kontaktformular, am besten mit Gerät, Modell und Ihrer Messung. Preise stammen von den Händlern und tragen auf der Geräteseite ihr eigenes Datum.

Zum Kontaktformular