Hardware für lokale KI: Laptops, Macs, Mini-PCs

Ob ein KI-Modell auf einem Gerät läuft, entscheidet zuerst der Speicher, und zwar der Teil, den der Grafikchip zum Rechnen nutzen kann. Das Modell muss dort vollständig hineinpassen. Sonst lagert das Programm bei einer eigenen Grafikkarte einen Teil in den gewöhnlichen Arbeitsspeicher aus und läuft nur eingeschränkt; bei gemeinsamem Speicher läuft es in unserer Rechnung gar nicht. Erst danach entscheidet der Chip, wie schnell die Antworten kommen. Ein älteres Gerät mit viel Speicher trägt deshalb oft größere Modelle als ein neues mit wenig.

Wie viel davon nutzbar ist, hängt von der Bauart ab. Laptops mit eigener Grafikkarte von NVIDIA haben einen getrennten Grafikspeicher, meist 8 bis 24 GB; davon rechnen wir 0,8 GB für das System ab. In Macs mit Apple-Chip, Geräten mit AMD Ryzen AI Max und Rechnern mit NVIDIA GB10 teilen sich Prozessor und Grafik den Speicher. Für ein Modell rechnen wir davon bei Macs bis 36 GB mit zwei Dritteln, darüber mit drei Vierteln, bei den übrigen mit drei Vierteln. Ein Mac mit 16 GB stellt so rund 10,7 GB bereit, einer mit 128 GB 96 GB. Gemeinsamer Speicher ist meist langsamer angebunden als der Grafikspeicher schneller Grafikkarten, dafür aber in Größen zu haben, die keine Grafikkarte für Laptops erreicht.

Die Spalte „Stärkstes flüssiges Modell“ nennt das leistungsfähigste allgemeine Modell, das auf dem Gerät flüssig läuft; die Stärke schätzen wir nach der Zahl der Parameter. Bei Modellen der Bauart Mixture of Experts, die je Textstück nur einen Teil ihrer Parameter rechnen, nehmen wir dafür das geometrische Mittel aus Gesamt- und aktiven Parametern: gpt-oss 120B zählt so wie ein Modell mit rund 24 Milliarden. Deshalb steht dort nicht immer das größte Modell, das flüssig läuft. Flüssig heißt bei uns: Das Modell liegt ganz in dem Speicher, den der Grafikchip nutzen kann, und erzeugt im Mittel mindestens 10 Token je Sekunde, gerechnet für kurzes Ausprobieren mit 4.096 Token Kontext. Wer lange Dokumente auswerten oder programmieren will, braucht deutlich mehr Kontext und damit mehr Speicher; was dann noch läuft, zeigen die Seiten zu den Einsatzzwecken, etwa Dokumente auswerten und Programmieren.

Wenn Sie nicht genau wissen, welches Gerät Sie haben und wie viel Speicher es hat, hilft die Anleitung Welches Gerät habe ich?