Offene KI-Modelle: Speicher und Hardware

Diese Übersicht führt offene Sprachmodelle, deren Gewichte Sie herunterladen und auf eigener Hardware betreiben können, dazu weiter unten die Bildmodelle. Jedes Sprachmodell haben wir gegen 751 Geräte gerechnet: Die letzte Spalte sagt, auf wie vielen davon es flüssig läuft, also ganz in dem Speicher, den der Grafikchip nutzen kann, und im Mittel mit mindestens 10 Token je Sekunde beim kurzen Ausprobieren.

Der Speicherbedarf gilt für die verbreitete Variante eines Modells, meist die Stufe Q4_K_M, bei der die Gewichte auf knapp fünf Bit je Gewicht verdichtet sind, und für 4.096 Token Kontext. Mehr Kontext braucht mehr Speicher. Bei Modellen der Bauart Mixture of Experts stehen zwei Parameterzahlen: die gesamte, die den Speicherbedarf bestimmt, und die aktive, die je Textstück gerechnet wird und das Tempo bestimmt. Ein solches Modell braucht also viel Speicher, antwortet aber schneller als ein gleich großes dichtes Modell.

Offen heißt nicht frei von Bedingungen. Unter welcher Lizenz ein Sprachmodell steht, zeigt die Seite des Modells; Apache 2.0 und MIT erlauben den gewerblichen Einsatz und verlangen im Wesentlichen, dass Lizenztext und Urhebervermerk beim Weitergeben mitgehen. Eigene Lizenzen der Anbieter setzen oft weitere Bedingungen. Was die Unterschiede für Unternehmen bedeuten, erklärt der Ratgeber Open Source KI. Der Filter „Deutsch“ zeigt die Modelle, deren Modellkarte Deutsch ausdrücklich nennt. Bei den übrigen fehlt diese Angabe des Anbieters; das heißt nicht, dass sie kein Deutsch verstehen.

Welche Modellgröße wofür reicht, ordnet der Ratgeber Lokale KI-Modelle ein.