Lokale KI zum Ausprobieren

Zum Ausprobieren reicht wenig Kontext, deshalb laufen hier die meisten Modelle flüssig. Unten sehen Sie, was auf welchem Gerät läuft und was ein passendes Gerät kostet.

Gerechnet mit 4.096 Token Kontext, der Annahme für diesen Einsatzzweck. Speicherbedarf und Tempo sind berechnet und an veröffentlichten und eigenen Messungen abgeglichen, nicht auf jedem Gerät gemessen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Alle Modelle für diesen Einsatzzweck

Für diesen Einsatzzweck nennt keine Modellkarte in unserem Katalog den Zweck ausdrücklich. Die Tabelle ordnet deshalb nur nach Größe: zuerst die größten Modelle, die auf mindestens einem Gerät flüssig laufen. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Größe ist kein Urteil über die Eignung; wie gut ein Modell den Zweck erfüllt, beurteilen wir nicht.

Was Ihr Budget schafft

Je Preisgrenze das größte Modell, das bei 4.096 Token Kontext flüssig läuft, und das günstigste Gerät dafür. Vorrang hat ein Modell, das laut Anbieter für diesen Zweck gebaut ist; sonst zählt nur die Größe, kein Urteil über die Eignung für den Zweck. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Gezählt sind nur Geräte, für die ein Händler gerade einen Preis meldet. Die Preise stammen aus den Produktdaten der Händler; auf den Geräteseiten stehen die Angebote als Partnerlinks. Kaufen Sie über einen davon, erhalten wir eine Provision. Der Preis für Sie bleibt gleich, und die Einstufungen hängen nicht davon ab.

In der Liste darunter grenzen „Preis“ und „Gerätetyp“ die Geräte ein; die Spalte „Stationär“ fasst Mini-PC, Schreibtischrechner und Arbeitsstation zusammen.

Geräte nach Preis

Geräte mit aktuellem Angebot aus den Händler-Feeds, günstigstes zuerst, mit dem größten Modell, das darauf flüssig läuft. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Die Angebote selbst stehen als Partnerlinks auf der Geräteseite; kaufen Sie über einen davon, erhalten wir eine Provision, die Einstufung hängt nicht davon ab.

Mehr zu diesem Einsatzzweck

Sie möchten sehen, was ein Sprachmodell auf Ihrem eigenen Rechner kann: ohne Anmeldung, ohne Abo, und solange das Modell dort läuft, ohne dass Ihre Eingaben an einen Anbieter gehen. Zum Ausprobieren reicht ein kurzer Kontext: eine Frage, eine Antwort, ein paar Rückfragen. Deshalb laufen hier mehr Modelle flüssig als bei jedem anderen Zweck, und deshalb ist diese Seite der richtige Einstieg, auch wenn Sie später Dokumente auswerten oder programmieren wollen.

Der Weg ist kurz: ein Programm installieren, ein Modell laden, schreiben. Auf Mac und Windows geht das ohne Befehlszeile; wie, zeigt Schritt für Schritt der Ratgeber KI lokal betreiben, und welches der beiden gängigen Programme zu Ihnen passt, der Ratgeber Ollama oder LM Studio. Wenn Sie nicht wissen, welches Gerät Sie haben oder wie viel Speicher darin steckt, hilft die Anleitung Welches Gerät habe ich?

Die Tabellen oben zeigen alle Modelle mit der Zahl der Geräte, auf denen sie flüssig laufen, und die Geräte mit aktuellem Angebot, nach Preis sortiert. Fangen Sie mit einem Modell an, das auf der Seite Ihres Geräts als „Läuft gut“ steht und Speicher übrig lässt, nicht mit dem größten, das gerade noch hineinpasst; auch das steht dort als „Läuft gut“. Ein knapp passendes Modell zeigt Ihnen zuerst die Grenzen Ihres Rechners, nicht die Fähigkeiten des Modells.