Lokale KI zum Auswerten von Dokumenten

Ein ganzer Vertrag oder Bericht braucht viel Kontext und damit viel Speicher. Hier stehen die Modelle und Geräte, die das tragen.

Gerechnet mit 32.768 Token Kontext, der Annahme für diesen Einsatzzweck. Speicherbedarf und Tempo sind berechnet und an veröffentlichten und eigenen Messungen abgeglichen, nicht auf jedem Gerät gemessen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Modelle, die der Anbieter dafür nennt

Nur Modelle, deren Modellkarte diesen Zweck ausdrücklich nennt. Das Zitat steht daneben, mit Quelle und Lesedatum; es ist eine Selbstaussage des Anbieters, kein Urteil von uns.

  • Laut Anbieter geeignet

    LFM2.5-VL 1.6B

    Liquid AI

    „We recommend using it for general vision-language workloads, OCR or document comprehension.“

    Quelle: huggingface.co, gelesen am 29. September 2026

    Läuft flüssig auf 883 von 891 Geräten bei 32.768 Token Kontext · ab 4 GB Speicher

  • Laut Anbieter geeignet

    LFM3-VL-2B

    LiquidAI

    „LFM3-VL-2B is designed for on-device visual tasks: questions about video, reading documents, charts, and app screens, finding objects in an image, and spatial reasoning for robots.“

    Quelle: huggingface.co, gelesen am 6. November 2026

    Läuft flüssig auf 873 von 891 Geräten bei 32.768 Token Kontext · ab 6 GB Speicher

  • Laut Anbieter geeignet

    Qwen3 4B Instruct 2507

    Alibaba (Qwen)

    „256K long-context understanding“

    Quelle: huggingface.co, gelesen am 8. November 2026

    Läuft flüssig auf 615 von 891 Geräten bei 32.768 Token Kontext · ab 12 GB Speicher

  • Laut Anbieter geeignet

    LensVLM-9B

    apple

    Nur für Forschungszwecke: Die Lizenz (Apple Machine Learning Research Model License) schließt den geschäftlichen Einsatz aus.

    „LensVLM is a 9B Vision Language Model (VLM) that scans compressed images of text, then selectively expands only the relevant pages to their uncompressed form via learned tools.“

    Quelle: huggingface.co, gelesen am 6. Oktober 2026

    Läuft flüssig auf 573 von 891 Geräten bei 32.768 Token Kontext · ab 12 GB Speicher

  • Laut Anbieter geeignet

    Gemma 4 12B

    Google

    „Image Understanding – Object detection, Document/PDF parsing, screen and UI understanding, chart comprehension, OCR (including multilingual), handwriting recognition, and pointing.“

    Quelle: huggingface.co, gelesen am 29. September 2026

    Läuft flüssig auf 517 von 891 Geräten bei 32.768 Token Kontext · ab 12 GB Speicher

  • Laut Anbieter geeignet

    Granite 4.2 8B

    IBM

    „512K Context Window: Supports long documents, multi-turn conversations, and complex agentic workflows.“

    Quelle: huggingface.co, gelesen am 12. Oktober 2026

    Läuft flüssig auf 409 von 891 Geräten bei 32.768 Token Kontext · ab 16 GB Speicher

  • Laut Anbieter geeignet

    Diplodocus preview

    Osaurus

    „the Osaurus assistant for finance, documents, spreadsheets and tool-assisted work, built on IFM/K2-Horizon-7B and trained on Osaurus' own workspace tools“

    Quelle: huggingface.co, gelesen am 7. November 2026

    Läuft flüssig auf 390 von 891 Geräten bei 32.768 Token Kontext · ab 16 GB Speicher

  • Laut Anbieter geeignet

    Gemma 4 26B A4B

    Google

    „Image Understanding – Object detection, Document/PDF parsing, screen and UI understanding, chart comprehension, OCR (including multilingual), handwriting recognition, and pointing.“

    Quelle: huggingface.co, gelesen am 29. September 2026

    Läuft flüssig auf 341 von 891 Geräten bei 32.768 Token Kontext · ab 24 GB Speicher

  • Laut Anbieter geeignet

    Thomson-1.0-Small

    thomsonreuters

    Nur für nicht-kommerzielle Zwecke: Die Lizenz (eigene Lizenz des Anbieters) schließt den geschäftlichen Einsatz aus.

    „developed within a Continual Learning paradigm with a deliberate focus on economically impactful, high-stakes professional work across legal, tax, and journalism domains“

    Quelle: huggingface.co, gelesen am 28. September 2026

    Läuft flüssig auf 236 von 891 Geräten bei 32.768 Token Kontext · ab 32 GB Speicher

  • Laut Anbieter geeignet

    Gemma 4 31B

    Google

    „Image Understanding – Object detection, Document/PDF parsing, screen and UI understanding, chart comprehension, OCR (including multilingual), handwriting recognition, and pointing.“

    Quelle: huggingface.co, gelesen am 29. September 2026

    Läuft flüssig auf 161 von 891 Geräten bei 32.768 Token Kontext · ab 48 GB Speicher

  • Laut Anbieter geeignet

    Apodex 1.1 mini

    Apodex

    „It can clean data, select methods, run analyses, inspect intermediate results, recover from errors, and turn raw inputs into verifiable deliverables within one continuous task.“

    Quelle: huggingface.co, gelesen am 2. Oktober 2026

    Läuft flüssig auf 236 von 891 Geräten bei 32.768 Token Kontext · ab 32 GB Speicher

  • Laut Anbieter geeignet

    Granite 4.2 30B

    IBM

    „512K Context Window: Supports long documents, multi-turn conversations, and complex agentic workflows.“

    Quelle: huggingface.co, gelesen am 11. Oktober 2026

    Läuft flüssig auf 113 von 891 Geräten bei 32.768 Token Kontext · ab 48 GB Speicher

  • Laut Anbieter geeignet

    Ling-3.0-flash-VL

    inclusionAI

    „The model has 124B total parameters, with only 5.5B parameters activated per token, and supports a context window of up to 256K tokens.“

    Quelle: huggingface.co, gelesen am 28. September 2026

    Läuft flüssig auf 69 von 891 Geräten bei 32.768 Token Kontext · ab 128 GB Speicher

Alle Modelle für diesen Einsatzzweck

Zuerst die vom Anbieter für den Zweck genannten Modelle. Dann alle anderen: zuerst die, die auf mindestens einem Gerät flüssig laufen, die größten oben; am Ende die, die auf keinem Gerät flüssig laufen. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Größe ist dabei kein Urteil über die Eignung für den Zweck. „Ab Speicher“ ist der kleinste Arbeits- bzw. Grafikspeicher, auf dem das Modell flüssig läuft.

Was Ihr Budget schafft

Je Preisgrenze das größte Modell, das bei 32.768 Token Kontext flüssig läuft, und das günstigste Gerät dafür. Vorrang hat ein Modell, das laut Anbieter für diesen Zweck gebaut ist; sonst zählt nur die Größe, kein Urteil über die Eignung für den Zweck. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Gezählt sind nur Geräte, für die ein Händler gerade einen Preis meldet. Die Preise stammen aus den Produktdaten der Händler; auf den Geräteseiten stehen die Angebote als Partnerlinks. Kaufen Sie über einen davon, erhalten wir eine Provision. Der Preis für Sie bleibt gleich, und die Einstufungen hängen nicht davon ab.

In der Liste darunter grenzen „Preis“ und „Gerätetyp“ die Geräte ein; die Spalte „Stationär“ fasst Mini-PC, Schreibtischrechner und Arbeitsstation zusammen.

Geräte nach Preis

Geräte mit aktuellem Angebot aus den Händler-Feeds, günstigstes zuerst, mit dem größten Modell, das darauf flüssig läuft. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Die Angebote selbst stehen als Partnerlinks auf der Geräteseite; kaufen Sie über einen davon, erhalten wir eine Provision, die Einstufung hängt nicht davon ab.

Mehr zu diesem Einsatzzweck

Wer einen Vertrag, einen Prüfbericht oder ein Protokoll auswerten lassen will, braucht ein Modell, das das ganze Dokument auf einmal im Blick behält. Der Platz dafür heißt Kontext, und er ist der Grund, warum diese Seite andere Ergebnisse zeigt als die Seite zum Ausprobieren: Der Kontext belegt Speicher, und je länger er ist, desto weniger bleibt für das Modell selbst.

An knappen Grenzen kippt das. Ein Modell, das auf Ihrem Gerät zum Ausprobieren flüssig läuft, kann hier am Speicher scheitern, obwohl sich am Modell nichts geändert hat. Die Tabellen oben zeigen deshalb alle Modelle mit dem Speicherbedarf und der Gerätezahl für genau diesen Kontext und die Geräte mit aktuellem Angebot, nach Preis sortiert. Wie der Bedarf mit dem Kontext wächst und was die Stufen hinter einem Modellnamen bedeuten, erklärt der Ratgeber Lokale KI-Modelle.

Zwei Dinge gehören dazu. Ollama wählt den Kontext von sich aus nach dem Speicher, nicht nach Ihrem Dokument; auf der Seite Ihres Geräts steht deshalb unter diesem Anwendungsfall neben dem Startbefehl, wie Sie ihn nach dem Start passend setzen. Und was über den Kontext hinausgeht, sieht das Modell nicht. Wenn Sie nicht wissen, wie viel Speicher Ihr Gerät hat, hilft die Anleitung Welches Gerät habe ich?