Lokale KI für Kundendaten und interne Unterlagen

Kundendaten und Personalakten sollen das Haus nicht verlassen. Hier stehen die Modelle und Geräte, mit denen Sie solche Unterlagen lokal auswerten.

Gerechnet mit 32.768 Token Kontext, der Annahme für diesen Einsatzzweck. Speicherbedarf und Tempo sind berechnet und an veröffentlichten und eigenen Messungen abgeglichen, nicht auf jedem Gerät gemessen. Ausgenommen sind die mit * markierten Werte: sie sind nicht abgeglichen und deshalb unsicher.

Alle Modelle für diesen Einsatzzweck

Für diesen Einsatzzweck nennt keine Modellkarte in unserem Katalog den Zweck ausdrücklich. Die Tabelle ordnet deshalb nur nach Größe: zuerst die größten Modelle, die auf mindestens einem Gerät flüssig laufen. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Größe ist kein Urteil über die Eignung; wie gut ein Modell den Zweck erfüllt, beurteilen wir nicht.

Was Ihr Budget schafft

Je Preisgrenze das größte Modell, das bei 32.768 Token Kontext flüssig läuft, und das günstigste Gerät dafür. Vorrang hat ein Modell, das laut Anbieter für diesen Zweck gebaut ist; sonst zählt nur die Größe, kein Urteil über die Eignung für den Zweck. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Gezählt sind nur Geräte, für die ein Händler gerade einen Preis meldet. Die Preise stammen aus den Produktdaten der Händler; auf den Geräteseiten stehen die Angebote als Partnerlinks. Kaufen Sie über einen davon, erhalten wir eine Provision. Der Preis für Sie bleibt gleich, und die Einstufungen hängen nicht davon ab.

In der Liste darunter grenzen „Preis“ und „Gerätetyp“ die Geräte ein; die Spalte „Stationär“ fasst Mini-PC, Schreibtischrechner und Arbeitsstation zusammen.

Geräte nach Preis

Geräte mit aktuellem Angebot aus den Händler-Feeds, günstigstes zuerst, mit dem größten Modell, das darauf flüssig läuft. Größe heißt hier: Zahl der Parameter, bei Mixture-of-Experts-Modellen ein Mittel aus allen und den aktiven Parametern. Die Angebote selbst stehen als Partnerlinks auf der Geräteseite; kaufen Sie über einen davon, erhalten wir eine Provision, die Einstufung hängt nicht davon ab.

Mehr zu diesem Einsatzzweck

Kundendaten, Personalakten, Konstruktionsunterlagen: Es gibt Dokumente, die das Haus nicht verlassen dürfen, auch nicht für eine Zusammenfassung. Genau dafür ist lokale KI gemacht. Das Modell liegt auf Ihrem Gerät, die Rechenarbeit findet dort statt, und Ihre Eingabe geht an keinen Anbieter, solange das Programm nicht auf ein Modell in der Cloud ausweicht. Lokal heißt außerdem nicht von selbst telemetriefrei: Was das Programm um das Modell herum an seinen Hersteller meldet, ist eine eigene Frage, und der Ratgeber DSGVO-konforme KI beantwortet sie mit Zitaten aus den Datenschutzerklärungen der Anbieter.

Technisch rechnet diese Seite wie beim Auswerten von Dokumenten mit einem langen Kontext, weil eine Akte selten kurz ist; die Tabellen oben zeigen alle Modelle mit Speicherbedarf und Gerätezahl für diesen Kontext und die Geräte mit aktuellem Angebot, nach Preis sortiert.

Zur Technik kommen ab dem ersten Kundendatensatz Fragen, die keine Technikfragen sind: auf welcher Rechtsgrundlage verarbeitet wird, wer zugreifen darf, was dokumentiert wird, und was gilt, sobald mehrere Personen denselben Rechner nutzen. Den letzten Punkt behandelt der Ratgeber KI selbst hosten; für die übrigen gibt es die KI-Governance-Beratung von Minoka, und ein Erstgespräch fragen Sie unten auf dieser Seite an.