KI & Automatisierung · Werkstattbericht
Lokal ist angekommen: Sprachmodelle im eigenen Serverraum sind produktionsreif
Als wir zum ersten Mal über intelligente Workflows geschrieben haben, war „lokal" eine Option mit Abstrichen. Drei Monate Messreihen später ist es die Referenz. Was sich geändert hat – und was wir dabei über kleine Modelle gelernt haben.
Der Umschwung
Was sich geändert hat: das Modell passt in ein Gerät in Buchgröße
Im ersten Bericht war die höchste Schutzstufe – das Modell im eigenen Haus – ehrlich formuliert: machbar, aber mit Vorbehalt. Modelle, die in einen Serverraum passten, lasen Belege spürbar schlechter als das, was eine API liefern konnte. Wer Datensouveränität wollte, bezahlte mit Nacharbeit.
Das hat sich innerhalb weniger Monate umgekehrt, weil zwei Entwicklungen zusammengekommen sind. Offene Modelle mit 20 bis 30 Milliarden Parametern haben bei klar umrissenen Aufgaben einen Qualitätssprung gemacht. Und es gibt inzwischen kompakte Inferenz-Rechner mit großem, gemeinsam genutztem Speicher, die genau diese Modellklasse tragen – ein Gerät in der Größe eines dicken Buches, das zwei oder drei Modelle gleichzeitig vorhält. Kein Rack, keine Klimatisierung.
Auf so einem Gerät läuft heute unsere Belegprüfung – Auftragsbestätigungen, Bestellungen, Rechnungen aus Dutzenden Lieferanten-Layouts – vollständig lokal. Und sie liest dort auf Augenhöhe mit dem besten Cloud-Modell, das wir als Referenz führen; ein mittleres Cloud-Modell eines großen Anbieters hat die lokale Kette im direkten Vergleich hinter sich gelassen.
Ein Wort zur Ehrlichkeit: „Plug and Play" ist es nicht. Neue Modellarchitekturen brauchen manchmal Wochen, bis die offenen Inferenz-Engines sie sauber laden. Wer das betreibt, braucht jemanden, der das kann – oder einen Partner, der es übernimmt. Das ist Betriebsaufwand, kein Grund, es nicht zu tun.
Modellwahl
Größer ist nicht besser
Die überraschendste Erkenntnis unserer Messreihen: Ein sorgfältig gewähltes Modell mit 24 Milliarden Parametern hat in der Belegprüfung Modelle mit 70 und mehr als 400 Milliarden Parametern geschlagen. Gemessen ist das an einem festen Testsatz aus mehreren Dutzend echten, anonymisierten Belegen – mehrere Belegarten von Lieferanten und Kunden, über 40 unterschiedliche Layouts –, dessen richtige Werte von Hand geprüft sind; gegen ihn läuft jede Modellvariante Feld für Feld. Die Größe ist nicht der Hebel. Der Hebel ist, ob das Modell für genau diese Aufgabe – strukturierte Felder aus einem unordentlichen Dokument ziehen – diszipliniert genug ist.
Zwei weitere Befunde aus derselben Testreihe: Komprimierte („quantisierte") Modelle verlieren bei Textaufgaben bis zu einer klaren Grenze nichts, bei Bildverständnis hilft Komprimierung dagegen nur dem Speicher, nicht der Qualität. Und beim Umwandeln gescannter Belege haben allgemeine Bild-Sprach-Modelle die spezialisierten OCR-Modelle geschlagen – die Spezialisten erkennen Buchstaben, verstehen aber nicht, dass eine Tabelle eine Tabelle ist.
Der eigentliche Sieger war am Ende gar kein einzelnes Modell, sondern eine geschickte Kombination: ein kompaktes Modell mit Bildverständnis liest die Seite, ein reines Textmodell zieht daraus die Felder. Diese Paarung zweier spezialisierter Modelle schlug jedes Universalmodell, das beides allein stemmen sollte – warum das so ist, zeigt der nächste Abschnitt.
Architektur
Eine Aufgabe, drei Rollen
Wir haben gelernt, dass ein Modellaufruf für „lies diesen Beleg" zu viel auf einmal verlangt. Die heutige Kette verteilt die Arbeit auf drei Rollen, jede mit eigenem Prüf-Gate dahinter.
Beleg-Kette, vollständig lokal
Der Türsteher entscheidet, ob eine E-Mail überhaupt ein Beleg ist – eine echte Lücke, denn kein Extraktionsmodell hat von sich aus Werbung abgelehnt; es hat aus allem etwas extrahiert. Der Wandler macht aus Bild oder Scan eine strukturierte Seite, der Extraktor zieht daraus die Felder. Zwei Modelle, die je eine Sache gut können, schlagen eines, das alles gleichzeitig soll – wobei die neueste 24-Milliarden-Generation den Direktweg Bild → Felder inzwischen fast gleichwertig beherrscht. Wir führen beide Wege, und das hat einen Grund.
Qualitätssicherung
Woher das Vertrauen kommt
Konfidenz. Lokale Modelle haben einen Vorteil, den eine API selten bietet: Man kann ihnen beim Rechnen zusehen. Aus den internen Wahrscheinlichkeiten lässt sich ablesen, wie sicher ein Modell war. Wir haben diese Werte gegen echte Fehler kalibriert – oberhalb einer Schwelle läuft der Beleg durch, darunter prüft ein Mensch.
Evidenz. Jeder extrahierte Wert wird rückwärts im Originaldokument gesucht. Eine Bestellnummer, die nirgends im Beleg steht, ist ein Halluzinationsverdacht – egal, wie sicher das Modell klingt. Dabei gilt: Formatprüfung vor Evidenzprüfung, denn Evidenz belegt nur, dass etwas vorkommt, nicht, dass es das Richtige ist.
Vier Augen. Beide Wege – Kette und Direktweg – lesen unabhängig, und die Ergebnisse werden Feld für Feld verglichen. Weichen sie ab, entscheidet ein drittes Modell mit Zitatnachweis, bei Restzweifel der Mensch mit einer Notiz, warum. Der größte Teil der Belege wird so maschinell aufgelöst; beim Rest weiß der Sachbearbeiter genau, welches Feld er ansehen muss.
Die Referenz, gegen die wir messen, hat selbst Fehler. Im Vier-Augen-Vergleich war mehrmals das lokale Modell im Recht – und die freigegebene Vorlage falsch.
Werkstattbericht
Drei neue Lehren
Messen
Vier Belege reichen nicht, dreißig schon eher.
Die Feinauswahl lief auf wenigen, handverifizierten Belegen. Die Entscheidung fiel erst im Breittest mit Dutzenden echter Mails – dort zeigten sich Fehlerarten, die der kleine Satz nie hervorgebracht hätte.
Denken
Reasoning abschalten – oder auf Minimum.
Modelle, die vor der Antwort „nachdenken", liefern bei Extraktionsaufgaben instabilere Ergebnisse. Wo sich der Denkmodus nicht abschalten lässt, drosseln wir ihn per Anweisung.
Tempo
Dicht und langsam verliert gegen schlank und schnell.
Ein Modell, das ein paar Punkte genauer ist, aber fünfmal länger pro Beleg braucht, fällt auf der Appliance durch. Durchsatz ist eine Qualitätsdimension.
Fazit
Was das für den Mittelstand bedeutet
Der produktive Extraktor ist seit seiner Validierung nicht ein einziges Mal gewechselt worden, obwohl mehrere neuere Generationen erschienen sind – jede lief gegen denselben Testsatz, keine gab Grund zum Wechsel. Das „Modell als Betriebsmittel" aus dem ersten Bericht ist damit eingelöst: Den Wechsel bestimmt die eigene Messung, nicht das Abschaltdatum eines Anbieters.
Und der Preis für die höchste Schutzstufe ist gefallen – bei Hardware, Qualität und Betrieb. Wer Konstruktionsdaten, Kalkulationen oder mandantengeschützte Unterlagen verarbeitet, muss nicht mehr zwischen Souveränität und Leistungsfähigkeit wählen. Das gilt für den Zulieferer wie für die Kanzlei oder den Händler mit sensiblen Kundendaten.
Schildern Sie uns einen Vorgang.
Ein Anruf genügt für eine belastbare Einschätzung: ob er sich automatisieren lässt, was das kostet – und ob er sich überhaupt trägt.