Leistung · Betrieb
KI im eigenen Unternehmen betreiben lassen
Wir bauen Sprachmodelle auf Ihren Servern auf, sichern sie ab und warten sie über die Laufzeit. Damit bleiben die verarbeiteten Unterlagen in Ihrem Haus – ohne dass Sie dafür eigenes Personal aufbauen müssen.
Ausgangslage
Der Aufbau ist das Kleinere.
Der Betrieb ist das Größere.
Ein Sprachmodell auf einem eigenen Server zum Laufen zu bringen, ist heute keine besondere Leistung mehr. Die Anleitungen sind öffentlich, die Software ist frei verfügbar, und ein technisch versierter Mitarbeiter schafft die erste Einrichtung an einem Nachmittag.
Die Schwierigkeit beginnt danach. Wer darf zugreifen, und mit welchen Rechten? Was passiert, wenn die Grafikkarte ausfällt? Wer merkt es, wenn das Modell seit zwei Tagen fehlerhafte Ausgaben liefert? Welche Fassung läuft eigentlich gerade, und was ändert sich, wenn sie ausgetauscht wird? Wie wird gesichert, und wurde die Wiederherstellung je geprüft?
Das sind Betriebsfragen, keine Einrichtungsfragen. Sie entscheiden darüber, ob ein Aufbau nach einem halben Jahr noch verlässlich arbeitet – oder ob er still danebensteht, weil sich niemand mehr zuständig fühlt. Genau diesen Teil übernehmen wir.
Ablauf
Von der Einschätzung
zum laufenden Betrieb.
-
Bedarf klären
Welche Vorgänge sollen laufen, wie viele Anfragen entstehen daraus, wie schnell muss eine Antwort vorliegen? Daraus ergibt sich die Hardware – nicht umgekehrt.
-
Hardware auslegen und beschaffen
Wir legen die Ausstattung aus und beschaffen sie über Ihr Systemhaus oder direkt. Häufig genügt weniger, als zunächst angenommen wird; im Zweifel beginnen wir mit einem gemieteten Gerät in einem deutschen Rechenzentrum.
-
Aufbauen und absichern
Modellbetrieb, Zugriffsschutz, Rechte, Protokollierung, Sicherung. Der Zugang erfolgt über Ihr bestehendes Benutzerverzeichnis, nicht über eine zusätzliche Benutzerverwaltung.
-
An Ihre Systeme anbinden
Dokumentenablage, ERP, Fachanwendungen. Die Schnittstelle ist OpenAI-kompatibel – Ihre Anwendungen bleiben damit austauschbar gegenüber dem Modell dahinter.
-
Überwachen und warten
Verfügbarkeit, Auslastung, Antwortzeiten und Ausgabequalität werden überwacht. Modellwechsel werden vorab an Ihren eigenen Fällen geprüft, nicht im laufenden Betrieb ausprobiert.
Voraussetzungen
Was bei Ihnen
vorhanden sein muss.
- Platz für ein Gerät im Serverraum oder Schrank, mit Stromversorgung und Kühlung. Ein handelsüblicher Server mit ein bis zwei Grafikkarten deckt den Einstieg ab.
- Ein Netz, in dem sich der Dienst abgrenzen lässt, und ein Benutzerverzeichnis für die Rechtevergabe – üblicherweise Active Directory oder Entra ID.
- Ein bestehendes Sicherungsverfahren, in das wir uns einfügen. Wir bringen kein zweites mit.
- Eine benannte Person im Haus oder ein Systemhaus als erste Anlaufstelle bei Hardwarefragen. Die fachliche Betreuung des Modellbetriebs übernehmen wir.
- Bei Vorhaben mit personenbezogenen Daten: die Bereitschaft, das Verzeichnis der Verarbeitungstätigkeiten zu ergänzen. Wir liefern die technische Beschreibung dafür zu.
Wirkung im Alltag
Was sich
für Sie ändert.
Vertrauliche Unterlagen dürfen nicht in ein Sprachmodell gegeben werden – also bleibt die Arbeit von Hand.
Die Verarbeitung findet im eigenen Netz statt. Was das Haus nicht verlässt, muss auch nicht vertraglich abgesichert werden.
Einzelne Abteilungen nutzen private Zugänge auf eigene Rechnung. Niemand weiß, welche Inhalte dort eingegeben werden.
Es gibt einen geordneten Zugang mit Rechten und Protokoll. Was ohnehin geschieht, geschieht nachvollziehbar.
Ein bestehender Aufbau läuft, aber niemand ist wirklich zuständig, und niemand prüft die Ausgaben.
Verfügbarkeit und Ausgabequalität werden überwacht. Bei Auffälligkeiten melden wir uns, bevor es im Fachbereich auffällt.
Für die technische Prüfung
Aufbau im Detail
Für die Prüfung durch Ihre IT-Leitung oder Ihr Systemhaus.
- Modellbetrieb über
Ollamafür kleinere Aufbauten,vLLMbei höherer Last; Modelle offener Gewichte, Auswahl nach Aufgabe und verfügbarem Speicher - Einheitliche, OpenAI-kompatible Schnittstelle – anfragende Anwendungen bleiben unabhängig vom Modell dahinter
- Suche in eigenen Unterlagen über
pgvectorin PostgreSQL, mit Übernahme der Rechte aus der Dokumentenablage - Anmeldung über
OIDCoderLDAPgegen Ihr bestehendes Verzeichnis; kein zweiter Benutzerbestand - Betrieb in Containern, Konfiguration versioniert, Wiederherstellung geprobt und dokumentiert
- Überwachung von Verfügbarkeit, Auslastung, Antwortzeit und Ausgabequalität; Protokollierung jedes Aufrufs mit Aufbewahrungsdauer nach Ihrer Vorgabe
- Kein Zugang von außen, sofern nicht ausdrücklich gewünscht; Fernwartung über Ihren bestehenden Weg
Häufige Fragen
Lokaler Betrieb –
häufige Fragen.
Welche Hardware brauchen wir?
Das hängt an Modellgröße und Anfragemenge. Für die Belegverarbeitung eines mittelständischen Betriebs genügt oft ein Server mit einer Grafikkarte der oberen Mittelklasse. Für einen KI-Arbeitsplatz für die gesamte Belegschaft ist mehr Speicher auf der Grafikkarte nötig als Rechenleistung. Wir legen die Ausstattung erst nach dem Bedarf aus – eine Beschaffung auf Verdacht ist der häufigste vermeidbare Fehler.
Können wir zunächst mieten, statt zu kaufen?
Ja, und das empfehlen wir häufig für die ersten Monate. Ein gemietetes Gerät in einem deutschen Rechenzentrum vermeidet eine Fehlinvestition, solange die tatsächliche Last unbekannt ist. Der Wechsel auf eigene Hardware ist später ohne Änderung an den angebundenen Anwendungen möglich.
Was passiert, wenn die Hardware ausfällt?
Das wird vorab festgelegt. Üblich ist eine Rückfallebene: entweder ein zweiter, kleinerer Aufbau oder ein vorbereiteter Wechsel auf einen europäischen Dienst für die Dauer der Störung – letzteres nur für Vorgänge, für die das vertraglich zulässig ist. Ohne festgelegte Rückfallebene würden wir den Betrieb kritischer Abläufe nicht empfehlen.
Wie oft muss ein Modell ausgetauscht werden?
Es muss nicht. Ein Aufbau, der seine Aufgabe erfüllt, kann Jahre unverändert laufen – das ist ein Vorteil gegenüber Diensten, deren Modelle ohne Ihr Zutun wechseln. Wir prüfen neue Fassungen an Ihren eigenen Fällen und schlagen einen Wechsel nur vor, wenn er im konkreten Anwendungsfall etwas bringt.
Brauchen wir dafür einen Cookie-Banner oder eine Einwilligung?
Für den Modellbetrieb selbst nicht – es werden keine Daten an Dritte übertragen. Was Sie brauchen, ist ein Eintrag im Verzeichnis der Verarbeitungstätigkeiten und, je nach Anwendungsfall, eine Abstimmung mit dem Betriebsrat. Die technische Beschreibung dafür liefern wir zu; die rechtliche Bewertung trifft Ihr Datenschutzbeauftragter.
Was, wenn wir die Zusammenarbeit beenden?
Der Aufbau bleibt bei Ihnen und läuft weiter. Zugangsdaten liegen bei Ihnen, die Konfiguration ist versioniert und dokumentiert, verwendet wird ausschließlich frei verfügbare Software. Eine Übergabe an Ihr Systemhaus oder an einen anderen Dienstleister ist damit möglich – ohne dass Sie den Aufbau neu errichten müssten.
Schildern Sie uns einen Vorgang.
Ein Anruf genügt für eine belastbare Einschätzung: ob er sich automatisieren lässt, was das kostet – und ob er sich überhaupt trägt.