Vom KI-Prototyp zur verlässlichen Anwendung im KMU

Ein Prototyp mit KI ist heute schnell gebaut. Ein paar Beispieldokumente, eine Anbindung an ein Sprachmodell, ein Fenster zum Eintippen, und nach einem Nachmittag liefert das System beeindruckende Antworten. Der Weg von dieser Demonstration zu einer Anwendung, auf die sich ein Betrieb im Tagesgeschäft verlassen kann, ist allerdings deutlich länger und hat mit Technik nur teilweise zu tun.

Warum Prototypen im Betrieb scheitern

Ein Prototyp wird an den Fällen gemessen, die sich der Entwickler ausgedacht hat. Im Alltag treffen dagegen unvollständige Eingaben, ungewöhnliche Schreibweisen und Sonderfälle aufeinander, die niemand vorhergesehen hat. Dazu kommt, dass Sprachmodelle nicht deterministisch antworten: Dieselbe Frage kann an zwei Tagen unterschiedlich beantwortet werden. Das ist bei einem Experiment harmlos, bei einer Anwendung, die Angebote vorbereitet oder Kundenanfragen sortiert, aber ein Risiko.

Ein weiterer Grund für das Scheitern liegt in der Zuständigkeit. Der Prototyp gehört meist einer einzelnen Person, die ihn gebaut hat. Fällt diese aus oder wechselt die Aufgabe, weiß niemand mehr, wie das System funktioniert und warum es bestimmte Entscheidungen trifft.

Anforderungen so beschreiben, dass man sie prüfen kann

Der wichtigste Schritt liegt vor der Programmierung: Die Anforderung muss so konkret formuliert sein, dass sich später feststellen lässt, ob sie erfüllt ist. „Die KI soll Rechnungen verstehen“ ist keine Anforderung. „Aus eingehenden PDF-Rechnungen werden Rechnungsnummer, Datum, Betrag und Lieferant ausgelesen und dem Buchhalter zur Bestätigung vorgelegt“ dagegen schon. Hilfreich sind folgende Fragen:

• Welche Eingaben gibt es, und wie sehen die schwierigsten davon aus?
• Was ist die gewünschte Ausgabe, und in welchem Format wird sie weiterverarbeitet?
• Wer prüft das Ergebnis, und wann greift ein Mensch ein?
• Was darf das System auf keinen Fall tun, etwa Daten an Dritte senden oder Zusagen an Kunden machen?

Tests mit echten Beispielen aufbauen

Für KI-Anwendungen empfiehlt sich eine Sammlung realer Testfälle, möglichst aus dem tatsächlichen Betrieb und nicht erfunden. Sie sollte neben den typischen Fällen bewusst auch Ausreißer enthalten: schlecht eingescannte Dokumente, mehrdeutige Anfragen, fehlende Angaben. Nach jeder Änderung am System, sei es ein geänderter Auftrag an das Modell oder ein Modellwechsel, wird die gesamte Sammlung erneut durchlaufen. So wird sichtbar, ob eine Verbesserung an einer Stelle an anderer Stelle etwas verschlechtert hat.

Dabei muss nicht jede Antwort wortgleich sein. Sinnvoller ist es, Kriterien festzulegen: Sind die extrahierten Werte korrekt? Wurde die richtige Kategorie gewählt? Wurde bei Unsicherheit nachgefragt, statt zu raten? Wer diese Kriterien einmal schriftlich festhält, kann Qualität über die Zeit vergleichen und Diskussionen auf Basis von Zahlen führen.

Fehlerfälle einplanen

Verlässlich wird eine Anwendung nicht dadurch, dass sie nie Fehler macht, sondern dadurch, dass Fehler erkannt und aufgefangen werden. Dazu gehören ein klarer Weg zur menschlichen Prüfung bei geringer Sicherheit, eine Protokollierung der Eingaben und Ergebnisse, soweit der Datenschutz dies zulässt, und eine einfache Möglichkeit für Anwender, falsche Ergebnisse zu melden. Aus diesen Meldungen werden neue Testfälle, und das System verbessert sich mit der Zeit.

Zum Datenschutz gehört die Frage, welche Daten überhaupt an externe Dienste übermittelt werden. Personenbezogene Informationen sollten nur dann verarbeitet werden, wenn Rechtsgrundlage, Auftragsverarbeitung und Speicherort geklärt sind. Das gilt für Prototypen genauso wie für den späteren Betrieb, wird aber in der Experimentierphase gern übersehen.

Die Übergabe als eigener Arbeitsschritt

Am Ende des Projekts steht die Übergabe an die Menschen, die das System täglich nutzen und weiterbetreiben. Sie umfasst mehr als einen Zugang und ein Passwort. Zur Übergabe gehören eine verständliche Beschreibung, was das System kann und was nicht, die Testsammlung samt Ergebnissen, eine Anleitung für den Umgang mit Fehlern und eine Benennung, wer im Unternehmen für Änderungen zuständig ist. Wer externe Unterstützung einbindet, sollte diese Punkte schon im Angebot vereinbaren, damit Wissen nicht nur beim Dienstleister liegt.

Für kleine und mittlere Unternehmen, die einen Prototyp in den Regelbetrieb überführen wollen, kann externe Begleitung sinnvoll sein. Die KI-Beratung und Umsetzung von Tabspaces richtet sich nach Angaben des Anbieters an genau diese Zielgruppe und nennt neben Beratung auch Praxisworkshops und die sichere Nutzung von KI als Schwerpunkte. Ob ein solches Angebot passt, lässt sich im Erstgespräch klären, indem man den konkreten Anwendungsfall schildert und nach Vorgehen, Tests und Übergabe fragt.

Betrieb und Pflege nach dem Start

Auch nach der Einführung bleibt Arbeit. Modelle werden aktualisiert, Dokumentenformate ändern sich, Mitarbeitende nutzen das System auf neue Weise. Ein fester Termin, an dem die Testsammlung erneut läuft und Rückmeldungen ausgewertet werden, hält die Qualität stabil. Ebenso sollte festgelegt sein, wann eine Anwendung wieder abgeschaltet oder durch ein manuelles Verfahren ersetzt wird, falls ihre Ergebnisse dauerhaft nicht mehr den Erwartungen entsprechen. Wer diese Regeln vor dem Start festlegt, behandelt KI nicht als Wunderwerkzeug, sondern als normale Betriebssoftware mit klaren Qualitätskriterien.