Erst beobachten, dann Einfluss erweitern
Ein KI-Assistent kann im Facility Management Informationen zusammenfassen, Meldungen vorschlagen oder Dokumente erschließen. Bevor seine Ergebnisse betriebliche Entscheidungen beeinflussen, bietet sich eine abgegrenzte Erprobung im Schattenbetrieb an. Dabei bearbeitet das System geeignete Fälle parallel zum bestehenden Verfahren, ohne selbst Aufträge auszulösen oder technische Zustände zu verändern. Die Ergebnisse werden zunächst getrennt ausgewertet. So kann das Team untersuchen, welche Aufgaben die Anwendung tatsächlich unterstützt und wo sie unzuverlässig bleibt. Der Schattenbetrieb ist eine methodische Begrenzung des Einflusses, aber keine Ausnahme von Datenschutz, Informationssicherheit oder den jeweils anwendbaren Anforderungen an den KI-Einsatz.
KI vor Produktiveinsatz realitätsnah validieren
Ein fachlich geprüftes Vergleichsset aufbauen
Für die Erprobung werden repräsentative Fälle mit einer fachkundig geprüften Referenz zusammengestellt. Enthalten sein sollten normale Aufgaben, unvollständige Informationen und ausgewählte kritische Ausnahmen. Bei einer Störungsklassifizierung sind beispielsweise Meldungen wichtig, deren Dringlichkeit leicht unterschätzt werden kann. Referenzentscheidungen und ihre Begründungen werden vor der Auswertung abgestimmt. Fälle, die bereits zur Anpassung des Systems verwendet wurden, bleiben von einer unabhängigen Abschlussbewertung getrennt. Vertrauliche und personenbezogene Inhalte werden nur innerhalb eines zulässigen, freigegebenen Rahmens verarbeitet. Der Versuchsaufbau dokumentiert außerdem Modellstand, verwendete Wissensquellen und maßgebliche Einstellungen, damit Ergebnisse später eingeordnet werden können.
|
| Fachliche Richtigkeit | Vergleich mit geprüften Referenzfällen | Keine ungeprüfte Übernahme |
| Kritische Fehler | Gesonderte Bewertung folgenreicher Ausnahmen | Keine automatische Prioritätsänderung |
| Quellenqualität | Aussage mit gültiger Quelle abgleichen | Keine erfundenen Nachweise akzeptieren |
| Arbeitsnutzen | Prüfung und Korrektur mitmessen | Keine Gleichsetzung von Ausgabe und Ergebnis |
Fehler nach ihrer Wirkung bewerten
Eine durchschnittliche Trefferquote allein reicht für betriebliche Entscheidungen nicht aus. Ein unpassend formulierter Text hat andere Folgen als eine übersehene kritische Störung. Deshalb werden Fehlerklassen, fehlende Antworten und unzutreffend sichere Aussagen getrennt betrachtet. Bei Wissensassistenz wird geprüft, ob Quellen tatsächlich die Aussage stützen und ob der verwendete Dokumentenstand gültig ist. Auch ein sinnvoller Verzicht auf eine Antwort kann ein gutes Ergebnis sein. Das NIST AI Risk Management Framework bietet eine freiwillige Orientierung für die risikobezogene Bewertung von KI. Es ersetzt weder die konkrete fachliche Prüfung noch die jeweils anwendbaren rechtlichen Anforderungen.
Den menschlichen Prüfaufwand mitmessen
Der Nutzen einer Assistenz hängt davon ab, wie viel Prüfung und Korrektur ihre Vorschläge benötigen. Im Versuch wird daher nicht nur die Geschwindigkeit der Ausgabe betrachtet, sondern der Aufwand bis zu einem verlässlichen Arbeitsergebnis. Für eine möglichst unbeeinflusste Bewertung können Fachprüfende zunächst ohne Kenntnis des KI-Vorschlags urteilen. So wird ein vorschnelles Übernehmen plausibel klingender Ergebnisse erschwert. Rückmeldungen werden nach einem nachvollziehbaren Verfahren gesammelt. Eine bloße Zustimmung zum Vorschlag gilt nicht automatisch als Nachweis seiner Richtigkeit. Wesentliche Anpassungen des Systems werden dokumentiert und vor einer erneuten Bewertung von unveränderten Versuchsständen abgegrenzt.
Befugnisse nur aufgrund von Nachweisen erweitern
Nach dem Schattenbetrieb wird entschieden, ob eine betreute Nutzung mit menschlicher Prüfung vertretbar ist. Die Freigabe beschreibt konkrete Aufgaben, erlaubte Daten und ausgeschlossene Einsatzfälle. Technische Schreibrechte oder automatisierte Folgeaktionen benötigen eine eigenständige Bewertung; sie ergeben sich nicht automatisch aus guten Textergebnissen. Auch nach der Einführung werden relevante Fehler und Änderungen beobachtet. Eine neue Modellversion oder veränderte Wissensbasis kann erneute Tests erforderlich machen. So entwickelt sich KI-Unterstützung schrittweise aus überprüfter Eignung. Fachliche Urteilskraft bleibt erhalten, und die Organisation gewinnt eine Assistenz, deren Nutzen und Grenzen im eigenen Betrieb tatsächlich verstanden werden.
