Vor jedem KI-Projekt wird gefragt, ob die Maschine die Aufgabe kann. Nützlicher wäre eine andere Frage: Kann bei uns hinterher noch jemand beurteilen, ob das Ergebnis stimmt? Wer das überspringt, richtet Abläufe ein, in denen niemand mehr erkennt, ob gerade gute oder schlechte Arbeit geliefert wird. Auffallen wird das erst, wenn ein Fehler Geld gekostet hat.
In der vergangenen Woche ließ sich das an einem Fall beobachten, der weit weg vom Firmenalltag liegt und ihn gerade deshalb gut zeigt. Ein noch unveröffentlichtes KI-Modell hat zehn Probleme der Mathematik gelöst oder deutlich vorangebracht, an denen die Fachwelt teils seit Jahrzehnten sitzt. Die Rechenkosten lagen für alle zehn zusammen bei rund zweitausend Dollar — so jedenfalls die Angabe des Herstellers, unabhängig geprüft ist sie nicht. Bemerkenswert war ohnehin etwas anderes: die Reaktion. Fast niemand konnte selbst einschätzen, wie schwer diese Probleme überhaupt waren. Mehrere bekannte Beobachter taten daraufhin dasselbe. Sie fragten eine andere KI, wie beeindruckend das Ergebnis sei, und gaben deren Antwort weiter. Ein Mathematiker mit über zehntausend Stunden Fachpraxis schrieb offen, er verstehe die Beweise nicht und kenne auch niemanden in seinem Umfeld, der sie prüfen könnte.
Aufschlussreich ist, warum ausgerechnet die Mathematik als Erstes an der Reihe war. Nicht weil sie leicht wäre, sondern weil sich ihre Ergebnisse maschinell nachrechnen lassen. Die Beweise wurden in einer Programmiersprache formuliert, mit der ein Computer Schritt für Schritt kontrolliert, ob die Logik hält. Man muss die Mathematik selbst nicht verstehen, um zu sehen, dass die Kette stimmt. Ohne diese Prüfbarkeit hätte niemand mit dem Ergebnis etwas anfangen können. Dieselbe Reihenfolge gilt im Unternehmen: KI trägt zuerst dort, wo ein Ergebnis ein überprüfbares Ende hat.
Solche Arbeit gibt es reichlich, und sie ist meist unspektakulär. Eine Rechnung stimmt oder stimmt nicht. Ein Vertragsentwurf wird von einem Juristen gegengelesen. Eine Auswertung lässt sich gegen die Zahlen im eigenen System halten. Eine Kalkulation kann jemand nachrechnen. In diesen Fällen bleibt die Verantwortung sichtbar, weil am Ende jemand unterschreibt. Schwieriger wird es bei Arbeit, deren Qualität sich erst nach Monaten zeigt: Strategiepapiere, Marktannahmen, Personalentscheidungen. KI kann auch dort etwas beitragen. Sie darf nur nicht der letzte Schritt sein.
Am heikelsten ist eine Abkürzung, die in dem Mathematik-Fall deutlich zu sehen war: die Prüfung selbst an eine zweite KI zu geben. Das sieht nach Kontrolle aus, ist aber keine. Zwei Systeme, die auf ähnliche Weise arbeiten, liefern keine unabhängige zweite Meinung, sondern eine zweite Behauptung. Im Betrieb sieht das so aus, dass ein Modell einen Text schreibt, ein anderes ihn bewertet und niemand im Haus den Inhalt je gegen die Wirklichkeit gehalten hat. Freigegeben wird trotzdem — nur ohne Urteil dahinter.
Daraus folgt eine praktische Reihenfolge. Bevor eine Aufgabe an ein KI-Modell oder an einen Agenten geht, also an ein Programm, das mehrere Arbeitsschritte selbstständig ausführt, klärt man drei Dinge. Woran erkennen wir, dass das Ergebnis richtig ist? Wer bei uns kann das feststellen, und hat diese Person die Zeit dafür? Und was passiert, wenn es falsch ist? Liegen alle drei Antworten vor, kann man abgeben. Fehlt eine, ist die Aufgabe noch nicht so weit. Dann baut man zuerst die Prüfung, nicht den Ablauf.
Der Abstand zwischen dem, was KI kann, und dem, was Unternehmen davon nutzen, wächst weiter. Er wächst aber nicht nur, weil zu wenig geübt wird. Er wächst auch, weil die Fähigkeit, Ergebnisse zu beurteilen, langsamer zunimmt als die Fähigkeit, sie zu erzeugen. Diese Beurteilungsfähigkeit ist inzwischen der Engpass, und kaufen lässt sie sich nicht. Sie steckt in den Leuten, die ihr Fach kennen. Wer sie aufbaut und ihr Zeit gibt, kann am Ende mehr abgeben als andere, nicht weniger.