„I trust you, bro“ reicht nicht: Wozu wir im KI-Zeitalter noch Analyst*innen brauchen
Von Jonas Fathy, Leitung Philanthropie und Non-Profit bei PHINEO
Vor einigen Tagen bin ich über ein Video der großartigen Tech-Influencerin AlbertaTech gestolpert, das mir Worte für etwas gegeben hat, wofür ich bislang eher ein Gefühl hatte. Darin erzählt sie von einem Gründer, der den einzigen Softwareentwickler seines Teams entlassen hatte: Mit KI, so seine Begründung, programmiere er inzwischen schneller als sein Entwickler.
Das klingt zunächst gar nicht so absurd. Wer mit KI eine kleine Anwendung gebaut hat, kennt das Gefühl: Man beschreibt den Wunsch, schaut kurz einem blinkenden Cursor zu und plötzlich funktioniert etwas, bei dem man früher nicht gewusst hätte, wo man anfangen soll.
AlbertaTech zieht daraus den gegenteiligen Schluss: Das sei kein Zeichen dafür, dass er ihn nicht mehr brauche. Es sei eigentlich genau so vorgesehen. Früher stellte man Softwareentwickler*innen ein, weil sie in drei Monaten bauen konnten, wofür man selbst zwei Jahre gebraucht hätte. Heute kann KI vieles davon in einer halben Stunde. Die professionelle Aufgabe verschiebt sich deshalb vom schnellen Produzieren zum Prüfen des Codes, zum Verstehen des Gesamtsystems und zum bewussten Langsamerwerden – damit die App nach weiteren 30 Minuten nicht einfach komplett crasht.
➞ Das Video kann man sich hier ansehen.
Besonders hängengeblieben ist bei mir ein Satz:
„A software engineer’s job is to not say: I trust you, bro.“
Sinngemäß übersetzt:
„Als Softwareentwickler*in darf man nicht einfach sagen: ‚Ich vertrau dir, Bro.‘“
Und genau da musste ich an die PHINEO Wirkt-Siegel-Analyse denken, bei der wir das Wirkungspotenzial von Organisationen prüfen.
Wenn das Lesen plötzlich der einfache Teil wird
Vieles, wofür wir bislang Analyst*innen brauchten, lässt sich mit KI vorbereiten: Jahresberichte durchsuchen, Evaluationen zusammenfassen, Informationen bündeln, Studien finden und Aussagen Kriterien zuordnen. Was früher Stunden oder Tage brauchte, gelingt heute teilweise in Minuten.
Ich finde das großartig. Analyst*innen sollten keine seitenlangen Dokumente nach Informationen durchsuchen, die eine Maschine zuverlässig in Sekunden findet. Auch wir fragen uns deshalb, wie wir KI wirkungsvoll, verantwortungsvoll und effektiv einsetzen können.
Interessant wird es an einer anderen Stelle. Nehmen wir an, ich möchte wissen, ob eine Organisation ihre Wirkung überprüft. Ich gebe einer KI Website, Jahresbericht und Wirkungsbericht und bitte um eine Einschätzung. Die KI findet keine externe Evaluation.
Was weiß ich jetzt?
Zunächst einmal erstaunlich wenig. Im durchsuchten Material wurde keine externe Evaluation gefunden. Vielleicht gibt es keine. Vielleicht wurde sie nicht veröffentlicht, heißt anders oder die Organisation arbeitet mit einer Methode, nach der ich nicht gefragt habe. Vielleicht ist eine externe Evaluation hier auch gar nicht der entscheidende Qualitätsmaßstab.
Hinzu kommt ein „Last Mile“-Problem: KI verarbeitet digitale Daten. Wirkung entsteht aber nicht im Bericht, sondern im Klassenzimmer, in einer Beratungsstelle, im Naturschutzgebiet oder im Leben eines Menschen. Berichte bringen uns dieser Realität näher, ersetzen sie aber nicht. Deshalb gehören zu einer guten Analyse auch Gespräche, Nachfragen und manchmal ein Besuch vor Ort.
Zwischen „nicht gefunden“, „nicht vorhanden“ und „nicht empfehlenswert“ liegen mehrere Schritte. KI kann uns helfen, sie schneller zurückzulegen. Sie nimmt uns aber nicht die Verantwortung dafür ab, zu prüfen, ob wir dabei falsch abgebogen sind.
Wo Daten enden und Wertentscheidungen anfangen
Damit kommt ein älteres Problem hinzu: Wir tun manchmal so, als würden gute Daten Wertentscheidungen überflüssig machen. Dabei verstecken sie sich oft gerade dort besonders gut, wo etwas objektiv aussieht.
Welche Organisation erzielt mehr Wirkung? Dafür muss ich entscheiden, was „mehr“ und was „Wirkung“ bedeutet. Ein zusätzliches gesundes Lebensjahr lässt sich relativ gut zählen. Aber wie vergleiche ich es mit einem Kind, das besser lesen kann, oder einer Initiative, die eine demokratische Institution widerstandsfähiger macht?
Natürlich kann man dafür Indikatoren entwickeln, und natürlich sollten wir Wirkung möglichst belastbar erfassen. Ich wäre beruflich falsch abgebogen, wenn ich das anders sähe.
Aber mit jedem Indikator entscheiden wir, welchen
Ausschnitt der Wirklichkeit wir sichtbar machen.
Der Rest verschwindet nicht. Wir sehen ihn nur schlechter.
KI löst dieses Problem nicht. Sie verarbeitet unsere Auswahl und präsentiert das Ergebnis oft mit großer Sicherheit – lässt es durch gerade diese Sicherheit manchmal auch eindeutiger und objektiver erscheinen, als es angesichts der zugrunde liegenden Entscheidungen tatsächlich ist. Die Werte stammen dabei nicht heimlich von der KI. Wir tragen sie durch unsere Auswahl und Gewichtung selbst in die Analyse hinein. Eine automatisierte Bewertung kann diese Entscheidungen sehr konsequent anwenden. Aber Konsequenz ist nicht dasselbe wie Objektivität: Wenn der Maßstab bestimmte Formen von Wirkung und ihren Nachweisen bevorzugt, skaliert KI zunächst einmal genau diesen Maßstab.
Hier liegt eine wesentliche Aufgabe menschlicher Analyst*innen. Nicht darin, irgendwie „menschlicher“ zu urteilen. Menschen haben ebenfalls blinde Flecken. Sondern darin, zu erkennen, wo ein objektiv wirkender Befund auf Annahmen beruht, über die man anders entscheiden könnte.
Gute Analyse braucht produktiven und neugierigen Zweifel
Deshalb müssen wir neu darüber nachdenken, was gute Analyse ausmacht. Zugang zu Informationen und ihre effiziente Verarbeitung waren lange ein wesentlicher Teil professioneller Kompetenz. Beides wird gerade billiger und schneller.
Was nicht im gleichen Maße leichter wird, ist, begründet zu zweifeln, mit Neugier zu erkunden und anschließend zu einer Entscheidung zu kommen.
- Eine gute Analystin muss fragen, was fehlt.
- Sie muss merken, wenn scheinbar vergleichbare Organisationen unterschiedliche Dinge tun, ein messbares Kriterium am Problem vorbeigeht oder Aktenlage und Realität nicht zusammenpassen.
- Und sie muss eine plausible Einschätzung verwerfen können.
Dafür braucht es Verfahren, die Widersprüche zulassen und anschließend zu einem Urteil führen. Wir arbeiten deshalb mit mehreren Perspektiven und dem Vier-Augen-Prinzip. Zwei Menschen finden nicht automatisch die Wahrheit. Der Mehrwert entsteht, wenn sie klären, woher ihre Unterschiede kommen, Annahmen prüfen und sich auf eine Einschätzung einigen, die sie gemeinsam begründen können.
Zweifel ohne Einigung produziert Stillstand.
Einigung ohne Zweifel produziert Scheinsicherheit.
Gute Analyse braucht beides.
Darin liegt für mich der Kern von AlbertaTechs „I trust you, bro“. Professionalität bedeutet nicht, der Maschine grundsätzlich zu misstrauen. Sie bedeutet zu wissen, wann Vertrauen noch nicht reicht und wie man von dort zu einer besseren Einschätzung kommt.
Das wird gerade beim Spenden interessant
In den nächsten Wochen werden viele Menschen überlegen, wohin sie zum Jahresende spenden. Viele von ihnen werden dabei KI um Rat fragen. Das ist völlig legitim. Wahrscheinlich würde ich es selbst tun.
Wer eine Organisation gegen Kinderarmut oder für Klimaschutz sucht, kann sich mit KI schnell einen Überblick verschaffen und nach Hinweisen auf Wirkung fragen. Das kann die Entscheidung verbessern.
Ich würde mir dabei nur einen kleinen gedanklichen Stolperstein einbauen:
Nutze ich die KI gerade, um meine Entscheidung besser zu informieren, oder überlasse ich ihr die Entscheidung?
Spätestens wenn aus Recherche ein Urteil wird, lohnt es sich, langsamer zu werden. Findet die KI keine Informationen, sagt das zunächst etwas über ihre Datengrundlage. Vergleicht sie Organisationen, müssen deren Wirkungen vergleichbar sein. Und rät sie von einer Spende ab, sollte die Grundlage belastbar sein.
Das heißt nicht, jede Antwort drei Wochen lang zu überprüfen. Der Prüfaufwand sollte zur Tragweite des Urteils passen. Eine KI, die mir drei Organisationen für die weitere Recherche vorschlägt, darf Fehler machen. Ein öffentliches negatives Urteil sollte einen anderen Maßstab erfüllen.
Sechs Fragen für den Umgang mit KI-Urteilen
Es wird also schwierig, wenn die KI nicht nur Informationen bereitstellt, sondern bereits ein Urteil mitliefert: empfehlenswert oder nicht empfehlenswert, wirksam oder nicht wirksam, gute oder schlechte Spendenentscheidung. Dann würde ich genauer hinschauen. Nicht, weil ein solches Urteil falsch sein muss. Sondern weil ich wissen möchte, wie es zustande gekommen ist.
Drei Fragen, die immer beantwortet sein sollten
- Wer hat dieses Urteil gefällt?
Hat ein Mensch das Ergebnis fachlich geprüft und verantwortet? Oder wurde aus einer automatisierten Analyse unmittelbar eine Empfehlung oder Nicht-Empfehlung? - Worauf basiert das Urteil?
Wurden nur öffentlich verfügbare Informationen ausgewertet? Oder hatte die Organisation Gelegenheit, Unterlagen zu ergänzen und mögliche Fehler oder Lücken richtigzustellen? - Hat jemand mit der Organisation gesprochen?
Wurden Rückfragen zu widersprüchlichen oder fehlenden Informationen gestellt? Wurden die Inhalte der bestehenden Dokumente validiert oder zumindest plausibilisiert, beispielsweise durch Interviews oder Gespräche?
Drei Vertiefungsfragen für den genaueren Blick
- Was versteht die Bewertung unter „Wirkung“?
Welche Wirkungen zählen? Welche lassen sich mit diesem Ansatz schlechter erfassen? Werden kurzfristige, gut messbare Veränderungen möglicherweise leichter sichtbar als langfristige oder komplexe? - Wie geht die Analyse mit Unsicherheit um?
Unterscheidet sie sauber zwischen „Dazu liegen keine ausreichenden Informationen vor“ und „Das findet nicht statt“? Und zwischen „Das lässt sich nicht beurteilen“ und „Davon ist abzuraten“? - Lässt sich nachvollziehen, wie das Urteil zustande gekommen ist?
Sind Kriterien, Datengrundlage und Grenzen transparent? Und kann das Urteil korrigiert werden, wenn Informationen fehlen oder falsch interpretiert wurden?
Was ich daraus mitnehme
- KI darf schnell sein. Gute Analyse muss es nicht immer sein.
Gewonnene Zeit sollten wir dort einsetzen, wo Nachfragen, Prüfen, Abwägen und Einigen die Entscheidung besser machen. - Daten bilden Wirklichkeit nur schemenhaft ab. Sie sind nicht die Wirklichkeit.
Zwischen „nicht gefunden“, „nicht vorhanden“ und „nicht empfehlenswert“ liegen mehrere Schritte. KI beschleunigt den ersten. Die anderen verschwinden nicht. - Auch objektiv wirkende Bewertungen enthalten Entscheidungen.
Was wir betrachten, vergleichen und gewichten, prägt das Urteil. KI kann diese Entscheidungen anwenden, aber nicht für uns reflektieren. - Gute Analyse ist produktiver und neugieriger Zweifel.
Sie lässt unterschiedliche Einschätzungen zu, bleibt dort aber nicht stehen. Sie prüft die Gründe, wägt ab und kommt zu einem Urteil, das sich begründen und verantworten lässt.
Vielleicht werden gute Analyst*innen deshalb nicht trotz KI wichtiger, sondern gerade wegen ihr. Und vielleicht lässt sich ihre neue alte Aufgabe tatsächlich mit AlbertaTech am besten zusammenfassen: „I trust you, bro“ ist keine Analysemethode.
Wenn Sie Fragen haben:
