KI-Ethik in der Praxis: Ein Bias-Audit Schritt für Schritt aus einem aktuellen Mandat

Ein KMU, mit dem ich gearbeitet habe, nutzte bereits seit Monaten ein KI-Screening-Tool, bevor jemand auf die Idee kam, es auf Bias zu prüfen — nicht aus Nachlässigkeit, sondern weil niemand gesagt hatte, dass diese Prüfung nötig ist. Das Audit fand keinen außer Kontrolle geratenen Algorithmus, der absichtlich unfaire Entscheidungen traf. Es fand einen Trainingsdatensatz, der still ein Muster enthielt, das niemand bemerkt hatte, und eine Stellvertretervariable, die im Namen des Modells diskriminierte. (Identifizierende Details wurden zum Schutz der Vertraulichkeit geändert; das beschriebene Muster ist typisch für das, was solche Audits regelmäßig zutage fördern.)

Meine Auditmethode

Ein Bias-Audit ist kein einzelner Test — es sind vier getrennte Prüfungen in fester Reihenfolge. Erstens: Erfassen Sie jedes geschützte Merkmal, mit dem die Entscheidungen des Systems direkt oder indirekt plausibel korrelieren könnten — Alter, Geschlecht, ethnische Herkunft, Behinderung usw. Zweitens: Führen Sie einen Disparate-Impact-Test durch, der die Ergebnisquoten zwischen Gruppen vergleicht — die Vier-Fünftel-Regel (eine Auswahlquote einer Gruppe unter 80 % der Quote der bestplatzierten Gruppe) ist eine nützliche, etablierte Startschwelle, für sich aber keine rechtliche Garantie für Fairness. Drittens: Testen Sie gezielt Grenzfälle — ungewöhnliche Anträge und Eingaben, die ein Modell im Normalbetrieb selten sieht und in denen sich Bias oft versteckt, weil es nicht genug Routinedaten gibt, um ihn auszugleichen. Viertens, und am häufigsten übersprungen: Prüfen Sie auf Stellvertretervariablen — Felder, die selbst kein geschütztes Merkmal sind, aber stark mit einem korrelieren.

Was das Audit tatsächlich fand

Der Disparate-Impact-Test zeigte eine Lücke in der Auswahlquote, die genau an der Grenze der Vier-Fünftel-Schwelle lag — für sich genommen nicht offensichtlich alarmierend, und genau deshalb unbemerkt geblieben. Bei der Analyse der Modelleingaben fiel ein Feld auf: die Postleitzahl, aufgenommen als vermeintlich vernünftiger Stellvertreter für die Pendeldistanz. Die Postleitzahl korreliert in Großbritannien stärker mit einer Reihe geschützter Merkmale, als die meisten Teams annehmen — und hier bewirkte sie still eine mittelbare Diskriminierung, die die Entwickler des Modells nie beabsichtigt und nie getestet hatten.

Niemand in dieser Kette hatte böswillig gehandelt. Die Daten spiegelten jahrelange frühere Einstellungsentscheidungen wider, die nie auf dieses Muster geprüft worden waren, und das Modell lernte getreu, sie zu wiederholen. Das ist der unbequeme Teil der meisten Bias-Audits: Der Algorithmus erfindet keine Vorurteile, er automatisiert und skaliert das Muster, das schon still in den historischen Daten steckte.

Die Lösung ist nicht immer, das Modell neu zu trainieren

Die instinktive Reaktion auf eine solche Feststellung lautet: „Modell ohne dieses Feld neu trainieren.“ Manchmal ist das richtig. Häufiger ist die dauerhaftere Lösung prozedural: Stellvertretervariable entfernen, den Disparate-Impact-Test erneut durchführen, um sicherzustellen, dass sich die Lücke wirklich schließt und nicht nur auf eine andere Stellvertretervariable verlagert, und einen festen Audit-Rhythmus einführen, damit das Problem nicht still zurückkehrt, wenn sich die zugrunde liegenden Daten verändern. Ein einmaliger technischer Patch ohne wiederkehrende Prüfung verfällt, sobald die Trainingsdaten das nächste Mal aktualisiert werden.

Warum das zählt, auch wenn sich noch niemand beschwert hat

Geschadet wird nicht den Unternehmen mit offensichtlich rücksichtslosen KI-Systemen — sondern denen, die angenommen haben, vernünftig gestaltete Automatisierung müsse nicht geprüft werden, bis eine Bewerberin, ein Journalist oder eine Aufsichtsbehörde denselben Disparate-Impact-Test von außen durchführt, ohne Kontext und ohne Wissen um gute Absichten. Ein proaktiv durchgeführtes Bias-Audit ist eine Governance-Übung. Dasselbe Audit reaktiv nach einer Beschwerde ist Krisenmanagement — und in jeder Hinsicht deutlich teurer.