Blackbox KI: Was dürfen von Diskriminierung betroffene Personen über KI-Systeme wissen?

In diesem Teil der Interviewserie zu Algorithmen geht es um Auskunftsrechte von Personen, die vermuten bei der Jobsuche oder bei Kreditwürdigkeitsprüfungen aufgrund von KI-Systemen diskriminiert worden zu sein. Andreas Tinhofer ist Arbeitsrechtsexperte und Co-Autor von „KI und Arbeitsrecht“. Die Gleichbehandlungsanwaltschaft hat sich mit dem Rechtsanwalt über aktuelle EuGH Entscheidungen unterhalten, die insbesondere für den Rechtsschutz gegen Diskriminierung durch Algorithmen einen wichtigen Beitrag leisten.

Wo liegen denn die Diskriminierungspotenziale bei KI-Systemen, beispielsweise im Personalwesen?

Das Diskriminierungspotenzial der Systeme ist vielfältig. Und die Ursachen dafür sind es auch. Also zum einen sind es die sogenannten „Trainingsdaten“, die zu Diskriminierungen führen können. Diese Daten können ein Bias beinhalten und Personen aufgrund rechtlich geschützter Merkmale benachteiligen.

Der bekannteste Fall betrifft Amazon. Dieses Unternehmen hat um das Jahr 2014 ein Recruitment-Tool entwickelt. Die Daten, die da hineingeflossen sind, waren jene von erfolgreichen Mitarbeitenden. Und das waren, aufgrund einer jahrelang diskriminierenden Einstellungspraxis – wenig überraschend – überwiegend Männer. Das KI-System hat aufgrund dieses diskriminierenden Bias in den Trainingsdaten „gelernt“, dass Männer erfolgreicher sind als Frauen. So ist es dazu gekommen, dass nachdem das Recruitment-Tool fertig trainiert war, männliche Bewerber bevorzugt wurden. Aber es gibt auch viele andere Möglichkeiten wie Diskriminierungen in solche Systeme hineinkommen können.

Wie kann ich denn überhaupt beweisen, dass ich aufgrund eines KI-Systems diskriminiert worden bin?

In der analogen Welt ist es für Betroffene von Diskriminierung in der Regel schwierig, das zu beweisen. Es gibt deshalb im Antidiskriminierungsrecht gewisse Erleichterungen. Es genügt beispielsweise, dass jemand glaubhaft macht, diskriminiert worden zu sein, etwa bei der Einstellung oder bei der Gehaltserhöhung oder auch bei der Beendigung eines Dienstverhältnisses. Es liegt an der Gegenseite darzulegen, inwieweit andere Motive für die Ungleichbehandlung ausschlaggebend waren. Bei KI-Systemen ist es für Einzelpersonen jedoch oftmals schwieriger, Ungleichbehandlungen überhaupt als solche zu erkennen. Deswegen ist hier Transparenz besonders wichtig.

Was kann hier helfen?

Wenn man im Unternehmen Betriebsrät:innen hat, dann ist es deren Aufgabe, sich genau erklären zu lassen, wie so ein System funktioniert, und allenfalls auch entsprechende Audits einzufordern. Das KI-System sollte regelmäßig auf Diskriminierung überprüft werden.

Zum Nachweis von Diskriminierung durch Algorithmen braucht es aber zusätzliche Instrumente bzw. Einrichtungen. So sollten etwa bestimmte Institutionen oder Ombudsstellen – wie beispielsweise die Gleichbehandlungsanwaltschaft – eine besondere Stellung bekommen und einem Verdacht auf Diskriminierung durch ein bestimmtes KI-System nachgehen können. Hierfür wird es nötig sein, dass die Gleichbehandlungsanwaltschaft gegenüber Hersteller:innen und Anbieter:innen von KI-Systemen bestimmte Informationsrechte hat und auch Musterverfahren führen kann.

Was kann ich als von Diskriminierung betroffene Einzelperson überhaupt über ein KI-System in Erfahrung bringen?

Nach der DSGVO haben Betroffene ein Auskunftsrecht über die Verarbeitung ihrer persönlichen Daten. Im Zusammenhang mit KI-Systemen klärte der Europäische Gerichtshof kürzlich eine wichtige Rechtsfrage. Das baut auf einem österreichischen Fall auf, bei dem die betreffende Person sich an die eine Kreditauskunftei (Dun & Bradstreet Austria) gewandt hatte und wissen wollte, wie ihr „Bonitätsscore“ errechnet wurde. Und die Kreditauskunftei hat sinngemäß geantwortet: Das ist unser Geschäftsgeheimnis, das können wir nicht sagen. Daraufhin wurde dem Europäischen Gerichtshof die Frage vorgelegt, ob nach der DSGVO die betroffene Person ein Anrecht darauf hat, erklärt zu bekommen, wie ihre personenbezogenen Daten verarbeitet werden und wie die Kreditauskunftei zu ihrem Ergebnis bei der Bonitätsprüfung kommt. Das wurde vom Europäischen Gerichtshof letztlich bejaht (C-203/22, Dun & Bradstreet Austria). Und das kann natürlich eins zu eins auf Recruitment-Tools umgelegt werden, die unter Bewerber:innen eine Auswahl treffen. Im Ergebnis bedeutet dies, dass Arbeitgeber:innen Entscheidungen erklären müssen, wenn sie diese mithilfe eines KI-Systems treffen.

Oft gibt es zu diesen Transparenzfragen auch Kritik, vor allem weil ein Wettbewerbsnachteil befürchtet wird. Gibt es hier Lösungswege, die sowohl Rechtssicherheit für betroffene Personen schaffen als auch die Wettbewerbsfähigkeit sicherstellen?

Eine Frage im Zusammenhang mit dem erwähnten Fall war dann auch, ob das Unternehmen den gesamten Algorithmus, also beispielsweise alle Berechnungsformeln des Systems, offenlegen muss. Die Kreditauskunftei sah dies als ihr Geschäfts- und Betriebsgeheimnis an und wollte den Algorithmus daher nicht offenlegen. Der Lösungsweg des EuGH war, dass diese Informationen zunächst nur gegenüber der Datenschutzbehörde bzw. dem Gericht offenzulegen sind. Diese haben dann zu entscheiden, welche konkreten Informationen auch an die Gegenseite, also an die Kläger:innen, übermittelt werden müssen.

Die Datenschutzbehörde bzw. das Gericht hat hier einen Ausgleich zu schaffen. Einerseits gibt es dieses berechtigte Auskunftsinteresse der betroffenen Person, zum Beispiel von Bewerber:innen. Und andererseits gibt es ein Interesse der Hersteller:innen dieser Systeme, den Algorithmus, der den eigentlichen Wert dieses Unternehmens darstellt, nicht preiszugeben. Dieser Ausgleich kann geschaffen werden, indem nur Informationen gegenüber den Betroffenen offengelegt werden, die für die Wahrnehmung ihrer Rechte erforderlich sind.

Was heißt das konkret für Personen, die von Diskriminierung durch Algorithmen betroffen sind?

Als betroffene Person habe ich zwar nicht bis ins Letzte hinein das Recht zu erfahren, wie das System funktioniert, ABER: Ich habe den Anspruch zu wissen, warum diese Entscheidung in meinem konkreten Fall jetzt so ausgefallen ist. Warum wurde meine Bewerbung abgelehnt? Warum habe ich den Kredit nicht bekommen? Stellt sich beispielsweise heraus, dass mein Geschlecht oder Alter eine entscheidende Rolle gespielt hat, kann ich diese Information nutzen, um mich gegen Diskriminierung rechtlich zu wehren. Das Beispiel zeigt, wie die Weiterentwicklung des Datenschutzrechts durch den Europäischen Gerichtshof auch zum Schutz vor Diskriminierung beiträgt.