Diskriminierung durch Algorithmen

Algorithmen sind Schritt-für-Schritt-Anleitungen, die ein bestimmtes Problem lösen oder eine Aufgabe automatisieren. Algorithmen werden auf bestimmte Ziele und Bedürfnisse hin ausgerichtet und arbeiten datengestützt. Das kann Arbeitsprozesse wesentlich erleichtern und helfen, große Datenmengen zu verarbeiten. Man kann sich Algorithmen wie ein Rezept vorstellen: eine festgelegte Abfolge von Schritten, um ein Ziel zu erreichen. Ein Beispiel dafür sind Bewerbungen: Algorithmen können helfen, diese nach bestimmten Kriterien – wie etwa der Ausbildung oder der Berufserfahrung von Bewerber:innen – zu sortieren.

Diskriminierung durch Algorithmen entsteht, wenn automatisierte Systeme Menschen aufgrund bestimmter Merkmale wie Geschlecht, ethnischer Zugehörigkeit, Alter, sexueller Orientierung, Religion oder Weltanschauung sowie der Pflege von Kindern und Angehörigen benachteiligen oder ausschließen.

Zum Beispiel können Algorithmen bei der Bewertung von Bewerbungen diskriminierende Vorurteile übernehmen. Das passiert zum Beispiel, wenn der Algorithmus eines automatisierten Entscheidungssystems nur mit Daten von früheren erfolgreichen Bewerber:innen trainiert wurde – und diese waren fast alle männlich und weiß. Dann kann es passieren, dass der Algorithmus nur ähnliche Bewerber:innen gut bewertet und andere Kandidat:innen automatisch schlechter einstuft. So kann es bei Bewerbungsverfahren passieren, dass bei der Nutzung eines automatisierten Entscheidungssystems nur weiße Männer auf die Liste der passenden Kandidaten kommen. Dies kann Anwendungen wie das automatisierte Screening von Lebensläufen betreffen, wenn beispielsweise nur männliche Bewerber als Kandidaten für die Shortlist ausgefiltert werden.

Diskriminierungen können auch bei der strategischen Platzierung von digitalen Stellenanzeigen entstehen, wenn diese aufgrund diskriminierender Vorurteile nur bestimmten Zielgruppen angezeigt wird. Solche Systeme verstärken gesellschaftliche Ungleichheiten, wenn sie nicht sorgfältig entwickelt und durch geschultes Fachpersonal überwacht werden.

Die Anwendungsbereiche von Algorithmen sind sehr vielseitig. Hier sind Beispiele angeführt, die in die Zuständigkeit der Gleichbehandlungsanwaltschaft fallen.

Arbeitswelt:

• Stelleninserate über ein Online-Portal (z.B. wenn ein Algorithmus oder Chatbot Stellenagebot nach stereotypen Mustern verbreitet und etwa Männern und Frauen unterschiedliche Angebote anzeigt)
• Recruiting (z.B. wenn ein Algorithmus den Bewerber:innenpool sortiert, um über Einladungen zu Bewerbungsgesprächen zu entscheiden)

Zugang zu Gütern und Dienstleistungen:

• Wohnungsinserate auf Online-Plattformen (z.B. wenn ein Algorithmus oder Chatbot darüber entscheidet, welche Inserate Wohnungssuchenden überhaupt angezeigt werden)
• Wohnungsvergabe (z.B. wenn ein Algorithmus darüber entscheidet, welche Interessent:innen für eine Wohnungsbesichtigung in Frage kommen)
• Bankwesen (z.B. wenn ein Algorithmus über die Bonität von Kund:innen für Kreditvergaben entscheidet)
• Versicherungswesen (z.B. wenn ein Algorithmus über die Versicherungsstufe entscheidet)
• Programmierte Mindestvorgaben in digitalen Formularen

Es kann schwierig sein, Diskriminierung durch Algorithmen direkt zu erkennen, da diese oft im Hintergrund ablaufen und Entscheidungen automatisiert treffen. Die Gleichbehandlungsanwaltschaft hat besondere Auskunfts- und Informationsrechte und kann helfen zu ermitteln, ob Algorithmen eine Diskriminierung verursacht haben könnten. Algorithm Watch hat einige Indikatoren entwickelt, auf die Sie achten können:

• Sie haben z.B. eine digitale Anwendung oder Plattform verwendet oder Ihre Interaktion hat in der digitalen Sphäre stattgefunden. Darunter fallen z.B. digitale Portale für Job- oder Wohnungsanzeigen, digitale Kaufabschlüsse für Dienstleistungen (z.B. für Bankdienstleistungen, Versicherungsleistungen), Interaktionen mit einem Chatbot, Online-Formulare.
• Sie bekommen eine sehr schnelle, generische Rückmeldung auf Ihre Interaktion. Etwa beim Versicherungsabschluss, bei einer Jobbewerbung, einer Anfrage zu einer Wohnungsbesichtigung oder bei einer Kreditanfrage.
• Sie haben der automatisierten Datenverarbeitung explizit zugestimmt. Diese wird häufig bei AGBs, Datenschutzvereinbarungen oder ähnlichen Dokumenten eingeholt. Achten Sie dabei auf Stichwörter wie „automatisiert“, „maschinell“, „computergestützt“, „automatisch“, „mithilfe von Algorithmen“.

Hier geht es zum vollständigen Auto-Check Ratgeber von Algorithm-Watch: Ratgeber automatisierte Entscheidungssysteme

Wenn Sie vermuten, durch einen Algorithmus diskriminiert worden zu sein, kann die Gleichbehandlungsanwaltschaft im Rahmen ihrer Informations- und Auskunftsrechte überprüfen, ob ein solches System tatsächlich zum Einsatz kam. Sie kann bei dem betreffenden Unternehmen oder der Institution intervenieren und eine Stellungnahme zu den verwendeten Algorithmen und Entscheidungsprozessen einfordern. Zudem kann die GAW gegebenenfalls weiterführende Schritte unternehmen, um Diskriminierungen zu untersuchen und rechtliche Maßnahmen einzuleiten (z.B. Antrag bei der Gleichbehandlungskommission).

Aktuell besteht für Einzelpersonen ein großes Transparenzproblem beim Einsatz automatisierter Entscheidungssysteme und den Algorithmen, die diesen Systemen zugrundeliegen. Es ist deswegen für Einzelne gar nicht so einfach festzustellen, ob ein solches System zur Anwendung kam und auf welcher Weise dieses System beispielsweise personenbezogene Daten verarbeitet. Gleichbehandlungsstellen schaffen hier einen wichtigen Ausgleich, weil sie besondere Auskunftsrechte haben und das Mandat, gegen Diskriminierungen durch automatisierte Entscheidungssysteme vorzugehen.

Die Arbeitswelt und der Zugang zu Gütern und Dienstleistungen fällt in den Zuständigkeitsbereich der Gleichbehandlungsanwaltschaft. Algorithmen kommen in all diesen Bereichen zum Einsatz, sei es bei Recruiting-Prozessen oder bei der Schaltung von Jobangeboten oder Wohnungsanzeigen. Wenn ein Algorithmus Personen aufgrund eines Merkmals benachteiligt, das im Gleichbehandlungsgesetz geschützt ist, kann die Gleichbehandlungsanwaltschaft Unterstützung und Beratung anbieten.

Der am 01.08.2024 in Kraft getretene AI Act (Verordnung über Künstliche Intelligenz, KI-VO) verpflichtet Anbieter:innen und Betreiber:innen von KI-Systemen dazu, bei der Nutzung und Entwicklung von KI-Systemen die Menschenrechte zu wahren – dies umfasst auch die Einhaltung des Diskriminierungsverbots. Als nationale Anlaufstelle ist die Gleichbehandlungsanwaltschaft für die Einhaltung des Diskriminierungsverbots zuständig. Um Sachverhalte aufzuklären und rechtlich gegen Diskriminierungen vorzugehen, verfügt die Gleichbehandlungsanwaltschaft über besondere Auskunftsrechte. Diese Informationsrechte gelten laut der KI-Verordnung auch explizit bei Benachteiligungen und Diskriminierungen durch KI-Systeme. Außerdem kann sich die Gleichbehandlungsanwaltschaft gemäß Art. 77 Abs. 1 des AI Acts künftig an die zuständige Marktüberwachungsbehörde für KI-Systeme wenden, um Sachverhalte besser aufzuklären und effektiver gegen Diskriminierungen vorzugehen.

Die GAW spielt demnach eine Schlüsselrolle, um sicherzustellen, dass Künstliche Intelligenz diskriminierungsfrei eingesetzt wird. Die Gleichbehandlungsanwaltschaft unterstützt betroffene Personen und leistet auch proaktive Arbeit, damit diese Diskriminierungen vermieden werden.