KI-Kompetenz und Governance: Was die neue KI-Verordnung für das HR-Management bedeutet

Die Europäische Union möchte eine menschenzentrierte und vertrauenswürdige künstliche Intelligenz fördern und regelt daher die Entwicklung und den Einsatz von bestimmten KI-Systemen. Damit soll sichergestellt werden, dass Leben und Gesundheit der Betroffenen geschützt sowie deren Grundrechte – einschließlich des Rechts auf Nichtdiskriminierung – gewahrt werden.  Andreas Tinhofer ist Arbeitsrechtsexperte und Co-Autor von „KI und Arbeitsrecht“. Die Gleichbehandlungsanwaltschaft hat beim Rechtsanwalt nachgefragt: Wie können sich Unternehmen und Organisationen für eine rechtskonforme Anwendung von KI-Systemen vorbereiten?

Was sollten Unternehmen auf jeden Fall tun, um eine sichere und diskriminierungsfreie Anwendung von KI-Systemen sicherzustellen?

Also zunächst muss man sagen, dass das allgemeine Antidiskriminierungsrecht natürlich auch auf KI-Systeme Anwendung findet. Arbeitgeber:innen mussten daher bereits vor der KI-Verordnung (KI-VO) darauf achten, dass die Systeme, die sie im Personalmanagement verwenden, nicht diskriminierend sind.

Die KI-Verordnung verfolgt einen sog. „risikobasierten Ansatz“ mit vier Risikostufen für KI-Systeme. Die Regelungen werden in mehreren Etappen anwendbar. Seit 2. Februar 2025 gelten bereits das Verbot bestimmter KI-Anwendungen (z.B. Emotionserkennung am Arbeitsplatz) und die Verpflichtung zur sog „KI-Kompetenz“. Seit 2. August 2026 sind auch die für die Betreiber:innen von Hochrisiko-KI-Systemen geltenden Bestimmungen der KI-VO anwendbar.

Hinweis

Als Betreiber:innen gelten alle Unternehmen bzw. Organisationen, die KI-Systeme für ihre Arbeitsprozesse verwenden, ohne diese Systeme weiterzuentwickeln und als eigenes Produkt anzubieten. Das reicht von der Nutzung von KI-Systemen für das Personalrecruiting bis hin zum Support des Kundenservices. Als Hochrisiko-KI-Systeme gelten vor allem Systeme, die in bestimmten Bereichen eingesetzt werden, wie etwa im Personalmanagement.

Ab diesem Zeitpunkt haben Betreiber:innen eine Reihe von zusätzlichen Pflichten. So müssen sie etwa sicherstellen, dass die Eingabedaten für den Verwendungszweck des KI-Systems (z.B. ein Chatbot) relevant und ausreichend repräsentativ sind. Dies wäre beispielsweise nicht der Fall, wenn für die Erstellung eines Dienstplans ausschließlich die Arbeitszeiten von männlichen Mitarbeitern eingegeben würden, die allesamt Vollzeit arbeiten. Mit diesem Gebot der Eingabe repräsentativer Daten soll vor allem das Recht auf Nicht-Diskriminierung gewahrt werden. Bei Verstößen gegen die KI-VO drohen hohe Geldstrafen.

Und last but not least ist da noch die Datenschutzgrundverordnung (DSGVO), die Unternehmen auch im Zusammenhang mit KI-Systemen zu beachten haben. So dürfen etwa Personalentscheidungen nur unter sehr strikten Voraussetzungen an einen Algorithmus ausgelagert werden. In jedem Fall müssen Arbeitgeber:innen angemessene Maßnahmen treffen, um die berechtigten Interessen der betroffenen Arbeitnehmer:innen zu wahren. Dazu gehören zumindest das Recht auf Erwirkung des Eingreifens einer Person seitens des/der Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der automatisierten Entscheidung.

Was heißt das konkret für Betreiber:innen?

In der arbeitsrechtlichen Praxis stellt sich ganz konkret die Frage, ob ein HR-Tool eine bestimmte Entscheidung ohne substanzielle Beteiligung eines Menschen treffen darf, wie beispielsweise über die Auswahl von Bewerbungen. Also es gibt Systeme, die durchsuchen automatisiert die Bewerbungsunterlagen und nehmen dann nach bestimmten, jedoch auch den Entwickler:innen dieser KI-Anwendungen meist nicht bekannten Kriterien, eine Reihung vor (Stichwort: „Black Box“).

Gerade Unternehmen, die den Luxus haben, muss man sagen, sehr viele Bewerbungen zu bekommen, sind oft personell überfordert. Es ist sehr ressourcenintensiv alle Bewerbungen durchzusehen. Diese Systeme könnten jetzt eine Reihung der Bewerber:innen vorschlagen, und Arbeitgeber:innen sehen sich nur die Unterlagen der ersten 20 Bewerber:innen an. Diese Vorauswahl wäre eine Entscheidung, die ein System trifft, ohne dass ein Mensch involviert ist. Und das wäre nach der aktuellen Rechtslage grundsätzlich verboten.

Und was passiert, wenn diese Vorauswahl des Personalrecruitings ausgelagert ist und etwa in Form von Dienstleistungen dazugekauft wird: Wie schaut es da aus mit Haftungsfragen?

Also wenn man jetzt einmal absieht von KI-Systemen oder algorithmischen Systemen, ist an sich völlig klar, dass Arbeitgeber:innen auch für Diskriminierung von Bewerber:innen durch Personalberatungsunternehmen geradestehen müssen. Und letztlich gilt nichts anderes, wenn das Unternehmen hierfür das technische System einer Fremdfirma einsetzt. Man könnte sagen, hier erst recht.

Das ist natürlich für Arbeitgeber:innen oft schwer zu erfüllen, weil sie das System selbst nicht verstehen. Dennoch sind auch sie zur Auskunft über die Funktionsweise dieses Systems verpflichtet und können sanktioniert werden, wenn sie diese Pflicht nicht erfüllen. Es ist daher den Unternehmen zu empfehlen, sich durch entsprechende Vereinbarungen mit den Anbieter:innen dieser Systeme abzusichern.

Was denken Sie können Unternehmen sonst noch tun, um für diese Herausforderungen gut aufgestellt zu sein?

Aus meiner Sicht sollte vor der Anschaffung eines bestimmten HR-Tools überlegt werden: Für welche Aufgaben des Personalmanagements möchte ich dieses Tool einsetzen? Und da ist zu berücksichtigen, dass IT-Systeme nach aktueller Rechtslage nicht allein die Entscheidung treffen dürfen, soweit es um wesentliche Dinge geht wie etwa die Einstellung von Mitarbeiter:innen, deren Beurteilung oder auch die Auflösung von Dienstverhältnissen. In all diesen Fällen muss ein Mensch involviert sein und letztlich selbst die Entscheidung treffen. Das heißt, die Systeme können hier lediglich eine administrative Unterstützung bieten, wie etwa die Systematisierung von Bewerbungsunterlagen nach bestimmten Kriterien oder die Aufbereitung bestimmter Personaldaten.

Davon abgesehen sollten sich Unternehmen bei der Auswahl des HR-Tools die folgende Frage stellen: Welche Gewähr können mir Anbieter:innen geben, dass das System nicht bestimmte Arbeitnehmer:innengruppen diskriminiert? Das betrifft beispielsweise die Repräsentativität der Trainingsdaten. Da sollte man genau nachfragen. Es sollte auch ein Nachweis verlangt werden, dass das Tool auf Diskriminierungsfreiheit geprüft wurde. Die Auswahl rechtskonformer HR-Tools würde natürlich durch ein Zertifizierungssystem wesentlich erleichtert. In der Praxis gibt es hierzu bereits erste Ansätze.

Schließlich sollte die Einführung eines HR-Tools mit der Belegschaft besprochen werden. Wenn es einen Betriebsrat gibt, dann muss in der Regel ohnehin eine Betriebsvereinbarung abgeschlossen werden, nämlich immer dann, wenn es um personenbezogene Daten der Mitarbeiter:innen geht. Und das ist bei den meisten HR-Tools der Fall. Es ist daher wichtig, den Betriebsrat und allenfalls auch die restliche Belegschaft möglichst früh ins Boot zu holen. Im besten Fall wird die Entscheidung für ein bestimmtes HR-Tool von der Belegschaft mitgetragen. Denn eines ist klar: Wenn Arbeitnehmer:innen den HR-Tools nicht vertrauen, dann werden Arbeitgeber:innen diese nicht erfolgreich einsetzen können.

Und welche Schlüsselkompetenzen brauchen Arbeitnehmer:innen, um mit solchen Systemen gut arbeiten zu können?

KI-Kompetenz bzw. AI Literacy ist das Schlagwort der Stunde. Nach Art 4 KI-VO, der bereits seit Februar 2025 anwendbar ist, müssen nämlich sämtliche Mitarbeiter:innene, die KI-Systeme verwenden, Bescheid wissen über die Chancen, aber auch über die Risiken des Einsatzes solcher Systeme.

Wie man dieses Wissen vermittelt, darüber sagt die KI-VO nichts, dafür sind die Arbeitgeber:innen zuständig. Und es gibt jetzt auch keine Vorgaben, wie beispielsweise ein Zertifikat, das man als Unternehmen oder Organisation unbedingt bekommen muss. Es gibt aber natürlich schon einige Unternehmen, die solche Kurse anbieten. Wichtig ist: Alle Mitarbeiter:innen müssen das für ihre Position und ihre Aufgaben entsprechende Know-how haben. Das kann natürlich auch in internen Schulungen vermittelt werden. Viele Unternehmen bieten zunächst eine Basisschulung für alle Mitarbeiter:innen an, weil sie davon ausgehen, dass alle mit KI-Systemen zu tun haben werden (z.B. mit Chatbots). Darauf aufbauend werden dann noch Spezialkurse angeboten, je nachdem mit welchen Systemen Mitarbeiter:innen im Arbeitsalltag zu tun haben.

Wie ist die Situation für Unternehmen, welche keine Regelungen betreffend die Anwendung von KI-Systemen erlassen haben?

Das Unternehmen sollte immer den Überblick und die Kontrolle über die KI-Systeme haben, die von den Mitarbeitenden verwendet werden. Wenn Mitarbeiter:innen zur Erledigung ihrer Arbeitsaufgaben KI-Systeme einsetzen, dann ist diese Nutzung grundsätzlich den Arbeitgeber:innen zuzurechnen. Es gibt ein Phänomen, das nennt man „Schatten-KI“. Es gab schon früher in vielen Unternehmen das Problem, dass bestimmte IT-Tools von Mitarbeiter:innen eingesetzt wurden, ohne dass diese offiziell freigegeben waren. Arbeitnehmer:innen wollen sich damit die Arbeit erleichtern, das ist an sich auch nichts Verwerfliches. Aber das bringt natürlich Probleme mit sich – Sicherheitsthemen und auch Diskriminierungsrisiken. Letztlich tragen Arbeitgeber:innen die Verantwortung dafür und sollten daher tunlichst sicherstellen, dass sie wissen, was in ihrem Unternehmen geschieht.

Heutzutage kann man davon ausgehen, dass nahezu alle Mitarbeiter:innen KI-Systeme einsetzen, in der einen oder anderen Form. Und es gibt nach meiner Einschätzung nur wenige Unternehmen, die hierzu Richtlinien erlassen haben, die also den Rahmen für KI-Nutzung abstecken.

Aus meiner Sicht sollte man den Einsatz von KI-Tools nicht generell verbieten, weil es einen Wettbewerbsnachteil mit sich bringen würde, wenn man diese Technologie überhaupt nicht nutzt. Aber es sollte in einem geordneten Rahmen passieren. Es muss den Mitarbeiter:innen vermittelt werden, wofür sie diese Systeme einsetzen sollen und dürfen und wofür nicht.

Stellt nicht auch der Datenschutz bei Schatten-KI ein Problem dar?

Ja, auch hier ist der Datenschutz ein wichtiges Thema. Es sollten keinesfalls personenbezogenen Daten eingeben werden, außer es handelt sich um Systeme, wo sichergestellt ist, dass diese Daten im Unternehmen bleiben oder innerhalb eines geschützten Bereichs. Natürlich sollten auch Geschäfts- und Betriebsgeheimnisse nicht preisgegeben werden. Da gab es ja einige Negativbeispiele, wie etwa der Leak bei Samsung. Hier haben Mitarbeiter:innen Betriebsgeheimnisse in ChatGPT eingegeben, die damit gegenüber dem Chatbot-Betreiber OpenAI offengelegt wurden.

Brauchen Unternehmen nun Ihrer Meinung nach eine:n KI-Beauftragte:n?

Die Frage, ob KI-Beauftragte zu bestellen sind, wird oft gestellt. Da gibt es viel Gestaltungsspielraum. Wichtig ist, dass das Unternehmen eine Governance-Struktur hat, also dass klar ist, wer wofür zuständig ist. Anhand dieser Struktur wird etwa regelmäßig überprüft, ob die verwendeten KI-Systeme Bewerber:innen oder Mitarbeiter:innen diskriminieren. Diskriminierungen können sich auch erst später in ein KI-System einschleichen, etwa durch die Eingabe von Daten, aus denen das System lernt.

Und gibt es für Unternehmen bzw. Organisationen eine Verpflichtung zur Kennzeichnung, dass man mit KI-basierten Systemen arbeitet?

Bei den Transparenzpflichten im Zusammenhang mit der Verwendung von KI-Systemen muss man differenzieren: Nach der KI-VO müssen KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, für die Nutz:innen als solche erkennbar sein. So muss also etwa den Kund:innen auf der Website eines Unternehmens angezeigt werden, dass sie nicht mit einem Menschen, sondern mit einem KI-System chatten.

Davon abgesehen gibt es KI-Systeme, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen. Hier müssen Anbieter:innen und Betreiber:innen sicherstellen, dass die Ausgaben des KI-Systems als künstlich erzeugt oder manipuliert erkennbar sind. Wenn allerdings das KI-System sozusagen nur für den ersten Entwurf eines Textes oder allenfalls auch eines Bildes verwendet wird, den dann ein Mensch grundlegend überarbeitet, dann gilt diese Kennzeichnungspflicht nicht.

Im Arbeitskontext geht es bei der Offenlegungspflicht überdies um die Frage, ob Arbeitnehmer:innen ihren Vorgesetzten mitteilen müssen, dass sie zur Erledigung eines bestimmten Arbeitsauftrags KI einsetzen. Da gibt es jetzt noch keine Gerichtsentscheidungen dazu, aber erste Überlegungen in der Lehre. Demnach soll es darauf ankommen, ob und wie die Verwendung des betreffenden KI-Systems (zB ChatGPT) im Unternehmen geregelt ist. Bestehen einschlägige Regelungen (z.B. in Form einer Betriebsvereinbarung), dann müssen sich Arbeitnehmer:innen daran halten. Dies kann etwa bedeuten, dass die Verwendung solcher Tools gänzlich verboten ist. Oder es wird ihre Verwendung in einem abgesteckten Rahmen für bestimmte Zwecke ausdrücklich erlaubt.

Wie bereits erwähnt, dürfte es jedoch bis dato nur in wenigen Unternehmen einschlägige Nutzungsregelungen geben. In diesem Fall wird eine verantwortungsvolle Nutzung von allgemein zugänglichen KI-Tools als technisches Hilfsmittel erlaubt sein, so wie auch Suchmaschinen im Internet verwendet werden dürfen. Die Arbeitnehmer:innen müssen dabei jedoch – wie sonst auch – die Interessen der Arbeitgeber:innen wahren, also etwa den Datenschutz beachten und dürfen keine Betriebs- und Geschäftsgeheimnisse offenlegen.

Eine generelle Informationspflicht des/der Arbeitnehmer:innen betreffend die Verwendung eines im Arbeitsleben üblichen KI-Tools gibt es meines Erachtens nicht. Unter bestimmten Voraussetzungen könnte jedoch die arbeitsrechtliche Treuepflicht gebieten, dass Vorgesetzte über die Verwendung eines KI-Systems informiert werden. Dies wäre etwa der Fall, wenn die Arbeitsergebnisse besondere Risiken für das Unternehmen aufweisen (Stichwort: „Halluzinationen“ oder wenn die erbrachte Arbeitsleistung ohne Berücksichtigung des verwendeten Hilfsmittels völlig überbewertet würde.

Hinweis

Halluzinationen können bei der Nutzung von generativen KI-Systemen (z.B. sprachbasierten Modellen) entstehen. Es handelt sich dabei um Inhalte, die so formuliert sind, als ob sie korrekt wären, die aber nicht auf echten Daten oder Fakten basieren. Beispiele dafür sind: die KI erfindet Gerichtsurteile, die nicht existieren, aber plausibel erscheinen oder Studien, die es nie gab. Oder Zitate werden durch die KI erfunden und einer historischen Person fälschlich zugeordnet. Deswegen ist es zentral, dass Inhalte verifiziert und Quellen überprüft werden.