Erster Teil: Inputs

 

Die Diskussionsrunde zum Thema “Gesetzesrahmen für Fairness und Antidiskriminierung bei der Personalgewinnung” wurde mit einem Vortrag eingeleitet. Darin wurde in das Recht auf Nicht-Diskriminierung eingeführt, sowie in die rechtlichen Probleme, die sich bei der Überprüfung von KI-Anwendungen aus dem “Fairness-Privacy-Paradadox” ergeben. Das “Fairness-Privacy-Paradadox” beschreibt den Konflikt zwischen dem Gebot der Nicht-Diskriminierung und dem Privatlebensschutz, der sich daraus ergibt, dass zum Nachweis diskriminierenden Verhaltens in der Regel die Verarbeitung sensibler personenbezogener Daten erforderlich ist. 

 

Daraufhin wurde als Lösungsvorschlag der Entwurf eines Datentreuhand-Modells vorgestellt, das durch eine Trennung der Akteur*innen und Datensätze in der Lage ist, Diskriminierungen bei gleichzeitiger Gewährleistung des Datenschutzes zu identifizieren. 

 

Zweiter Teil: Workshop

​

Der zweite Teil war als Workshop ausgestaltet und sollte in einer geführten Diskussion die Hürden und Hemmnisse aus der Praxis identifizieren, die der Umsetzung des vorgestellten Modells entgegenstehen. Der Workshop war in zwei Kleingruppen-Sessions gegliedert, in denen die Teilnehmenden die Probleme und Hemmnisse zusammentragen, in der Gruppe vorstellen und kategorisieren sollten. Nach dem Zusammentragen der Ergebnisse in der Großgruppe wurden in der zweiten Session konkrete Lösungsvorschläge diskutiert. Es wurden Probleme und Hemmnisse der folgenden Kategorien diskutiert:

​

Kosten

 

Hinsichtlich der Kosten des vorgeschlagenen Modells wurde von verschiedenen Seiten angemerkt die Nutzung von Intermediärsdienstleistungen bringe eine weitere Inanspruchnahme der Ressourcen der Unternehmen mit sich und könne aufgrund des finanziellen Mehraufwands eine Markteintrittsbarriere, insbesondere für kleine Unternehmen und Startups darstellen. Jedenfalls müsse sich ein klarer Mehrwert für Unternehmen erkennen lassen. 

 

Als Lösungsvorschlag wurden Förderinstrumente für Startups eingebracht, um sich zu reduzierten Kosten zertifizieren zu können. Außerdem könne zur Kostenersparnis und Gewährung der Sicherheit ein europäisch unterstütztes IoT Framework mit lokalen Clouds, wie z.B. Arrowhead, genutzt werden. 

 

Implementierung

 

Hinsichtlich der Implementierung eines solchen Modells wurden folgende Punkte problematisiert: 

 

Ausgestaltung und Überwachung der Datenerhebung und -nutzung

• Wie wird die Richtigkeit der Daten gewährleistet?

• Wie sind Datenspeicherung und -löschung ausgestaltet?

• Wer darf Auswahlkriterien und sensitive Daten verknüpfen? Wer definiert überhaupt, was sensitive Daten sind?

• Wie werden die sensitiven Daten erhoben und wie wird gewährleistet, dass marginalisierte Gruppen ausreichend in den Daten abgebildet sind? - Es sollte zwingend auf Fremdzuschreibung (z.B. auf der Basis von Namen) verzichtet werden

• Es muss getrennt erhoben werden, welche die Auswahlkriterien sind, was die KI misst und wie die Auswahlentscheidung letztlich getroffen wird (DIN-33430 für Eignungsdiagnostik)

• Für eine optimale Entwicklung fairer Systeme wäre für KI-Anbieter*innen ein Zugriff auf 'live'- Daten notwendig

• Schnittstellen zwischen den verschiedenen Systemen (insb. mit Blick auf die IT-Sicherheit)

• Wie werden Analyseergebnisse zurückgespielt?

 

Hier wurde vorgeschlagen ein Candidate-Journey-Modell zu entwickeln, in dem klar kommuniziert wird, welche Daten, wann, wozu und wie lange erhoben bzw. gespeichert werden. Generell seien transparente Kriterien für die Erhebung sensibler Daten erforderlich, in welchen festgehalten wird wofür die Daten gebraucht werden, wie und wie lange sie genutzt werden, usw. Teilweise wurde gefordert Daten zu sensiblen Themen wie Migrationsgeschichte und Rassismuserfahrung generell nur auf freiwilliger Basis und mit Hilfe von Selbstbezeichnungen zu erheben, wozu der folgende Leitfaden vorgeschlagen wurde: 

https://citizensforeurope.org/advocating_for_inclusion/?lang=de.

Dagegen wurde eingewandt, dass dies zu einer völligen Verzerrung der Datengrundlage führen könne, da sich  manche Minderheiten-Gruppen dann ggf. gar nicht in den Daten abbilden würden.

 

Ausgestaltung der Audits

• Wer ist bei dem Audit- Prozess dabei?

• Gibt es einheitliche Bewertungsschemata und wer setzt die Maßstäbe für die Analysen?

• Ist das überhaupt skalierbar? Audit müsste (bestenfalls) für jeden Anwendungsfall einzeln gemacht werden.

• Sind die KI-Anbieter*innen dazu bereit ihre Modelle offenzulegen, um sich dem "Audit" zu stellen? Hier dürfte die oft fehlende Transparenz problematisch werden.

• (Wie) könnte man ggf. Unternehmen dazu verpflichten, ihre Daten an Treuhänder*innen zu übergeben?

• Wie kann das Erfordernis hinreichend konkreter Vorgaben mit dem Anspruch der Technologieoffenheit und technischen Innovation vereinbart werden?

• Handelt es sich um einen "Verbesserungsprozess" oder eine einmalige Evaluierung?

 

Zur Schaffung einheitlicher Schemata wurde der Aufbau eines Transparenzkatalogs für KI-Anbietende vorgeschlagen, der klare Kriterien enthält, welche Informationen über KI-Systeme

erforderlich sind und bereitgestellt werden müssen. Auch eine Richtlinie für die Durchführung von Auditierung und Analysen i.S. der DIN 33430 sei denkbar. Als Anreiz zur Partizipation von KI-Anbietenden könne ein geschütztes Siegel für KI-Anbieter*innen als Gütemerkmal (und damit Wettbewerbsvorteil) geschaffen werden. 

 

Rechtssicherheit

 

Es wurden von verschiedenen Seiten Bedenken zur Verteilung von Haftung und Verantwortlichkeit zwischen den Akteur*innen geäußert, die im Vorhinein zu klären seien, so z.B.:

• Wer haftet für AGG-Ansprüche, wenn eine zertifizierte/von Treuhänder*innen getestete KI sich doch als diskriminierend herausstellt? Wem obliegt in solchen Fällen die Beweispflicht?

• Bei wem liegt die Verantwortung, wenn schon die Auswahlkriterien selbst Diskriminierungspotentiale aufweisen? Müssen dann die Datentreuhänder*innen intervenieren?

 

Zudem wurden eine Reihe allgemeiner rechtlicher Fragen gestellt, so etwa:

• Gibt es möglicherweise vergaberechtliche Probleme insofern z.B. Akteur*innen aus der öffentlichen Verwaltung beteiligt sind?

• Wie formulieren wir unseren Auftrag, bzw. den Verarbeitungszweck, in den Auftragsverarbeitungs-Verträgen? Vermutlich würde eine allgemeine Aussage wie "Diskriminierung verhindern/aufdecken" nicht ausreichen.

 

Zur Auflösung der Rechtsunsicherheit wurden teilweise klarere gesetzgeberische Vorgaben gefordert, die Fragen zur Zulässigkeit der Datenverarbeitungen, Löschfristen und Interventionsrechte regeln. Auch ein*e staatliche*r Treuhänder*in käme in Betracht. Neben der Einführung von Standards für Datenqualität und -evaluierung seien Modelle der regulierten Selbstregulierung erforderlich. 

 

Konzeptionelle Aspekte

 

Es kamen zudem eine Reihe konzeptioneller Fragen auf, die vor der Implementierung eines solchen Modells geklärt werden müssten: 

• Gibt es einen Wettbewerb von Datentreuhand- Anbieter*innen? Wie wird eine hinreichende Größe und Qualität der Datenpools auch über die Grenzen verschiedener Anbieter*innen hinweg gewährleistet?

• Wer lässt sich eigentlich zertifizieren - Anwender*innen oder Anbieter*innen?

• Wie gewährleistet man die Einbindung von Partizipationsprozessen? Eine Zusammenarbeit zwischen den Anbieter*innen, Anwender*innen und Forscher*innen meist erst zu einem Zeitpunkt möglich, indem die Entscheidung für ein System bereits getroffen wurde.

 

Zur Gewährleistung hinreichender Qualitäts-Standards wurde das Erfordernis einer hinreichenden (ggf. standardisierten) Testung der KI-Systeme vor einer Einführung im Recruitingbereich betont. Danach seien Testungen in Pilotprojekten entsprechend des jeweiligen Kontextes erforderlich.

 

Scope

​

• Wie können verschiedene Bewerbungskanäle erfasst werden - also online und offline Kanäle? 

• Wie funktioniert dieses Modell für globale Unternehmen?

• Ergeben sich Besonderheiten für internationale Datentransfers?