Bias in KI verstehen und verringern 

Intro:
Künstliche Intelligenz sagt nicht die Zukunft voraus, sondern die Vergangenheit. Das sagt Katharina Mosene, Wissenschaftliche Mitarbeiterin am Alexander von Humboldt Institut für Internet und Gesellschaft und natürlich auch Co-Leiterin des Programmbereichs „Wissenschaftskommunikation, Agile Formate und Bibliotheksdienste“ hier am Leibniz-Institut für Medienforschung I Hans-Bredow-Institut (HBI). 
Mit Katharina möchte ich heute darüber sprechen, warum Künstliche Intelligenz nicht neutral st und warum es eine intersektional-feministische Perspektive braucht, um Macht- und Ungleichheitsverhältnisse zu erkennen und ihnen entgegenzuwirken. 

Jingle: 
BredowCast. Wir erforschen was mit Medien. 

Kristina Kobrow:
Liebe Katharina, schön, dass du da bist. 

Katharina Mosene:
Ich freue mich. Vielen Dank für die Einladung.

Kristina Kobrow:
Du hast in einem Beitrag für die Friedrich-Ebert-Stiftung mal geschrieben, Künstliche Intelligenz sagt nicht die Zukunft voraus, sondern die Vergangenheit. Was meintest du damit? 

Katharina Mosene:
Das ist ein bisschen eine Zuspitzung des Diskurses, der sich schon länger im Feld von KI findet, rund um die Frage von, wie neutral ist die Technologie eigentlich, wie neutral sind auch die zugrunde liegenden Codes und vor allem die Trainingsdatensätze. Die allermeisten wissen, dass Künstliche Intelligenz im Wesentlichen darauf beruht, dass große Datensätze, Trainingsdatensätze zusammengesetzt werden, um davon ausgehend Entscheidungen für die Zukunft zu treffen oder eben für uns Texte auszugeben, wenn wir Large-Language-Models nutzen. Das heißt, wir nutzen alte Datendaten aus der Vergangenheit, um sowas wie Zukunft vorherzusagen oder Zukunft unter Umständen auch zu beschreiben. Und das kann das System natürlich gar nicht, weil es eben historische Trainingsdatensätze sind, in die historische Ausschlüsse, Diskriminierungsmuster und Logiken eingeschrieben sind. Und insofern ist die Zuspitzung, die ich da gemacht habe, eine, die ich noch immer haltbar finde, nämlich, dass KI eigentlich derzeit eben nicht Zukunft voraussagt, wie uns die Companies das häufig glauben lassen wollen, das ist das große Versprechen, sondern die eigentlich gar nicht anders können als Vergangenheit vorherzusagen. 

Kristina Kobrow:
Aber dann können sie ja auch nie neutral sein, oder? Weil du eben, glaube ich, das so formuliert hattest, wie neutral sie sind. Es geht ja gar nicht, dass sie neutral sind, oder? 

Katharina Mosene:
Das ist natürlich eine große philosophische Frage, wenn wir uns darüber unterhalten, wie neutral sind die Wissenschaften, wie neutral sind die Wissenssysteme an sich und wie neutral können dann technische Systeme sein, die darauf aufsetzen, die gebaut sind von Menschen, die auch nie neutral sind. Wir alle haben unbewusste Diskriminierungsmuster und Stereotype immer dabei, wenn wir auf Dinge schauen. Aber die Frage ist eben, an was können wir uns annähern mit Blick auch auf so etwas wie situiertes Wissen. Das ist ein ganz klassisches Konzept in den Geschlechterstudien, in den feministischen Ansätzen von Donna Haraway, die genau davon ausgeht, dass es eben diesen neutralen oder objektiven Blickwinkel gar nicht gibt, sondern dass wir immer auf situiertes Wissen zurückgreifen, also Wissen im Kontext und dass wir uns selbst immer auch verorten müssen in Position zum wissenden Subjekt oder zum wissenden Objekt. Und insofern ist diese Frage von Neutralität sowieso eine, die sich in der Form gar nicht beantworten lässt.

Kristina Kobrow:
Wenn wir jetzt nochmal zum Wort tatsächlich zurückkehren, künstliche Intelligenz, kann man denn eigentlich sagen, es ist künstlich und kann man sagen, es geht hier um Intelligenz? 

Katharina Mosene:
Also das Interessante ist ja, dass dieser Begriff an sich schon mit Imagination und Wünschen von Menschen sehr stark spielt. Es ist ja ein Marketingbegriff, den die Unternehmen auch nicht umsonst gewählt haben. Es gibt eine zivilgesellschaftliche Organisation in Deutschland, Algorithmwatch heißen die, da schreibt ein Kollege der Newsletter, der sehr empfehlenswert ist für all diejenigen, die sich in diesem Themenbereich informieren möchten. Und der hat vor ein paar Monaten mal einen Vergleich gemacht zwischen künstlicher Butter und Künstlicher Intelligenz. Was ist eigentlich künstliche Butter? Wie nennen wir das? Margarine. Aber das klingt ja gar nicht so schön, oder? Und wie wäre es, wenn wir Künstliche Intelligenz, computerbasierte Rechen- und Stochastikmodelle nennen würden? Würde das bei uns andere Assoziationen wecken als ein so stark aufgeladener Begriff wie der der Intelligenz, wo wir uns auch beim Menschen noch gar nicht sicher sind, wie das so alles funktioniert und zusammengeht. Das heißt, man darf ohnehin hinterfragen, woher eigentlich dieser Begriff kommt, warum er genutzt wird von den Companies und warum er sehr stark aufgeladen, so auch in die Zukunft erzählt wird. Nachdem was jetzt an Künstlicher Intelligenz da ist, ist der neue Diskurs im Grunde bei den großen Unternehmen ja einer um sogenannte AGI, also Artificial General Intelligence, eine Intelligenz, die uns dann tatsächlich alle Aufgaben abnehmen wird, die uns von Lohnarbeit befreit und uns nur noch die schönen Dinge tun lässt…

Kristina Kobrow:
… wir alle frei…

Katharina Mosene: 
Genau, da kann man viele interessante, also tatsächlich substanzielle Hintergründe nachlesen bei Rainer Mühlhoff, bei Timnit Gebru, vielen Kollegen, die dazu schon gearbeitet haben. Aber alles läuft im Grunde in Richtung dieser Erzählung des Narrativs der Unternehmen. Und wir müssen, glaube ich, wachsam bleiben als Gesellschaft, das fortwährend zu hinterfragen, dass es künstlich und damit immer noch Menschen geschaffen ist und dass es in der Form in keinster Weise derzeit einer Intelligenz ähnelt, wie wir sie vom Menschen kennen. 

Kristina Kobrow:
Hinterfragen ist für mich ein gutes Stichwort, denn wir wollen heute ja über Verzerrung, über Bias sprechen, die sich aus Künstlicher Intelligenz ergeben, beziehungsweise aus den Trainingsdaten. Du hast auch in einem anderen Beitrag geschrieben und ich glaube, du baust auf einem Zitat auf, was von Kate Crawford stammt, die in einem Beitrag gesagt hat, wenn wir über KI sprechen, dann sprechen wir eigentlich auch über „Register der Macht“, ist der deutsche Begriff, die deutsche Übersetzung, glaube ich, dafür gewesen. Ich glaube, sie hatte gesagt „Registry of Power“, oder? Was meinst du mit deiner Übersetzung damit? 

Katharina Mosene:
Also wenn wir auf dieses System von Künstlicher Intelligenz schauen, dann wirkt es zunächst mal so, als würden wir uns ein reines technisches Konstrukt anschauen. Und es gibt im Bereich auch der technischen Wissenschaften, der technischen Forschung ganz viele Ansätze, um zum Beispiel diese Biases, diese Ausschlüsse in den Trainingsdatensätzen, über die wir zu Anfang gesprochen haben, technisch zu lösen. Also technische Fairnessmetriken zu entwickeln, technische Bias Mitigation zu betreiben. Das unterminiert aber die Tatsache, dass KI vielmehr ist als ein rein technisches Konstrukt, sondern ein sozio-technisches System, also ein System, das aus der Gesellschaft kommt und in die Gesellschaft zurückwirkt. Und aus einer feministisch-intersektionalen Perspektive, und das ist zunehmend auch durchaus etwas, was in der wissenschaftlichen Debatte im Fokus steht, müssen wir KI, glaube ich, sukzessive eben nicht als technisches Assistenzsystem oder sowas begreifen, sondern als System von Macht und Herrschaft. Das ist, was im Grunde auch in einem intersektionalen feministischen Ansatz immer inne liegt. Feministische Ansätze fragen immer nach Macht- und Herrschaftsstrukturen innerhalb von Systemen. Und wenn wir uns diesen Komplex der Künstlichen Intelligenz anschauen, überall da, wo sie ordnend, sortierend, kategorisierend eingesetzt wird, dann sehen wir, dass in dieser auch zunehmenden Verstetigung der Infrastrukturalisierung von KI tatsächlich Macht gebündelt wird und auch Herrschaft gebündelt wird. Und gleichsam wird Macht ein bisschen verschleiert. Stellen wir uns vor, da fällt jetzt KI in ganz viele bürokratische Prozesse rein und entscheidet eben darüber, welche Sozialvergabe, welche sozialen Dinge ich bekomme, ob ich Anrechte auf Kindergeld... 

Kristina Kobrow:
…Genau, das ist super mit Beispielen. Gib gerne mal konkrete Beispiele, wie so Verzerrungen entstehen dann. 

Katharina Mosene:
Also um den Gedanken zu Ende zu führen, und dann gebe ich vielleicht nochmal Beispiele. Wenn wir uns KI in Verwaltung angucken, dann werden sehr viele Forderungen danach laut, KI zu benutzen, um Prozesse effizienter und vermeintlich auch objektiver zu gestalten, um Fachkräftemangel auszugleichen, manches mehr. Und dazu gehört dann zum Beispiel die Forderung, dass wir KI-Systeme nutzen, um über soziale Sicherungssysteme mit zu entscheiden. Also bekomme ich Kindergeld, ja oder nein, und welche Höhe hat das? Bekomme ich Rente, ja oder nein, und welche Höhe hat die? Bekomme ich Weiterbildung, um mich besser zu qualifizieren, wieder in den Arbeitsmarkt zu kommen, ja oder nein. Wir sind in Deutschland noch nicht so weit, dass wir solche Systeme im Einsatz haben. Wir können nach US-Amerika gucken, wir können auch in den europäischen Raum gucken, um zu schauen, was solche Systeme da tun. Und was wir sehen ist, dass sie eben sehr stark tatsächlich Diskriminierung tradieren. Es gab einen großen Skandal in den Niederlanden, den haben manche verfolgt, da ist ein KI-System eingesetzt worden, um zu detektieren, ob Familien, die Kindergeld bekommen, betrügen. Und da ist KI eingesetzt worden, die dann einen Ping ausgegeben hat, im Grunde an die Mitarbeiter in der Behörde und gesagt hat, diese Familie hat potenziell betrogen, der steht gar kein Kindergeld zu oder viel weniger. Und die Familien wurden sofort aufgerufen, das Geld zurückzuzahlen. Viele konnten das gar nicht zahlen, haben sich hoch verschuldet. Viele haben widersprochen, hatten aber wenig juristischen Beistand. Und die Behörde hat diesen Widerspruch auch gar nicht ernst genommen, weil sie hatte ja eine Maschine, die ihnen gesagt hat, so muss es sein. 

Kristina Kobrow:
Und wie kam die Maschine darauf? 

Katharina Mosene:
Nachdem Wissenschaftler*innen dann die Möglichkeit hatten, sich das anzuschauen, konnte man sehen, dass die Maschine massiv diskriminiert hat gegenüber migrantisch gelesenen Gruppen. Und das hatte schlicht und ergreifend damit zu tun, dass schon in die Trainingsdatensätze, die in das Training der Maschine eingepflegt wurden, dass schon da diese diskriminierenden Systeme hinterlegt waren, weil schon vorher auch auf Ämtern, auf denen Kindergeld verteilt wird, zum Teil solche diskriminierenden Strukturen vorlagen. Und die Maschine hat das Ganze skaliert, hochgerechnet und hat sehr spezifisch gegen eben bestimmte, ohnehin marginalisierte Gruppen in Gesellschaft diskriminiert. Und das ist, was wir eben sehen: Diese Diskriminierung, diese Ausschlüsse, die durch KI entstehen, betreffen eben nicht alle gleich, sondern sie betreffen diejenigen vulnerablen und marginalisierten Gruppen, die ohnehin von Ausschlüssen und Diskriminierung in Gesellschaften sehr stark betroffen sind. Ganz viele von uns kennen das Beispiel, was mittlerweile wirklich alt ist, weil von 2018 von Gesichtserkennung, also Gesichtserkennung, die nicht in der Lage, über Jahre nicht gut in der Lage war, zu detektieren, Schwarze, vor allem weiblich gelesene Schwarze Gesichter. Ausgehend von Kolleginnen, Schwarzen Kolleginnen, die selbst festgestellt haben, dass sie nicht erkannt wurden von unterschiedlichen Systemen. Das heißt, Betroffenheit hat dazu überhaupt mal dafür gesorgt, dass Wissenschaft betrieben wurde. Dann gab es Zugriff auf die Trainingsdatensätze und die Kolleginnen konnten nachweisen, dass diese Systeme deshalb nicht in der Lage waren, Schwarze, vor allem weiblich gelesene Schwarze Gesichter zutreffend zu detektieren, weil sie zu über 70 Prozent mit männlichen oder männlich gelesenen Gesichtern, würden wir sagen, trainiert wurden, zu über 80 Prozent mit weißen Gesichtern. Es macht sehr deutlich, wie wichtig es ist, dass Trainingsdatensätze natürlich kuratiert werden, dass natürlich geschaut wird, was steckt da drin und welche Personen fallen raus. Das ist das Beispiel der Untererfassung. Das Beispiel der Untererfassung wird relativ deutlich auch im medizinischen Sektor. Das sind übrigens auch diejenigen, die sehr stark mittlerweile in kleineren Forschungsprojekten versuchen, ihre Datenlücken zu schließen und zum Beispiel Daten von Frauen, Daten von BIPOC-Personen aufzufüllen. Die bekannteste, man nennt das dann Gender Data Gap, also die bekannteste Datenlücke mit Blick auf Geschlecht, kennen ganz viele, das ist die Herzinfarktsymptomatik. Über Jahre haben wir alle geglaubt, wir müssten alle dieselben Symptome haben. Die linke Seite tut weh, das Herz, der Arm und so weiter. Bis irgendwann sich herausstellte, dass das vor allem männliche Symptome sind. Frauen haben ganz andere Symptome. Und über Jahrzehnte hatte das niemand erfasst und Frauen sind auf der Basis falsch behandelt worden und auch nicht ernst genommen worden. 

Kristina Kobrow;
Aber da muss ich einmal auch reinreden, warum wurde es denn nicht erfasst? Die waren doch trotzdem beim Arzt. Es ist ja nicht so, als wären Frauen jetzt irgendwie nie dagewesen oder so. Das wäre jetzt ganz neu.

Katharina Mosene;
In der Tat ist das die Frage, was dem zugemessen wird und wem Bedeutung geschenkt wird. Und offensichtlich hat niemand in groß angelegten Studien darüber nachgedacht, dass Symptome unterschiedlich sein könnten oder hat getrackt, dass Frauen andere Symptome haben. Es gibt mittlerweile viel Bewegung, es gibt Gendermedizin und ganz viele Schwerpunkte, die genau das aufarbeiten. Aber über Jahrzehnte hat übrigens auch der Frauenkörper in ganz vielen Debatten gar nicht stattgefunden. Wir können uns auch noch an die Diskussion erinnern der Dummies im Auto, die so einem durchschnittlichen männlichen Körper folgen. Und bis heute ist es so, dass die Durchschnittsgröße unserer Smartphones sich an durchschnittlichen männlichen Händen ausrichtet.

Kristina Kobrow:
Ach echt? 

Katharina Mosene:
Selbstverständlich. Es gibt ein sehr schönes Buch von Caroline Criado-Perez, das heißt „Invisible Women“, auf Deutsch „Unsichtbare Frauen“. Da macht sie genau das auf. Also diese vielen Datenlücken, die nicht erst seit dem Internet, nicht erst seit der Digitalisierung oder KI bekannt sind, sondern die schon weit vorher geformt wurden, schlicht deshalb, weil wir in patriarchalen Strukturen leben, in denen bestimmten Gruppen mehr Aufmerksamkeit beigemessen wird als anderen. 

Kristina Kobrow:
Gott, da steckt jetzt, glaube ich, gerade ganz, ganz viel drin. Ich glaube, wir müssen noch einmal kurz bei der Definition kurz einhaken. Nämlich du verwendest es natürlich selbstverständlich, weil du dich damit beschäftigst, mit intersektional. Sag nochmal bitte deine Definition. Was bedeutet intersektional-feministisch in diesem Kontext? 

Katharina Mosene:
Also eine intersektional feministische Perspektive geht zurück auf Kimberlé Crenshaw, das war die erste Kollegin, die intersektionale Diskriminierung im Grunde beschrieben hat. Und die geht davon aus, dass Diskriminierung nicht entlang einer Achse verläuft. Also man ist zum Beispiel nicht nur diskriminiert aufgrund seines Geschlechtes, sondern dass wir sehr häufig intersektionale Diskriminierung sehen auf unterschiedlichen Achsen. Das trifft sich ganz gut im Beispiel der Gesichtserkennung. Nicht nur Frauen werden im System schlechter erkannt als Männer, sondern Schwarze Frauen werden schlechter erkannt als weiße Frauen. Und das ist die Intersektion von Ausschlusssystemen. Es geht nicht um eine Addition von Diskriminierung, sondern es geht um eine wechselseitige Verstärkung von Diskriminierungssystemen. Und die großen Kategorien, in die man da klassischerweise schaut, sind Fragen von Gender, sind Fragen von Race, sind Fragen von Class. 

Kristina Kobrow:
Okay. Das heißt, es geht auch gar nicht unbedingt immer um Minderheiten.

Katharina Mosene:
In der Tat ist es das falsche Wort, über Minderheiten zu sprechen. Wir können über marginalisierte Gruppen sprechen. Das hat dann eben damit zu tun, welche Ideen in Gesellschaften hegemonial sind, wer welche Machtposition innehat, wer wie stark sich auch an verschiedenen Stellen repräsentiert sieht. Und das übrigens ist interessant zu beobachten, auch wenn man, und man kann ja unterschiedliche Fragen stellen, warum KI diskriminiert an ganz vielen Stellen und an welchen Stellschrauben da auch zu drehen wäre. Und da lohnt es sich zum Beispiel immer, einen Blick auch ins Feld derer zu werfen, die die KI gerade entwickeln. Und es fängt an damit, dass die großen Companies, die uns mit Systemen derzeit versorgen, vorwiegend im Globalen Norden sitzen. Also sagen wir Nordamerika, Silicon Valley plus China, kann man sagen. Dass das Teams und Unternehmen sind, die sehr stark geprägt sind von cis-heteronormativen weißen Männern. Und wenn man dann wirklich reinschaut in die Struktur der Arbeitsplätze und sagt, naja, wie viele Frauen, wie viele genderdiverse Personen, wie viele Schwarze Frauen, wie viele indigene Frauen, wie viele Frauen mit Behinderung sind eigentlich in den Teams, dann werden die Zahlen immer, immer, immer kleiner. Also wir haben auf europäischer Ebene ungefähr 30 Prozent Frauen und das ist eine rein binäre Erhebung im KI-Entwicklungskontext. In Deutschland haben wir sehr viel weniger. Da liegen wir so zwischen 20 und 25, je nachdem, wie genau man in die Bereiche schaut. Das sagt uns aber noch gar nichts darüber, ob die auf CEO-Positionen sitzen, ob das Chefentwicklerinnen sind oder ob die Teile der Teams sind. Und wir wissen auch noch gar nichts über Race, also ethnische Hintergründe, wir wissen nichts über Class, also was sind die sozialen Schichtungen, was sind andere Kategorien, die abgebildet sind. Und das ist durchaus ein wesentlicher Faktor, ein wesentlicher Hebel, der sich so auch in der wissenschaftlichen Erkenntnis zunehmend zentriert. Eben die Frage, wie bringen wir eigentlich viel mehr diverse Perspektiven ins Feld. Denn diejenigen, die die Technologie bauen, sind diejenigen, die die Frage stellen, die erstmal das Problem identifizieren. Was ist das gesellschaftliche Problem, auf das wir glauben, dass wir eine technische Lösung bieten könnten. Das sind gleichsam diejenigen, die glauben, sie hätten die Antwort darauf. Deshalb bauen sie das technische System. Und es gibt Kolleg*innen in den Sozialwissenschaften, in der Genderforschung, vor allem in Zentral- und Lateinamerika, wo sehr, sehr viele Systeme auch mit staatlicher Förderung eingesetzt werden, die ich so gerne zitiere, wenn ich darüber spreche. Da gibt es eine Kollegin, die sagt, das finde ich wirklich zutreffend, wieso werden eigentlich so viele Systeme entwickelt, die eingesetzt werden, um vorherzusagen, also vermeintlich zu detektieren, zu welchem Zeitpunkt junge Frauen in armen Nachbarschaften ungewollt schwanger werden. Denn genau solche Systeme werden entwickelt. Und wieso entwickelt denn niemand mal eine KI, die uns vorhersagt, zu welchem Zeitpunkt weiße, alte US-Politiker korrupt werden. Und das ist zugespitzt, aber genau der Punkt, den ich machen will. Wer stellt die Frage und wer glaubt, er, sie, they hätte die Antwort darauf. Und ein Hebel in diesem Feld kann natürlich sein, die Teams sehr viel diverser zu gestalten, schlicht und ergreifend deshalb, weil dann viel mehr Kontexte einfließen, Wissen, Kontexte, Erfahrung, eben echte sozusagen Erlebnisse, unterschiedliche Blickwinkel auf Welt und Realität. Und das kann durchaus dazu beitragen, dass am Ende Entwicklung besser dasteht, als sie das derzeit tut. 

Kristina Kobrow:
Aber eben auch nur, wenn wirklich alle ja mitbestimmen können, oder? 

Katharina Mosene:
Selbstverständlich. Und es gibt viele Forderungen auch von Seiten feministischer Wissenschaftler*innen, aber auch Aktivist*innen, die sehr stark in dem Feld unterwegs sind, die sagen, auch das reicht nicht. Wir müssen eigentlich viel stärker betroffene Gruppen, also die Gruppen, die von der Technologie betroffen sind und eben marginalisierte Gruppen an den Tisch bringen. Schon bevor die Entwicklung startet, müssen wir eigentlich mit den betroffenen Communities uns hinsetzen und sagen, welche Art von Technologie würde denn helfen, um das Problem zu lösen? Und die fortwährend im Prozess halten, viel stärker auch in Prozessen zu auditieren, zu dokumentieren, zu testen, bevor solche Systeme live und an den Markt gehen. Und sich immer wieder Feedback einzuholen eben von Communities und Gemeinschaften, die sonst nicht beachtet werden innerhalb dieses Prozesses. 

Kristina Kobrow:
Ich würde gerne nochmal so ein bisschen breiter werden auch, weil jetzt hattest du ja auch schon erwähnt, es gibt sozusagen die Gruppen, die irgendwann selber merken, hier werde ich nicht gesehen, zum Beispiel Gesichtserkennung. Und dann werden andere, die Entwickler, wie auch immer, überhaupt darauf aufmerksam. Aber wenn ich jetzt zum Beispiel ein großes Sprachmodell, also ein Large-Language-Modell generativer KI nutze, wie kann ich denn überhaupt erkennen, dass da Verzerrungen drin sind? Kann ich das überhaupt erkennen? Oder habe ich selber irgendwie, ja sicherlich immer Vorurteile, dass ich das gar nicht mitbekomme, obwohl ich es vielleicht aber mitkriegen möchte. Kann ich es immer sehen oder nicht? 

Katharina Mosene:
Das ist genau der Punkt. Und deshalb läuft diese ganze Debatte immer so ein bisschen Gefahr, aus meiner Sicht sehr abstrakt zu werden. Und so auf der Meta-Ebene zu bleiben. Eben dann, wenn so Personen wie ich auch über sowas wie hegemoniale Erzählungen sprechen. Denn wir müssen schon einmal verstehen, wie solche Large-Language-Modells funktionieren. Wir wissen ja nicht sehr, sehr viel, auch aus wissenschaftlicher Perspektive. Uns fehlt viel Einblick in Unternehmen immer noch in der Frage, wie werden da Trainingsdatensätze zusammengesetzt. Wir wissen, dass sie, um das mal zu vereinfachen, lernen aus dem ganzen Internet. Und das ganze Internet besteht natürlich aus vielen guten, offen verfügbaren wissenschaftlichen Artikeln. Aus Artikeln und Berichten von NGOs, Zivilgesellschaft, staatlichen Akteuren. Aber das Internet besteht aus der Wikipedia. Aber es besteht eben auch aus Social-Media-Plattformen, auf denen sehr viel Desinformation verbreitet wird. Es besteht aus Reddit-Foren, 4chan, Xchan, die bekannt sind dafür, antifeministische und queerfeindliche Narrative zu verbreiten. Das ist das Internet. Wir wissen sehr wenig darüber, wie im nächsten Schritt kuratiert wird, welche Inhalte jetzt dann bei mir eigentlich in der Pipeline ganz am Ende ausgespuckt werden. Ich glaube, es hilft aber zunächst mal, sich klarzumachen, dass das, was da vor mir steht, kein mystisches, allwissendes System ist, das so gottgleich mir Antworten auf jede Frage gibt. Und mit dieser Erkenntnis auch zu verknüpfen, dass man doch hinterfragen darf, ob es eigentlich vernünftig ist, einem System, das ich frage, wie lange ich mein Spiegelei braten muss, Fragen zu meiner psychischen Gesundheit zu stellen. Denn das sind ja die Anwendungsfälle, die passieren mit ein und demselben System, mit ein und derselben Logik. Und wir wissen, dass es auf ganz vielen Ebenen extrem problematisch ist. Wir wissen aber, dass Menschen es nutzen. Wir alle nutzen es. Ich nutze es auch. Aber die Anerkennung der Tatsache, dass es kein mystisches System ist, sondern immer noch ein stochastisches System, das in aller Regel nacherzählt, was es irgendwo online gefunden hat. Das hilft, um das Ganze so ein bisschen zu demystifizieren. Nochmal, auch weil die Companies uns glauben lassen wollen, das sei ein System, das denkt. Nicht umsonst stehen in den Systemen diese drei Punkte bei ChatGPT und anderen. „Ich denke darüber nach.“ Oder im Englisch steht dann „Reasoning“. Aber es ist kein Reasoning, was sie tun. Es ist kein Reasoning im Sinne, wie wir Menschen Sinn erzeugen, sondern es ist ein Scrapen durch den Datensatz und gucken, was ist am wahrscheinlichsten, was ich ausspucken kann. Das ist der Punkt eins. Der zweite Punkt ist einer, den man unbedingt anerkennen muss. Nämlich, dass es kein System ist, das ohne menschliche Arbeit funktioniert. Diese hochglanztechnischen Oberflächen wirken so, als würde der Computer die ganze Arbeit erfüllen. Das ist aber nicht so. Diese Systeme sind massiv davon abhängig, dass große Menschen von Datenannotator*innen, Datenmoderator*innen in sehr schlechten Verhältnissen, in aller Regel in Global oder Majority World Countries, also in der globalen Mehrheitsgesellschaft, gemacht werden, die sehr schlecht bezahlt werden, die wenig Unterstützung bekommen, die praktisch unsichtbar gemacht werden.

Kristina Kobrow:
Was machen die jetzt genau. 

Katharina Mosene:
Ein Beispiel. Damit eine KI weiß, dass auf einem Bild zum Beispiel ein Auto drauf ist, muss jemand der KI das sagen. Das heißt, da sitzen Menschen, die annotieren Bilder, die vergeben Schlagworte, die sagen, das ist ein Auto. Das ist rot, das ist grün, das ist gelb. Manchmal tun wir das auch. Wenn wir so Google Captchas bekommen, wenn man sich auf Seiten ausweisen muss, dass man kein Roboter ist. Dann muss man manchmal klicken. Zeig mir alle Bilder mit Ampeln. Dann hat man auch die Google KI trainiert. Es geht natürlich aber weit über das Auto hinaus. Das heißt, diese Menschen müssen auch entscheiden, ob etwas sexualisierte Gewalt gegen Kinder ist oder gegen Frauen, ob etwas gewaltverherrlichender Content ist oder nicht. Auch das tun diese Menschen. Das heißt, sie annotieren, sie moderieren, sie nehmen großen Einfluss auf den Trainingsdatenkorpus. Ihre Arbeit ist maximal wichtig, weil sie die Grundlage dessen ist, was hinterher bei uns ausgespuckt wird. Aber sie wird ausgelagert in Sub-Sub-Sub-Companies in der Majority World. Nigeria, Philippinen. Da sitzen Menschen, die für, es gibt Reportagen darüber, ein bis zwei Dollar die Stunde zum Teil gewaltförmige, massiv gewaltförmige Inhalte aussortieren. Damit wir, um es mal überspitzt zu sagen, die nicht zu Gesicht bekommen. Und das ist hochproblematisch. Also, KI beruht auf unmessbarer menschlicher Arbeitskraft, die extrahiert wird an den Orten, wo immer Werteextraktion betrieben wurde, nämlich in ehemaligen kolonialisierten Gesellschaften. KI geht auch mit materieller Wertextraktion einher. Wir können über seltene Erden sprechen. Wir können auch über Energie sprechen, die gebraucht wird für KI. Das heißt, es gibt sehr, sehr viele Ebenen hinter KI, die man, glaube ich, ein bisschen im Hinterkopf haben muss, wenn man mit dem System operiert. Es ist nicht nur die hochglanztechnische Oberfläche, es steht sehr, sehr viel unsichtbar gemachte menschliche Arbeit dahinter. Und der dritte Punkt ist der, den wir alle wahrscheinlich mal im Geschichtsunterricht gelernt haben, nämlich Quellenkritik zu betreiben und grundsätzlich kritisch zu bleiben. Dem gegenüber, was immer mehr ein Buch, eine Datenbank, eine Maschine wie KI ausspuckt. Um mit offenen Augen zu hinterfragen, vielleicht nicht, ob das Spiegelei jetzt drei oder vier Minuten gebraten werden muss, aber ob alle Perspektiven abgebildet sind, wenn ich zur Geschichte der Vereinigten Staaten frage und der Frage, wie war das eigentlich mit den indigenen Völkern. Und durchaus dem System auch zu widersprechen, wenn man findet, dass irgendwas nicht zutrifft. Und durchaus auch die Quellen zu hinterfragen, die da genannt werden und durchaus auch die Systeme zu zwingen, breiter zu denken. 

Kristina Kobrow:
Es spielt da eine Rolle auch, wie ich das formuliere. Also das hatte ich glaube ich mich zu erinnern irgendwo gelesen, dass es einen Unterschied macht, ob ich eine Frage höflich stelle, weil die KI dann leichter zu hintergehen ist vielleicht oder vielleicht noch rassistischer vielleicht ist, weil ich ja höflich gefragt habe. Oder ändert sich da auch einfach ganz viel gerade? 

Katharina Mosene:
Es ändert sich ohnehin immer viel. Es ist auch ein Objekt, was sehr schwer zu beforschen ist, weil man so wenig kontrollieren kann. Auch das wissen alle. Über die Höflichkeit kann ich nicht viel sagen, aber was wir wissen ist, dass, und das kennt jede Einzelne aus ihrer Nutzung, dass je präziser ich frage, desto besser in der Regel ist die Antwort. Und das heißt, wenn ich ein umfassendes Bild über eine geschichtliche Tatsache erfrage, dann muss ich mir vorab vielleicht überlegen, welche Perspektiven würde ich eigentlich gerne inkludiert sehen? Will ich so die Mainstream-Perspektive? Gibt es andere Blickwinkel auf das Thema? Und so weiter und so fort. Das ist aufwendig, ist keine Frage. Und das ist natürlich auch was, was wir nicht gemacht haben bei der Wikipedia oder beim Brockhaus. Und auch da stand ja nie die ganze Wahrheit, wenn man das mal so zugespitzt sagen möchte drin. Aber das ist doch etwas, was man im Internetzeitalter, im KI-Zeitalter tun kann, um ein größeres, ein besseres Bild vielleicht zu bekommen. Das heißt, das präzise Fragen ist sicher ein Punkt. Das präzise Hinterfragen ist ein zweiter Punkt. Und gerade im Bereich der bildgenerierenden KI muss man eben sehr präzise sagen, was man als Ergebnis haben möchte. Wir wissen, dass sowohl ChatGPT als auch andere Systeme, Stable Diffusion, Midjourney, all die Systeme, die Bilder generieren, sehr, sehr stark Stereotype wiederholen. Das heißt, all diejenigen von Ihnen, die schon mal Professionsgruppen haben erzeugen lassen, wissen, dass im Bereich von Ärzt*innen und Krankenpflegekräften sehr häufig die Ärzt*innen männlich ausgegeben werden, die Krankenpflegekräfte weiblich, in der Regel weiß. Meistens übrigens auch alle in normativen, also genormten Körpern, der Norm entsprechenden Körpern, keine sichtbaren Behinderungen und so weiter und so fort. 

Kristina Kobrow:
Das hatte ich auch probiert. Tatsächlich gestalte mir ein Bild einer mächtigen Person und ich habe natürlich einen Mann, der irgendwie breitbeinig am Tisch saß, generiert bekommen, und dachte, krass, das ist immer noch so. 

Katharina Mosene:
Und da kann man jetzt sagen, das ist das, was die Welt ist. Aber die Frage, die wir uns ja stellen müssen ist, wo soll es denn aber hingehen? Und wie wirkt sich das denn auf Imaginationen und Zukunftsvorstellungen aus? Und was macht das mit Menschen, die davon immer ausgeschlossen sind und fortwährend immer ausgeschlossen sind? Und deshalb bin ich davon überzeugt, dass wir darauf einwirken müssen, dass andere Bilder gezeigt werden. Bilder eben nicht nur ausschließlich von heterosexuellen Familien, Vater, Mutter, Kind, alle weiß, in dem hübschen Einfamilienhäuschen, sondern Familien mit unterschiedlichen Eltern-Konstellationen, mit unterschiedlichen ethnischen Hintergründen und so weiter und so fort. Und natürlich kann ich das System zwingen, mir das zu zeigen. Ich kann eben sagen, zeige mir ein Bild einer homosexuellen Hochzeit. Zeige mir ein Bild von einer Gruppe von Menschen. Wenn man jetzt sagt, ich möchte mal eine diverse Gruppe von Menschen sehen, wenn man dem System sagt, zeige mir eine diverse Gruppe von Menschen, dann kriegt man in aller Regel zwei Geschlechter…

Kristina Kobrow:
und man kriegt vielleicht unterschiedliche Grautöne der Haare…. 

Katharina Mosene:
Ja. Wenn man ernsthaft Diversität zeigen möchte, mit all den Kategorien, die es da so gibt, dann muss man die alle aufrufen. Dazu gehört nicht nur, dass man alle Geschlechter aufruft, dass man unterschiedliche ethnische Hintergründe, unterschiedliche Altersgruppen aufruft, sondern auch sowas wie sichtbare Behinderung oder nicht-stereotype Kleidung, denn auch das taucht ganz häufig auf. 

Kristina Kobrow:
Also man muss eigentlich definieren, was ist Diversität. Bedenke, dass es das und das bitte berücksichtigt ist. 

Katharina Mosene:
Genau. Und wir sollten, letzter Satz dazu, KI-Systeme viel öfter aus meiner Sicht zwingen, genau solche Ergebnisse zu erzeugen, denn wir wissen, dass die Systeme aus sich selbst heraus ja wieder lernen. Wir sagen, jedes generierte Bild, was da im Internet ist, was da rausgekommen ist, geht wieder ein in den Trainingsdatensatz, in den großen, großen Trainingsdatensatz, aus dem die KI dann das nächste Bild generiert. Und wenn wir jetzt alle diese heteronormativen, weißen Körper immer stehen lassen, dann wird sich das nicht verändern. Und das heißt, wir müssen die Systeme auf eine Weise auch so zwingen, den Trainingsdatensatz ein bisschen zumindest zu diversifizieren. 

Kristina Kobrow:
Das kann natürlich durch Prompts sein, wie du das jetzt beschrieben hast sozusagen. Ich definiere erstmal, was für Kriterien musst du eigentlich berücksichtigen, liebes System. 
Ich hatte in einem anderen Podcast hier für die Vorbereitung tatsächlich auch von dem Beispiel gehört, da ging es um eine Prothesenfirma, die Ottobock glaube ich auch hieß, die eben auch ganz viele Daten gespendet haben von Menschen, die eben Prothesen tragen, damit ein System, ich weiß gar nicht mehr, welches System das in diesem Fall war, wahrscheinlich eine Bilddatenbank, lernt, so sehen tatsächlich Menschen mit Prothesen aus. 

Wie stehst denn du dazu? Weil da denke ich immer noch, ist es jetzt eigentlich positiv? Sollte man dazu aufrufen, dass wir ganz viele Bilder in die KI einspeisen oder ist es eben auch wiederum nicht so gut? 

Katharina Mosene:
Auch darüber, da gibt es ganz viele Perspektiven auf das Thema. Das passt ganz gut zu dem, was ich zwischendurch schon erwähnt habe, nämlich, dass im Bereich der medizinischen Wissenschaften relativ viele kleine Projekte gerade daran arbeiten, den Datensätze zu diversifizieren. Es gibt durchaus auch in den genderforschenden Technologiewissenschaften eine starke Überzeugung dazu, dass die Diversifizierung der Datensätze durchaus einen Unterschied machen kann. Aber genau dann ist eben die Frage, woher kommen die Daten? Soll ich die jetzt alle hochladen im Internet? Soll ich jetzt wieder alle meine Bilder freistellen? Es gibt ja durchaus solche Tendenzen. Es gab einen Bericht, bestimmt vor ein oder zwei Jahren, über Midjourney, der da sagte, wenn man sich Bilder generieren ließ von Hochzeiten oder Ehepaaren in den Banlieues, also den Pariser Vororten, dann stünden die stets und ständig auf Müllbergen und im totalen Chaos. Und es war auch so. Und daraufhin haben so einzelne Bezirksbürgermeister, ihnen, glaube ich, und zivilgesellschaftliche Akteure aufgerufen, positive Bilder der Banlieues hochzuladen. Ja, selbstverständlich, das kann Diversifizierung sein. Das Problem liegt aus meiner Sicht aber eigentlich tiefer, nämlich in der Frage von Consent, also aktiver Einwilligung, dass ich meine Bilder jetzt wirklich genutzt sehen will, in den Trainingsdatensätzen von KI-Maschinen für jeden denkbaren Zweck. Und das ist eigentlich das viel größere Problem, das ja hinterlegt ist, wenn die Unternehmen von Data Mining sprechen. Also, und dieses Data Mining betrifft ja kein neutrales Objekt, also das sozusagen Erwirtschaften von Daten aus Menschen. Es geht ja um Menschen. Es ist kein Mining wie in den großen Kobaltminen, wo Raubbau an der Natur betrieben wird. Es ist Raubbau im Grunde am Menschen. Data Mining heißt, ich nehme so viel ich kriegen kann, Daten von Menschen aus deren Social Media Interaktionen, aus allem, was die online jemals von sich gegeben haben. Ohne zu der Zeit aber ja aktiv eingewilligt zu haben, dass das einfließt in diese Systeme. Und insofern ist die Frage der Diversifizierung der Datensätze auch eine, die sehr viel stärker von Consent, glaube ich, also von ernsthafter Zustimmung, aktiver Einwilligung abhängen muss, die man natürlich in bestimmten Projekten aber erzeugen kann. Das ist keine Frage. Eine andere offene Flanke, die ich sehe im Bereich dieser Trainingsdatensätze ist, dass sie Wissen messbar machen, das datafizierbar ist. Aber es gibt ja unheimlich viel menschliches Wissen, das nicht datafizierbar ist. Das hat mit körperlichen Erfahrungen zu tun. Das hat mit Emotionen zu tun. Es gibt große indigene Archive, die versuchen zu sammeln, Daten zu sammeln, die eigentlich nicht datafizierbar sind. Also eben die Frage von zwischenmenschlichem Wissen, das nicht auf Papier aufzuschreiben ist. Andere Formen von Wissen als die, die wir als hegemonial empfinden, weil im Globalen Norden wir diese Formen von Wissen sozusagen domestiziert haben. Und alles das kann derzeit auch gar nicht einfließen und wird vielleicht auch nicht einfließen und sorgt eben zusätzlich dazu, dass genau solche Blickwinkel, solche Kulturen gar nicht abgebildet werden über KI. 

Kristina Kobrow:
Ich frage mich irgendwie immer noch, wir sind jetzt hier ja auch stark bei der gesellschaftlichen Perspektive. Worauf muss ich eigentlich achten? Was kann ich tun? Was sollte ich tun? Was vielleicht auch nicht. Es gibt ja zum Beispiel bei Verlagen mittlerweile diese Sensitivity-Reader, die tatsächlich noch mal genau gucken, ist es ethisch korrekt? Worauf muss vielleicht der Autor, die Autorin noch mehr achten, in seinem eigenen Werk? Bräuchte es oder gibt es vielleicht das auch schon bei KI-Systemen? Also dass es sozusagen so eine Art Gegen-KI gibt, die ich noch mal nutzen kann, um zu gucken, ob meine andere KI wie ChatGPT oder so zum Beispiel da mit Benachteiligung um sich geworfen hat oder nicht. Oder kann es sowas gar nicht geben? Weil das wäre ja dann ein neues technisches System. 

Katharina Mosene:
Also selbstverständlich kann es das geben. Es gibt ja durchaus Sprachmodelle oder LLMs, die zum Beispiel genutzt werden, um gender-inklusive Sprache zu erzeugen. Also es gibt Anwendungen, die eben auf dieser Logik der Sprachmodelle aufsetzen. In die kann ich Text reintun und dann sagt mir das System, wenn du das gender-inklusiv formulieren wolltest, dann solltest du Student Sternchen innen schreiben oder Studierende oder, oder, oder, oder. Das heißt, selbstverständlich kann man KI auch für genau solche Anwendungszwecke nutzen. Es gibt indigene Gruppen, die setzen solche kleineren Sprachmodelle auf, um unterdrückte oder fast verlorene Sprachen zu präservieren, also festzuhalten und damit Systeme zu füttern, damit sie für die Zukunft erhalten bleiben. Ich sehe ohnehin extrem hohes Potenzial darin, kleine, spezialisierte Anwendungen zu bauen, die und über Jahrhunderte unsichtbar gemachtes Wissen sichtbar machen und tatsächlich dann aufsetzen auf Archiven oder indigenen Archiven. Da gibt es so viele andere Formen von Wissen auch, so viele andere Formen von Datensätzen in Archiven, die nutzbar gemacht werden könnten und die damit tatsächlich, dadurch, dass sie dann auch skaliert würden, eine gewisse Sichtbarkeit bekämen, dass das große Potenzial hat. Aber aus meiner Sicht liegt das Potenzial eben nicht in diesen riesigen Maschinen und das ist, wo die Entwicklung hingeht, die hinterher keiner mehr kontrollieren und auch gar keiner mehr ernsthaft auditieren kann. Denn ich kann ein System nicht testen, das alle Anwendungsfälle gleichzeitig glaubt zu beheben. Nicht, wenn ich ein spezialisiertes System habe, das zum Beispiel dafür eingesetzt wird, mir gute Empfehlungen zu geben im Bereich meiner Gartenarbeit, damit mein Garten klimaneutral und umweltfreundlich ist. Dann kann ich das System testen, sind die Aussagen zuverlässig, ist es nachvollziehbar, was da gesagt wird, wird es gut belegt und so weiter. Aber wie soll ich ein System testen, dass, und jetzt gehe ich zurück auf mein erstes Beispiel, mir sowohl Rezepte für Spiegeleier ausgibt, genauso wie es mich berät, wenn ich mentale Tiefs habe. Was teste ich da und gegen wie teste ich die Zuverlässigkeit dieses Systems. Das ist hochkomplex und schwierig und am Ende glaube ich auch nicht mehr wirklich kontrollierbar und insofern habe ich sehr viel mehr Sympathie für kleinere Lösungen von Systemen und da kann KI durchaus ganz große Potenziale heben, auch im Bereich eben antidiskriminierend wirksam zu werden. 

Kristina Kobrow:
Gibt es denn schon tatsächlich Beispiele aus unserem realen Leben, Projekte oder so, die du erwähnen kannst, die genau in diese Richtung gehen? 

Katharina Mosene:
Es gibt neben diesen kleineren LLMs, die so genutzt werden, um gender-inklusive Sprache zu ermöglichen, gibt es Anwendungen wie Summ AI. Summ AI sieht aus wie die Oberfläche von DeepL, dem Übersetzungstool, das kennen viele und auf der linken Seite tue ich meinen Text rein und auf der rechten Seite kommt einfache Sprache raus. Also es ist ein einfacher Sprachegenerator, nicht für einfache Sprache auf Homepages, einfach Sprache in Flyern und Broschüren. Das ist ein toller Anwendungsfall, der tatsächlich ja auch ein wesentliches Problem adressiert, aus meiner Sicht. Es gibt viel Bewegung in dem Bereich. Auf internationaler Ebene gibt es die sogenannte AI Alliance. Die unterstützen tatsächlich Community-basierte KI-Entwicklung. Das heißt, die arbeiten vor Ort in Communities zusammen, um Probleme zu lösen und haben so von Anfang bis zum Ende immer die betroffenen Personen am Tisch. Und manchmal kommen sie auf der Mitte der Entwicklungsschleife auch dahin zu sagen, wir brauchen dafür gar keine KI. KI kann hier gar nicht helfen. Aber wenn sie finden, dass KI helfen könnte, dann suchen sie Funding und dann setzen sie das um. Auf der kleinen Ebene, um regional wirksam zu werden. Es gibt Kolleg*innen in den Datenwissenschaften, Catherine D'Ignazio und Lauren Klein, die viel auch zu feministischen Ansätzen in den Datenwissenschaften geschrieben haben, die in Projekten mitgearbeitet haben, die KI genutzt haben, um Femizide zu mappen und sichtbar zu machen. Es gibt viele, viele vielfältige, spannende Ansätze, um KI for Good zu benutzen. Es gibt ja auch diesen Begriff der gemeinwohlorientierten KI, der immer mal wieder adressiert wird, in der Frage, wie können wir KI tatsächlich einsetzen, um öffentliche Aufgaben im Sinne des Gemeinwohls zu lösen und wie können wir KI überdies eben einsetzen, um vielleicht auch gerade marginalisierten Gruppen mehr Sichtbarkeit oder auch mehr Zugang zu ermöglichen. Das sind jetzt sozusagen Beispiele, was schaffen wir, was erschaffen wir, was können wir eigentlich besser machen.

Kristina Kobrow:
Wie sieht es aber eigentlich mit der rechtlichen Komponente und der digitalen Perspektive aus? Welche Gesetze gibt es jetzt schon, um Verzerrungen zu regulieren oder eben zu beheben? 

Katharina Mosene:
Also man muss sagen, dass wenn man auf europäischer Ebene schaut, dass man sicher den DSA, also den Digital Services Act erwähnen muss und den AI Act natürlich, also die KI Verordnung. Der Digital Services Act oder auf Deutsch das Digitale Dienste Gesetz ist deshalb relevant, weil es große Plattformen darauf verpflichtet, systemische Risiken zu vermindern. Zum Beispiel im Bereich von Desinformation und wir sehen, dass unheimlich viel, wir nennen das Gendered Desinformation, also Desinformation gegen spezifische Gruppen, Frauen, queere Personen, kampagnenartig auf Plattformen gestreut wird, zum Teil erzeugt wird mithilfe von KI und dann eben über Algorithmen auf Plattformen skaliert wird und dadurch extrem viel Sichtbarkeit und Reichweite bekommt. Das wäre aus meiner Sicht ein klassisches, systemisches Risiko, dass Plattformen gezwungen sind zu adressieren. 

Kristina Kobrow:
So dass sie die Algorithmen eigentlich ändern, die Funktionsweise? 

Katharina Mosene:
Ja und früh genug intervenieren und solche Inhalte auch runternehmen und dann eben auch Konsequenzen ziehen gegenüber den Akteuren, die solche Inhalte massenhaft teilen. Wir sehen, dass es wie immer in der Umsetzung nicht so rund läuft und dass die Plattformen noch nicht sehr weit sind, das wirklich gut zu betreiben, aber das ist immerhin mal in der Regulierung angelegt. 

Kristina Kobrow:
Okay, das heißt das Gesetz ist eigentlich gut? 

Katharina Mosene:
Das ist die Frage der Umsetzung. Das Gesetz ist nicht schlecht, würde ich sagen. Es ist aber auch noch nicht umgesetzt. Man muss sehen, wie sich das in Zukunft verhält und es vergisst natürlich trotzdem manches. Also die systemischen Risiken, wie sie definiert sind im DSA, sind sehr stark eben auf so menschen- und grundrechtliche Prinzipien zugeschnitten, was in Ordnung ist. Mir hätte ein stärkerer Fokus natürlich im Bereich von eben genderbasierten, aber auch racebasierten Ausschlüssen. Also das zumindest mal noch zu erwähnen, hätte ich schon sinnvoll gefunden, aber grundsätzlich mal ist das ein Ansatz, den man wählen kann und der sicher nicht falsch ist und der helfen kann. Dasselbe gilt für die KI-Verordnung, auch die ist an vielen Stellen kritisiert worden von Wissenschaftler*innen, von zivilgesellschaftlichen Akteur*innen, weil sie in Teilen zu kurz fällt, weil sie immer eben auch ein bisschen einen Schritt hinter der technologischen Entwicklung ist, so ist das mit Regulierung eben auch öfter. Und da ist durchaus auch angelegt, dass KI eben auf der Maßgabe entwickelt wird, dass sie eben Menschen und Grundrechte nicht unterminiert und damit eben auch nicht diskriminiert. Also die Europäische Union, auch die UN haben lange schon anerkannt, dass KI diskriminieren kann gegenüber Gender, Race, Class, anderen Kategorien. Es ist oft gefallen in White Papers, es ist auch im AI Act drin, aber es ist nicht sehr konkret sozusagen geworden, wie man das jetzt verhindert. Also vorgeschlagen sind sowas wie Fundamental Rights Impact Assessments. Also Unternehmen sind gezwungen, ihre entwickelte Software zu assessen, also zu überprüfen auf Basis von Menschen und Grundrechten. Also dass die Software eben nicht dagegen verstößt. Auch hier ist die Frage, wie stark fällt dieser Punkt von Gender da eigentlich rein als Kategorie und wie gestaltet sich das hinterher aus? Wir wissen noch nicht so richtig, wie das aussehen soll. Die ersten solcher Assessments sind unterwegs. Ich habe Kolleg*innen wie Theresa Züge am HIIG, die können dazu viel besser sprechen. Die beforscht genau das nämlich gerade. Wie können solche Assessments aussehen? Was auch angelegt ist in der KI-Verordnung. 

Kristina Kobrow:
Kurz zwischendurch, wenn du sagst HIIG, das ist das Alexander von Humboldt Institut für Internet und Gesellschaft. Wir lieben Abkürzungen, aber vielleicht nochmal für die Hörer kurz gesagt.

Katharina Mosene:
Absolut, vielen Dank. Es ist vieles im AI-Act angelegt. Was vielleicht hier noch gut passt, was auch angelegt ist, ist die Repräsentativität von Datensätzen. Also Unternehmen müssen darauf achten, dass wenn sie ihre Systeme trainieren, dass die Datensätze ausreichend repräsentativ sind. Und das ist dann im schönsten regulatorischen, sozusagen englisch formuliert. Aber eigentlich kann ja gar keiner so richtig sagen, was das heißt, Repräsentativität. Also nach wessen Repräsentation gucken wir denn da eigentlich? Und dann gibt es ein drittes Prinzip, das da heißt, bei besonders sensiblen Entscheidungen, also wenn KI-Systeme in gesellschaftliche Realitäten eingreifen, muss immer ein Mensch in der Kette sein. Also, wenn so ein System sagt, du bekommst jetzt die soziale Unterstützung nicht, dann muss immer ein Mensch mit eingebunden sein, der sagt, ich gehe mit der Entscheidung der Maschine, ich sehe das genauso. 

Kristina Kobrow:
Der Überprüfer. 

Katharina Mosene:
Der Überprüfer. Human Oversight wird es häufig genannt. Ja, also menschliche Aufsicht. 
Oder Human in the Loop. Ja, Mensch in der Kette. Gibt es auch im technischen Bereich seit Jahren, Jahrzehnten Forschung dazu. Und auch das ist natürlich ein interessantes Prinzip, nicht. Dass man dann doch wieder den Menschen in die Kette holen sollte, weil der ja auch diskriminiert und nicht so effizient ist. Der wird jetzt wieder doch zur Sicherheit nochmal in die Kette geholt. Es wird aber gar nichts darüber gesagt, was dieser Mensch eigentlich können muss. Also, welche Kompetenzen braucht so ein Mensch? Wie viel muss der verstehen davon, auf welcher Basis die Maschine die Entscheidung getroffen hat? Wie viel muss der verstehen vom Fach selbst und vom Hergang? Wo muss der eigentlich eingebunden sein? Kommt er erst ganz am Ende, wenn die Maschine ihre Entscheidung ausspuckt? Oder ist der schon vorher eingeloopt und kann vorher reingucken, welche Wege diese Entscheidung in der statistischen Berechnung platt gesagt, der Maschine gerade genommen hat? 

Kristina Kobrow:
Das kann ja auch nie nur ein Mensch sein, oder? Also, wenn wir jetzt über Vorurteile so ausführlich gesprochen haben, dann reicht es ja nicht, wenn ein Mensch einfach überprüft. 

Katharina Mosene:
Ja, reicht es, wenn es ein Mensch ist? Müssen das unterschiedliche Menschen sein? Was müssen das für Menschen sein? Was müssen die wissen und können? Ganz viele spannende Fragen. Auch da haben wir am Humboldt Institut ein Forschungsprojekt dazu, wo wir uns genau dieses Phänomen anschauen. Also, welche Menschen entscheiden eigentlich schon jetzt mit Maschinen zusammen und unter welchen Voraussetzungen? 

Kristina Kobrow:
Das ist das Projekt Human in the Loop, ne? 

Katharina Mosene:
Genau. Auch das wird natürlich innerhalb dieser Regulierung nicht beantwortet. Kann durchaus vielversprechend sein, muss man aber eben sehr genau reingucken. Was wir nämlich wissen ist, und das ist wissenschaftlich belegt, es gibt eine sogenannte Automation Bias. Das heißt, Menschen tendieren dazu, mit der Maschine zu entscheiden und nicht gegen die Maschine. Aus ganz unterschiedlichen Gründen. Ist auch unterschiedlich, über unterschiedliche Berufsgruppen hinweg. Es gibt Berufsgruppen, die aufgrund von so einem besonderen Professionsverständnis, hat natürlich auch mit Haftungsfragen zu tun, eher dazu tendieren, der Maschine zu widersprechen, als andere Berufsgruppen. Aber grundsätzlich kann man durchaus sehen, dass es einen Automation Bias gibt, der eben da sagt, der Mensch entscheidet sich selten gegen die Maschine. Und das heißt, was hilft es uns dann, qua Regulierung überall Menschen hinzusetzen, die am Ende das abnicken, was die Maschine ausgegeben hat. So, wir sagen, es gibt Regulierung im Feld, es ist gut, dass es sie gibt. Es ist sehr gut, dass es sie gibt. Und wir müssen jetzt mal sehen, vieles wird da jetzt ein bisschen runtergeschrumpft aus unterschiedlichen politischen Gründen, wie sie sich am Ende auswirkt. Aus einer feministischen Perspektive kritisiere ich natürlich ganz grundsätzlich, dass die Strukturen der Art und Weise, wie und wofür KI derzeit entwickelt wird, gar nicht hinterfragt werden und auch gar nicht zur Debatte stehen. Also auch die Tatsache, dass da sehr stark Werte getrieben, sehr stark Werte extrahierend eben nach einer rein kapitalistischen Logik im Grunde Systeme entwickelt werden, die sehr, sehr starke Auswirkungen auf Gesellschaft und gesellschaftliches Zusammenleben auf ganz, ganz, ganz vielen Ebenen haben. Das halte ich schon für kritisch. Auch die Reflexion dazu, wie wirkt sich das hinterher eigentlich auf demokratische Gesellschaften und demokratische Diskurse aus. 
Wie viel Widerspruch bleibt mir noch, wenn in Zukunft Maschinen eben entscheiden darüber, welche Rechte als Staatsbürger*in ich habe, welche Leistung ich bekomme und welche nicht. Es gibt Millionen spannende Fragen, die sich da angliedern und die intersektional-feministische Perspektive übt immer strukturelle Kritik daran, wie solche Systeme gebaut werden und das ist auch meine Position und das ist natürlich in dieser Regulierung überhaupt nicht angelegt. Da ist angelegt der Status quo und wir müssen jetzt mal versuchen mit den Problemen, da sind die irgendwie in den Griff zu kriegen. Es ist nicht in keinster Weise angelegt zu hinterfragen, muss das System nicht anders funktionieren, müssen nicht vielmehr staatliche, demokratische, staatliche Akteure hingehen, solche Technologien zu hosten, wird da nicht Infrastruktur aufgebaut, die eigentlich in öffentlicher Hand sein sollte und manches andere mehr. 

Kristina Kobrow:
Wenn du jetzt die Forschung ja auch schon nennst und ein Projekt genannt hattest, nämlich „Human in the Loop“, ich würde dich gerne noch mal zu einem anderen Projekt fragen und ich glaube, dann biegen wir auch so langsam die Schlusskurve hier ein. Nämlich das Projekt „KI und Gleichstellung“. Auch das ist am Alexander von Humboldt Institut für Internet und Gesellschaft. Gott, wir haben alle so lange Namen. Worum geht es da nochmal genau? Was ist da das Ziel? 

Katharina Mosene:
In der Tat ist es ein Projekt, das vom Bundesministerium für Bildung, Familie, Senioren, Frauen und Jugend gefördert wird und was wir tun ist, zu schauen, wo stehen wir eigentlich im Bereich KI und Gleichstellung? Vor allem mit Blick auf Deutschland in Europa. Welche Probleme sehen wir und welche Maßnahmen werden auch derzeit schon betrieben, um das ein oder andere Problem zu adressieren? Wir sagen, wir starten mit einer Problemkartierung, wo wir genau die Probleme benennen, über die wir heute auch gesprochen haben. Also die Frage von Bias in den Datensätzen, über die Frage von Frauen in Entwickler*nnen-Teams, über die Frage auch übrigens von Kompetenzen. Es gibt erste Studien am Arbeitsplatz, die belegen, dass Frauen KI sehr viel weniger nutzen als Männer. Und das hat übrigens nicht nur damit zu tun, dass sie weniger kompetent sind oder sowas. 
Das hat ganz häufig auch damit zu tun, dass sie dem System weniger vertrauen, dass sie Sicherheitsbedenken haben, dass sie selbst schon mal diskriminierende Ergebnisse bekommen haben. Also interessante Phänomene. Und der vierte Faktor ist natürlich einer, den man nicht auslassen kann und das ist digitale Gewalt. Also KI-induzierte digitale Gewalt denken wir an sowas wie bildbasierte, sexualisierte Gewaltformen. Das mal die Problemkartierung und dann schauen wir uns in all diesen vier Bereichen an, mit einer strukturierten Literatursuche. Was ist eigentlich da an politischen, auch zivilgesellschaftlichen Interventionen und Maßnahmen, um diesen Problemen zu begegnen? Was wird gefordert? Was wird getan und welche Evidenz hat das? Und am Ende schauen wir eben auch, ob wir sowas wie vielversprechende Beispiele detektieren können, die sagen, das kann ein Weg sein, um genau in diesem Bereich zum Beispiel die Lücke zu schließen. Also mehr Frauen in die Branche zum Beispiel. 

Kristina Kobrow:
Was heißt am Ende? Zeitlich? 

Katharina Mosene:
Zeitlich heißt, dass wir den Bericht Ende diesen Jahres fertig haben und dann planen, hoffentlich ein kleineres Observatory anzuschließen, dass sehr viel strukturierter und langfristiger auf Zahlen schaut. Denn eine erste Erkenntnis, die wir jetzt schon haben, ist, dass Daten zum Status Quo, also wie viele Frauen zum Beispiel sind in der Branche, wo liegt Bias vor, wer ist wie betroffen von digitaler Gewalt, häufig nur punktuell erhoben werden, meistens nicht regelmäßig oder über längere Zeiträume. Das heißt, wir haben eine sehr wenig strukturierte Datenlage über den Status Quo und mehr noch, wenn man dann in Maßnahmen schaut und Interventionen, denken wir an sowas wie MINT-Förderung. All die Bildungsprojekte, die Frauen und genderdiverse Personen versuchen, irgendwie in die IT-Sektoren zu bringen, über Kompetenzvermittlungen, haben kaum eine wirklich evidente Wirkungsmessung. Mindestens keine, die langfristig wirkt. Und da können diese ganzen Projekte gar nichts dafür. Das hat häufig damit auszutun, dass das in der Förderlogik gar nicht angelegt ist. Die machen kleine Evaluationen mit einem Status Quo, die haben häufig tolle Impact-Berichte, tolle Cases, die sie dann erzählen. Aber wir können nicht wissen, ob eine Zehnjährige, die in der Schule MINT-Förderung hatte, hinterher im Informatikstudium landet. Das wäre ja aber eigentlich etwas Interessantes zu wissen. 

Kristina Kobrow:
Und dann auch noch CEO wird.

Katharina Mosene:
Genauso, wir haben tolle mono-edukative Studiengänge in Deutschland, also Informatik nur für Frauen, die erstmal nur eben unter Frauen starten, danach aber dann in den weiterführenden Anteilen auch wieder in gemischte Gruppen kommen. Und die halten im Vorhinein, halten die nach, warum die Frauen kommen. Und das sind spendende Erkenntnisse. Da sagen viele der Studentinnen, naja, also wenn es diesen Studiengang nicht gegeben hätte, hätte ich wahrscheinlich nicht Informatik studiert. Das ist ja toll. Also ist ja toll. Ist ja ein richtiger Pluspunkt, dass es solche Studiengänge gibt. Aber was ja auch interessant wäre zu sehen ist, landen die dann hinterher in der Branche? Und wie lange bleiben sie da? Weil was wir auch wissen ist, nicht nur, dass Frauen seltener überhaupt in die Branche gehen, selbst wenn sie Informatik studiert haben, sondern, dass sie ganz häufig die Unternehmen auch wieder verlassen. Aus unternehmenskulturellen Gründen und manches mehr. Und all sowas sehr viel stärker zu systematisieren wäre aus meiner Sicht wahnsinnig hilfreich, nicht nur um wissenschaftlich substanziellere Erkenntnisse rauszubekommen, sondern um ernsthaft dann auch zu überlegen, was können denn Handlungsoptionen tatsächlich auch für Politikschaffende sein? 

Kristina Kobrow:
Eine Abschlussfrage würde ich dann gerne noch stellen und zwar eher zusammenfassend. Kannst du noch einmal eben zusammenfassend sagen, ganz schnell, nein, das geht natürlich damit nicht. Was für Gelingensbedingungen müssen jetzt erfüllt sein, damit KI im besten Fall eben nicht benachteiligt? 

Katharina Mosene:
Zunächst mal müssen wir gesellschaftlich anerkennen, dass KI mehr ist als neutrale Technologie und dass Diskriminierung in die Systeme eingeschrieben ist. Sowohl im Bereich der automatisierten Entscheidungssysteme als auch im Bereich der großen Sprachmodelle.
Anerkennen, dass hegemoniale Deutungshoheiten vorherrschen, dass diese Systeme Machtlogiken beinhalten. Und dann gilt es zu fragen, wer hat eigentlich Zugang zur Gestaltung dieser Systeme? Und das ist eine uralte feministische Frage und Forderung nach Zugang für marginalisierte Gruppen, um eben mitbestimmen zu können, wie technologische Architekturen aussehen, wie sie sich auswirken und wer am Ende auch den Preis bezahlt. 

Kristina Kobrow:
Ich glaube, hier schließen wir. Ich danke dir sehr. Danke dir. Das war sehr spannend für mich, alles zu hören und zu erfahren. Insofern vielen Dank und schönen Tag dir noch. 

Katharina Mosene:
Dir auch, vielen Dank. 

Kristina Kobrow:
Über Künstliche Intelligenz und die Frage, wie wir Macht- und Ungleichverhältnissen entgegenwirken können und inwiefern es hierfür eine intersektional-feministische Perspektive braucht, durfte ich heute sprechen mit meiner Kollegin Katharina Mosene vom Leibniz-Institut für Medienforschung I Hans-Bredow-Institut (HBI). Wer noch mehr zum einen über Katharina und zum andere über das HBI erfahren möchte, der schaut am besten auf unserer Website vorbei, das ist leibniz-hbi.de oder folgt uns auf den Plattformen LinkedIn oder Bluesky. Mein Name ist Kristina Kobrow und dies ist der BredowCast.