BRC 105: Wie gelingt gute Content Moderation? Intro (Kristina Kobrow): Menschen und Maschinen entscheiden täglich darüber, welche Inhalte in sozialen Medien sichtbar bleiben und welche gelöscht werden. Aber nach welchen Regeln funktioniert die Interaktion und „funktioniert“ sie eigentlich so auch gut? Dazu darf ich mit Prof. Dr. Matthias Kettemann sprechen, der sich mit Plattformmacht und der Regulierung automatisierter Systeme bestens auskennt. Denn Matthias leitet am Leibniz-Institut für Medienforschung I Hans-Bredow-Institut das Forschungsprogramm „Regelungsstrukturen und Regelbildungen in digitalen Kommunikationsräumen“. Und er hat am Alexander von Humboldt-Institut für Internet und Gesellschaft in einem Projekt namens „Human in the Loop“, einen sogenannten Code of Conduct für die Interaktion von Mensch und Maschine bei der Content-Moderation mitentwickelt und dieser Code of Conduct wurde vor wenigen Tagen veröffentlicht. Über effektive Content-Moderation und den Code of Conduct wollen wir heute sprechen. Jingle BredowCast. Wir erforschen was mit Medien. Kristina Kobrow: Hallo, lieber Matthias. Matthias Kettemann: Hallo, Kristina. Kristina Kobrow: Ich moderiere jetzt hier ja gerade schon einen Podcast. Das heißt, es geht um Moderation. Wenn wir über Content-Moderation sprechen, worüber sprechen wir dann genau? Matthias Kettemann: Bei der Content-Moderation im Internet geht es um die Frage, wie Inhalte, also Videos, Texte, vor allem auf sozialen Medien moderiert werden. Das heißt, welche Inhalte dürfen auf den großen Plattformen, auf TikTok, auf Instagram, auf Facebook bleiben? Welche werden von den Plattformen gelöscht? Welche werden verstärkt, also den Menschen gezeigt? Welche werden versteckt? Nach welchen Regeln also läuft die Online-Kommunikation ab? Das ist die Frage der Content-Moderation, der Inhalte-Regulierung im Netz. Kristina Kobrow: Das heißt, es geht um Inhalte, die schon veröffentlicht sind, und wo dann eben die Entscheidung gefallen werden muss, werden sie gelöscht oder nicht? Matthias Kettemann: Es geht auch um die Frage, welche Inhalte überhaupt erscheinen dürfen. Man kann durch einen Filter zum Beispiel verhindern, dass bestimmte Inhalte hochgeladen werden. Bekannt ist etwa, dass Disney sehr eng kooperiert mit den großen Plattformen. Und sobald ein neuer Film erscheint, etwa die gesamte Filmmusik dort hinterlegt, also bei YouTube zum Beispiel, und YouTube hat ein System schon lange Jahre etabliert, das checkt dann jeden Upload, also jedes neue Video, ob da wohl nicht ein Stück geschützter Filmmusik drinnen ist. Kristina Kobrow: Da geht es um Urheberrecht dann? Matthias Kettemann: Da geht es um Urheberrecht, ja. Da gibt es auch schöne Beispiele, wie das instrumentalisiert werden kann. Etwa wenn man nicht gefilmt werden möchte, dann kann man im Hintergrund Disney-Musik abspielen. Dann wird zumindest die Audiospur sicher nicht auf YouTube zu finden sein. Kristina Kobrow: Okay, interessant. Vielleicht aber nochmal größer gedacht, warum, du hast jetzt ein Beispiel natürlich schon genannt mit der Musik, warum braucht es Content-Moderation ganz generell, wenn wir jetzt auch auf soziale Medien schauen, auf Posts oder so, warum braucht es das da? Matthias Kettemann: Wir kommunizieren zunehmend in digitalen Kommunikationsräumen. Im Laufe der letzten Jahrzehnte hat sich unsere gesellschaftliche und individuelle Kommunikation verschoben von Offline-Kommunikation in den Bars, auf den Spielplätzen, in den Zeitungen hin zu mehr digitalen Räumen. Wir als Institut beschäftigen wir uns ja unter anderem mit dem Medienwandel und ein Charakteristikum des Medienwandels ist, dass die Kommunikation in diesen digitalen Räumen nun stattfindet. Überall dort, wo Kommunikation stattfindet, braucht es jemanden, der aufpasst. Der Staat passt in Offline-Räumen auf, der sagt zum Beispiel, du darfst nicht andere Leute beleidigen. Ja, du hast Meinungsfreiheit, aber die Grenze ist dort, wo die Rechte anderer betroffen sind. Du darfst nicht andere beleidigen. Du darfst nicht ihnen was Übles nachreden. Du darfst keine Hassrede gegenüber anderen üben. Und in Offline-Räumen, also bei uns in der wirklichen Welt sozusagen, ist es der Staat, die Polizei, die dafür sorgt, dass alles gut läuft, weil es ein öffentlicher Raum ist. Und jetzt muss man sich überlegen, wie schaut denn das aus in privaten Räumen? Und diese großen Kommunikationsplattformen haben ja alles private Räume. Ich nenne immer so gern das Beispiel. Wie schaut es denn aus beim Edeka oder beim Budni um die Ecke? Darf man dort sich zum Beispiel beim Edeka vor die Fleischtheke stellen und sagen, Fleisch essen ist blöd, werdet vegetarisch? Kristina Kobrow: Ja. Matthias Kettemann: Was passiert dann? Darf man das wirklich? Wenn man sich bei einer Demonstration quasi macht im Edeka, was wird denn dann passieren als nächstes? Kristina Kobrow: Wenn ich das als Konsument mache quasi, meinst du? Matthias Kettemann: Genau, als Einzelmensch, genau, als Einzelner. Wenn ich also in einem privaten Raum anfange zu kommunizieren, dann wird irgendwann mal der Geschäftsführer, die Geschäftsführerin kommen und sagen, Kristina Kobrow: Hausrecht, Matthias Kettemann: Hausrecht, du musst jetzt gehen. Und dann kann man sagen, das ist doch gemein, ich habe doch eine Meinungsfreiheit. Ich bin doch in Deutschland. Ja, man ist in Deutschland, aber man ist ja nicht im öffentlichen Raum, sondern in einem privaten Raum. Und in der offenen Welt wissen wir das. Wir verstehen das. Wir verstehen, dass wir uns in privaten Räumen, da können wir nicht alles tun, was wir wollen. Wir können nicht im Edeka anfangen, rumzuschreien. Wir können nicht anfangen, im Budni zu sagen, was du verkaufst, du verkaufst Shampoos, die getestet sind bei Tieren. Das mag ich ja gar nicht. Das gehört sich nicht. Da wird man rausgeworfen. Kristina Kobrow: Stimmt, du hast schreien gesagt. So, ich dachte jetzt erst, das ist ein Kommentar. Matthias Kettemann: Ja, genau. Kristina Kobrow: Okay, ich dachte, es verstößt nicht gegen das Grundgesetz, dann darf ich das machen. Aber du hast recht. Matthias Kettemann: Ja, man darf es machen. Man wird nur herausgebeten, wahrscheinlich. Und in Online-Räumen ist das genau so. Es sind zunächst die privaten Eigentümer dieser Online-Räume, das heißt die großen Plattformen, die einmal zunächst die Regeln aufstellen, wie man dort kommunizieren darf. Was darf man online sehen? Was wird verstärkt? Was wird versteckt? Dürfen weibliche Brustwarzen gezeigt werden oder nicht? Ist Hassrede erlaubt? Dürfen Menschen mit LGBTQI-Hintergrund, dürfen die kritisiert werden? Dürfen Menschen, die ihre Gender-Identität verändern, dürfen die vielleicht, dürfen die sagen, mit ihrem Totnamen angesprochen werden? Das sind alles Entscheidungen, die jemand treffen muss. Und auf diesen privaten Kommunikationsräumen ist das zunächst einmal, zunächst einmal die Plattform. Und das ist eine Frage der Content-Moderation. Kristina Kobrow: Du hast es ja aber „zunächst einmal“ auch schon gesagt, weil es gibt ja Gesetze, die da schon regulieren, zum Beispiel der Digital Services Act… Matthias Kettemann: Der DSA ist erst die letzte entsprechende Norm, das letzte entsprechende Gesetz. In Deutschland galt schon die letzten Jahre ein Gesetz, das sich Netzwerkdurchsetzungsgesetz genannt hat. Kristina Kobrow Seit 2017, ne? Matthias Kettemann: Genau, ja. Das heißt, Deutschland war da ein Vorreiter. Der DSA ist im Wesentlichen ein Netzwerkdurchsetzungsgesetz, das noch mal ein bisschen Red Bull getrunken hat, also ein etwas stärkeres. Das heißt, Deutschland ist schon länger in einer etwas privilegierten Lage, als das andere Staaten waren. Dergestalt nämlich, dass die staatlichen Rechte und Regeln auch online verstärkt durchgesetzt werden. Kurz zum Hintergrund. Wir hätten eigentlich schon im Jahr 2000 erkennen müssen, dass in sozialen Räumen, das es unerfreulich ist, wenn nur die privaten Regeln gelten. Weil die großen Plattformen haben tendenziell nicht das Interesse, gesellschaftliche Ziele wie sozialer Zusammenhalt oder Schutz der Menschenrechte oder würdevolles Miteinander als Unternehmenszweck zu fördern. Der Unternehmenszweck ist meistens Gewinnmaximierung. Kristina Kobrow: Also wirtschaftlicher Art. Matthias Kettemann: Genau, was nicht illegitim ist. Ja, der Raum soll einigermaßen freundlich für alles sein, aber auch nur als Mittel zum Zweck. Und mit diesem Wissen im Hintergrund versteht man auch, warum bisher die Moderation die letzten zwei Jahrzehnte eher darauf ausgerichtet war, uns Menschen möglichst lange online zu halten. Man hat also versucht, in diesen Kommunikationsräumen die Moderation zu optimieren darauf, dass wir emotional einen Hook bekommen, dass wir einfach online bleiben. Und deswegen wurde halt lange Zeit Inhalte, die emotionalisieren, die polarisieren, interessieren, wurden verstärkt und nicht unbedingt Inhalte, die öffentlich-rechtliche Inhalte transportieren, also Qualitätsinformation im weiteren Sinne, weil die nicht so emotionalisiert. Und Inhalte, die emotionalisieren, führen dazu, dass die Menschen länger online bleiben. Und jetzt haben dann die Staaten so ab den 2015er Jahren ungefähr gemerkt, dass das nicht zielführend ist, wenn die Plattformen alleine gelassen werden, dabei die Entscheidung zu treffen, was für Inhalte priorisiert werden und was für Inhalte versteckt oder gelöscht werden. Und dies war dann der Grund dafür, dass man zuerst das Netzwerkdurchsetzungsgesetz und dann in Folge auch diesen DSA verabschiedet hat, der im Kern besagt, Plattformen sind verantwortlich, illegale Inhalte so schnell sie können runterzunehmen. Das war Kerngehalt des Netzwerkdurchsetzungsgesetzes und sie müssen uns darüber informieren, wie sie sonst mit Inhalten umgehen. Also wir sagen jetzt nicht, dass sie bestimmte Prioritäten haben müssen. Wir sagen jetzt nicht in den Gesetzen, die Plattformen müssen etwa eine bestimmte Informationsqualität haben oder sie müssen zusammenhaltsfördernde Informationen und Kommunikationen verstärken. Könnte man machen, aber tut man nicht, sondern man sagt, sie müssen transparent machen nach welchen Regeln sie moderieren und wie sie ihre algorithmischen Empfehlungssysteme einstellen. Und dann auf dieser Grundlage übt man dann Kritik und sagt, was verbessert werden kann. Kristina Kobrow: Sonst wäre es auch ein Eingriff in die Meinungsfreiheit wahrscheinlich auch. Matthias Kettemann: Genau. Die Plattformen haben natürlich auch Grundrechte. Die sind auch Akteure, die gewisse Grundrechte haben. Sie haben aber auch zunehmend Verpflichtungen, weil sie so bedeutende Kommunikationsräume zur Verfügung stellen. Sie sind eben ein bisschen mehr als der Edeka oder der Budni oder ein Supermarkt um die Ecke, weil dort Kommunikation ganz anders stattfindet. Wenn ein Edeka in die allgemeinen Geschäftsbedingungen reinschreiben, bei mir wird nicht über Politik gesprochen, das ist unproblematisch. Wer eine Partei erwähnt, fliegt raus. Das kann man machen. Das könnte eine Plattform nicht machen. Die sind zwar nicht wie der Staat, also nicht direkt gebunden an Grundrechte, aber weil sie so wichtig geworden sind für die gesellschaftliche Kommunikation, müssen sie sich auch ein bisschen, um das jetzt untechnisch auszudrücken, an Grundrechte halten und müssen auch bestimmte Grundrechte ihrer Kundinnen und Kunden respektieren, die eben nicht nur mehr Kunden sind, sondern auch ein bisschen Bürger geworden sind. Und die Plattformen sind nicht mehr nur Unternehmen, sondern auch ein bisschen eben, ja, ich sage es nicht staatsähnlich, weil dann kriegt man gleich viel Kritik von den Staatsrechtlern, die sagen, das ist ja kein Staat. Nein, das sind keine Staaten. Sie sind auch nicht staatsähnlich, aber sie haben doch gewisse Funktionen, die dem sehr nahekommen, was Staaten machen. Nämlich, Staaten müssen ja einen Kommunikationsraum sichern, in dem gesellschaftliche Debatten möglich sind. Das ist einfach eine Voraussetzung für gesellschaftlichen Fortschritt. Dazu gehört zum Beispiel die Finanzierung des Rundfunks. In jedem Urteil des Bundesverfassungsgerichts zur Begründung etwa der Rundfunkbeiträge steht drinnen, wie wichtig es ist, dass der Staat dafür sorgt, dass die öffentliche Debatte gesichert wird, auch via eines öffentlichen Rundfunks. Und die Plattformen haben davon abgeleitete Pflichten zur Sicherstellung eines öffentlichen oder zur Sicherstellung eines Aspekts des öffentlichen Diskurses. Kristina Kobrow: Du hast jetzt immer gesagt „die Plattformen“. Lass uns doch mal konkreter werden und über die Content-ModeratorInnen sprechen. Also der Titel dieser Podcast-Folge ist ja „Wie gelingt gute Content-Moderation?“ Du hast jetzt schon viel erläutert, was sozusagen wichtig ist und was nicht funktioniert. Aber wie gelingt es denn gut und wer ist da beteiligt? Matthias Kettemann: Content-Moderation ist ein Prozess, wo viele verschiedene Akteure dabei sind. Einmal muss das Unternehmen, der digitale Dienst, Facebook, Twitter, TikTok, muss eben bestimmte Regeln setzen und bestimmte algorithmische Systeme programmieren. Als Beispiel, man möchte etwa keine Enthauptungsvideos sehen. Das will man nicht sehen. Das heißt, man kann dann das System so programmieren, dass es Enthauptungsvideos erkennt, durchaus mit Unterstützung von künstlicher Intelligenz. Das lässt sich recht leicht machen und jeder, der sobald so ein entsprechendes Video hochgeladen wird, wird das gecheckt und wird dann entweder nicht einmal hochgeladen oder in dem Moment, wo es erkannt wird vom System, das ständig durchsucht, wird es gelöscht. Kristina Kobrow: Das ist eine technische Sache. Matthias Kettemann: Das ist eine technische Sache. Das heißt, wir haben einerseits technische Filter, die im Wesentlichen automatisiert ablaufen. Irgendwann einmal mussten sie programmiert werden und müssen immer wieder mal nachgeschärft werden, wenn neue Videos erscheinen oder neue Phänomene. Das ist ein Teil. Der zweite Teil ist die menschliche Dimension, weil natürlich kann Moderation nicht nur technisch vonstattengehen. Das heißt, wir haben auch eine zunehmend größer werdende Gruppe von menschlichen ModeratorInnen, die gemeinsam mit diesen Systemen arbeiten. Das heißt, allein aufgrund der Menge an Inhalten ist es nicht so, dass dann Einzelleute da sitzen und punktuell anschauen, was es da für Inhalte gibt, sondern wir haben eine Vorfilterung durch die großen algorithmischen Moderationssysteme, die teilweise selbst filtern und teilweise aber Inhalte für problematisch erachten und die dann den menschlichen ModeratorInnen weiterleiten, die sie dann anschauen müssen. Da gibt es je nach Kategorie von Inhalten und Kategorie des Verstoßes unterschiedliche Meldewege, besonders problematische Inhalte, wie zum Beispiel glaubhafte Drohungen gegen PolitikerInnen. In einer Stunde wird da eine Bombe explodieren oder ich werde heute Nachmittag den Politiker X umbringen. Das wird sofort „eskaliert“, heißt das. Das heißt, es wird sofort zu höherrangigen ModerationsmitarbeiterInnen geschickt, die das dann auf ihren Bildschirmen sehen und sofort agieren können, zum Beispiel gleich die Polizei anrufen können, gleich das weiterleiten können. Die haben inzwischen schon sehr gute, gut eingespielte Meldewege mit den deutschen Polizeibehörden. Für die große Menge der Inhalte aber, die nicht unbedingt sehr zeitsensitiv sind, sind das einfach Teams von ModeratorInnen, meistens Subcontractors der großen Plattformen… Kristina Kobrow: …die Unter-Unternehmer… Matthias Kettemann: …die Unter-Unternehmer, genau, die für den amerikanischen Rechtsraum, für den amerikanischen Sprachraum meistens in Indien und in Afrika sitzen. Für den deutschen Sprachraum hingegen zu einem großen Teil in Deutschland selbst, einfach weil die Sprachkompetenz da das ein bisschen geografisch fixiert. Insofern ist der deutsche Sprachraum ein bisschen privilegiert, weil wir regelmäßig dann von ModeratorInnen moderiert werden, die zumindest einen kulturellen Hintergrund haben des Landes, in dem sie auch moderieren. Kristina Kobrow: Okay, vielleicht nochmal kurz zusammengefasst: Also es gibt die Menschen auf der einen Seite, es gibt die automatisierten Systeme oder die algorithmischen Systeme auf der anderen Seite. Es gibt zuerst Menschen, die die Systeme trainieren, damit sie greifen. Dann gibt es diesen Prozess der Auswahl, du hattest die Drohung zum Beispiel genannt oder auch Gewalt oder sowas. Das wird alles schon vorgefiltert und dann wird es eskaliert und Menschen sind sozusagen dann dran zu entscheiden, wie gehe ich jetzt damit um, richtig? Matthias Kettemann: Genau. Und bei allen anderen Inhalten sind es, also sind es sehr oft Menschen, die mitentscheiden oder zumindest die dann mitentscheiden, wenn man einen Einspruch erhebt. Wenn ein Inhalt, den man hochlädt, von einem System automatisiert gelöscht wird, dann kann man einen Einspruch erheben und dann wird das intern so einer Art intern ein Mini-Gericht vorgelegt, das sich das dann anschaut und dann sagt, okay, war das richtig, dass wir das gelöscht haben? Oder hat da vielleicht das System, das automatisierte System, ist das falsch gelegen? Dann bekommt man diese Antwort zurück. Das ist bei den Plattformen jeweils ein bisschen unterschiedlich, aber ungefähr so läuft es überall ab. Und dann hat man immer noch die Möglichkeit, ein weiteres Schiedsgericht, also eine Art externer Schiedsgericht anzusprechen. Und wenn man auch damit unzufrieden ist, kann man natürlich den normalen Rechtsweg beschreiten. Also immer wieder mal kommt es zu Fällen, wo gerade PolitikerInnen, deren Inhalte verschwinden aus verschiedenen Gründen, die dann teilweise aus Prinzip, teilweise aus genuinem Interesse dann den Rechtsweg beschreiten. Und auch andersrum, wenn sie zum Beispiel online beleidigt werden. Die Frau Künast zum Beispiel hat da sehr wichtige Urteile erwirkt und die Plattformen nicht ausreichend löschen, dann kann man auch dagegen vorgehen. Also man kann sowohl dagegen vorgehen, wenn zu viel gelöscht wird, als auch wenn zu wenig gelöscht wird. Das ist aber eine ganz wichtige neuere Entwicklung der letzten fünf bis zehn Jahre. Die ersten zehn, 15 Jahre der großen Plattform Kommunikation konnten die Plattformen tun und lassen, was sie wollten. Und in manchen Staaten können sie das immer noch. In Amerika zum Beispiel gibt es viel weniger Gesetze, die Plattformen einengen, darin zu moderieren oder nicht zu moderieren. In Europa hat man durch den DSA oder Deutschland auch davor durch das Netzwerkdurchsetzungsgesetz eine global privilegierte Stellung. Wir haben viel mehr Rechte gegenüber den Plattformen. Unsere Meinungsäußerungsfreiheit ist viel stärker geschützt, auch aufgrund dieser rechtlichen Einhegung. Kristina Kobrow: Ist es denn gut so, wie es ist? Also die Aufteilung zwischen Menschen und Maschinen oder gibt es da Verbesserungsbedarf? Matthias Kettemann: Man hat den Eindruck, dass es Verbesserungsbedarf gibt, gerade auch deswegen, weil in letzter Zeit die automatisierten Filter von vielen Plattformen heruntergefahren werden. Zuckerberg zum Beispiel, also der Chef der Meta-Produkte, hat durchaus auch, um sich ein bisschen Trump anzubiedern, gesagt, er würde jetzt die automatisierte Filterung herunterfahren, zurückfahren, weil die zu viel löschen würde, also zu viel legale und auch nicht den AGBs widersprechende Inhalte herunternehmen würde. Und das möchte er nicht. Kristina Kobrow: Das war die Debatte um Fact-Checking, glaube ich, Fact-Checking herunterfahren und Community-Notes hochfahren. Matthias Kettemann: Ganz genau, das war ein Aspekt davon. Das ist ein Teil der Content-Moderation übrigens auch, die ist natürlich facettenreich. Die Plattformen haben seit einiger Zeit erkannt, dass es Inhalte gibt, die zwar emotionalisieren und damit sie ein genuines Interesse daran hätten, dass diese Inhalte online bleiben, dass sie aber auch gleichzeitig die Politik, jetzt mal unscharf gesagt, nervös machen. Also die Präsenz von Desinformationen zum Beispiel auf Plattformen macht die Politik regelmäßig sehr nervös, besonders wenn es um politische Inhalte geht. Und um zu verhindern, dass die Politik zu sehr reguliert, haben viele der Plattformen gesagt, na ja, dann tun wir ein bisschen was gegen Desinformation und haben unter anderem diese Fact-Checks eingeführt. Innerhalb der EU sind die jetzt im Wesentlichen nicht verpflichtend, aber sie sind durch die Bestimmungen des DSA wichtiger geworden, weil die Plattformen nun nachweisen müssen, dass sie die Risiken, die sie in ihren Plattformen in der Kommunikation schaffen, etwa für demokratische Meinungsbildungsprozesse, dass sie die entsprechend reduzieren versuchen. Und Fact-Checking ist eine Möglichkeit, wie man Desinformationsrisiken reduzieren kann und das dann auch der Kommission nachweisen kann. Kristina Kobrow: Ich würde gerne jetzt zu dem Code of Conduct kommen, denn den hatte ich am Anfang schon angesprochen. Du hast ihn entwickelt und veröffentlicht gerade mit deinem Team am Alexander von Humboldt-Institut für Internet und Gesellschaft. Was ist dieser Code of Conduct genau? Was ist sein Ziel? Matthias Kettemann: Genau, also das Bredow-Institut arbeitet schon lange an der Content-Moderation. Wir sind auch eng verknüpft mit dem Berliner Humboldt-Institut und arbeiten da sehr viel zusammen. Und in einem Projekt, das wir durchgeführt haben, auch unter starkem Rückgriff auf die Vorarbeiten am Bredow-Institut, ging es um die Frage, wie können wir das Zusammenarbeiten von Menschen und Maschinen in der Content-Moderation verbessern? Wir haben ja schon angesprochen, es braucht beides. Es braucht Maschinen, also automatisierte Systeme. Es braucht Menschen und die müssen gut zusammenarbeiten. Kristina Kobrow: Kann ich dich noch einmal unterbrechen, Matthias? Wir haben es angesprochen, aber ich würde da doch nochmal rückfragen wollen. Warum brauchen wir denn beides? Könnte ich nicht auch sagen, okay, Menschen sollen mit diesen, mit Desinformation, mit Gewalt oder was auch immer, gar nichts zu tun haben. Ich möchte nur Maschinen haben. Wäre das nicht auch eine mögliche, legitime Sichtweise? Matthias Kettemann: Es wäre auf jeden Fall eine Sichtweise. Die würde dann wahrscheinlich dazu führen, dass entweder viel zu viel oder viel zu wenig gelöscht wird. Man müsste ja dann bestimmte Regeln aufstellen. Man müsste zum Beispiel sagen, eine Plattform, die verhindern möchte, dass dann Gewaltdarstellungen erscheinen, müsste sagen, sobald die KI sagt, da ist Gewalt im Spiel oder da ist Blut oder da passiert etwas Schlechtes, darf dieses Bild nicht erscheinen oder darf dieser Text nicht erscheinen. Dann würde sehr, sehr viel an legitimen Inhalten wahrscheinlich nicht erscheinen können. Zum Beispiel ein Video über Polizeigewalt. Das kann man natürlich dann in den Systemen versuchen beizubringen, zu unterscheiden zwischen illegitimer Gewalt und legitimen Gewaltaufnahmen, die man aus politischen Gründen vielleicht präsentieren möchte oder als Teil von Machtkritik. Nur das wird regelmäßig sehr schwierig sein, weil automatisierte Systeme nicht besonders kontextsensitiv sind und nicht kulturelle Hintergründe kennen. Ein anderes klassisches Beispiel ist die selbstermächtigte Nutzung von Schimpfwörtern. Innerhalb von gewissen Communities verwendet man Wörter, die teilweise von außen betrachtet Schimpfwörter sein können, die aber als Teil der selbstermächtigten Sprache sein können. Zum Beispiel das N-Wort oder das B-Wort im Kontext von Frauenrecht zum Beispiel. Systeme verstehen nicht so leicht, also automatisierte Systeme kann man praktisch nicht beibringen, wann man das Wort sagen darf und wann man es nicht sagen darf. Das heißt, wenn wir sagen, wir machen das nur über automatisierte Filterung, dann würden wir die Online-Kommunikationswelt sehr stark verarmen lassen. Gleichzeitig, wenn wir die Systeme viel zu stark runterfahren, würde es dazu führen, dass wir viel mehr menschliche ModeratorInnen brauchen würden. Und das ist auch nicht toll, weil die natürlich durch Online-Inhalte, die brutal sind, traumatisiert werden. Da gibt es inzwischen viele, viele Studien dazu, was für eine, was für menschliche Kosten es hat, wenn man, wie es manchmal heißt, die Inhalte, die Inhalte Müllabfuhr des Netzes spielen muss. Also Menschen, die Tag für Tag mit Gewaltdarstellungen konfrontiert sind, die leiden darunter sehr, kriegen sehr schnell Burnouts und das macht was mit diesen Personen. Deswegen können wir gar nicht wollen, dass Menschen zu viele dieser Inhalte sehen müssen. Es geht also um einen guten Mix, so viel automatisiert wie möglich und so viel menschlich wie nötig. Die Plattformen haben da intern jeweils unterschiedliche Mixes entwickelt und wir haben uns in dem Projekt uns überlegt, was für gute Vorschläge können wir formulieren, um hier dieses Zusammenspiel zu verbessern. Der Hintergrund ist, dass in diesem Rechtsakt zu digitalen Diensten im DSA vorgesehen ist, dass es neben den Regeln, die im Gesetz selbst stehen, soll es auch sogenannte Verhaltensstandards oder Codes of Conduct geben, die sich die Unternehmen selbst geben können oder die die Wissenschaft entwickeln kann und die dann, wenn sie überzeugend sind, von den Unternehmen aufgenommen, aufgegriffen werden können und die werden dann Teil ihrer Verpflichtungen. Also es ist ein bisschen eine Art Gewohnheitsrecht. Also wenn die gut genug sind, die Plattformen übernehmen sie und genug Plattformen haben die dann anerkannt, dann müssen die anderen erklären, warum sie die nicht möchten. Das wird ja mit der Hintertür also rechtsverbindlich. Kristina Kobrow: Das heißt, es ist auch noch mal was anderes als die Community Guidelines, die ja auch schon existieren teilweise, oder? Matthias Kettemann: Die Community Guidelines, das ist ein anderer Name für die internen Regeln, die die Plattformen haben. Das sind die allgemeinen Geschäftsbedingungen der jeweiligen Plattformen. Also Community Guidelines oder eben manchmal auch Community Rules heißt es auch oder Standards. Das wird manchmal ein bisschen unscharf verwendet, der Begriff, aber das sind die bestehenden internen allgemeinen Geschäftsbedingungen. Genau. Und wir haben eben im Rahmen von einem einjährigen Prozess haben wir mit vielen Stakeholdern, also mit vielen Menschen, die sich da gut auskennen, gesprochen von den Firmen, über die Psychologie-ExpertInnen, über TechnikerInnen, NGOs, die viel mit Hassreden zu tun haben und haben eben gewisse Prinzipien entwickelt, wie man diese Mensch-Maschine-Interaktion ein bisschen besser macht. Das haben wir jetzt auch dann veröffentlicht und vorgestellt vor den Behörden, die sich beschäftigen mit der Durchsetzung des Rechtsaktes zu digitalen Diensten. Um jetzt einige der Beispiele zu nennen, wir empfehlen zum Beispiel ein viel menschenzentrierteres Design des Interfaces. Also wir möchten, wir schlagen vor, dass die Art und Weise, wie Inhalte den menschlichen Moderatoren präsentiert werden, Rücksicht nimmt auf die psychologischen Kosten. Einfaches Beispiel: Es ist nachgewiesen, dass wenn ein Bild in schwarz-weiß einem präsentiert wird, dass das weniger stark emotional auf einen wirkt, als wenn es in Farbe präsentiert wird. Und es gibt keinen Grund, warum etwa sehr problematische Inhalte unbedingt in Farbe den Moderatoren präsentiert werden müssen. Es ist nachgewiesen, dass wenn Bilder klein präsentiert werden, also etwa Gewaltdarstellungen, dass das besser ist für Menschen, als wenn sie groß präsentiert werden. Wenn sie etwas unscharfer präsentiert werden, ist es auch besser. Und all das sind kleine, kleine Hacks, die man einführen kann, um sicherzustellen, dass die menschlichen Kosten möglichst gering sind. Zweitens fordern wir oder schlagen wir vor, dass die Transparenz stark erhöht wird, wie Plattformen diese Mensch-Maschine-Zusammenarbeit gestalten, damit wir mehr darüber wissen, wie das jede Plattform macht. Kristina Kobrow: Also als Nutzer? Matthias Kettemann: Als Wissenschaftler auch, als Nutzer auch, weil es einfach interessant ist, aber vor allem als Wissenschaftlerin und als die Organisator, diese Organisationen, die sich beschäftigen mit den Berichten, die die Plattformen erstellen müssen, über die gesellschaftlichen Risiken, die sich in ihren Systemen abspielen, die müssen sie reduzieren. Und wir müssen einfach mehr darüber wissen, wie das funktioniert. Dann schlagen wir auch vor, dass es eine Art menschliche Notbremse gibt, gerade in hochgefährlichen Kommunikationssituationen. Das heißt, die Plattformen müssen besser werden zu erkennen, wann Kommunikation gefährlich wird. Diese Beispiele der Attentatspläne zum Beispiel habe ich angesprochen. Da schlagen wir vor, dass die etwas früher schon menschlichen Moderatorinnen gezeigt werden, dass die Systeme also sensibler werden für derartige Fragen. Und dann ein weiteres Beispiel ist, wir schlagen vor, dass sobald das System erkennt, dass Inhalte komplex sind, wenn zum Beispiel Humor im Spiel ist oder wenn es um ein politisch sensibles Thema geht, dass man dann die automatisierte Moderation zurückfährt. Wenn zum Beispiel, man weiß zum Beispiel nicht, dass das Wort „Dschihad“ einerseits in einem terroristischen Kontext verwendet wird, dass es aber auch in anderen Kontexten ein arabisches Wort ist, das nicht mit terroristischen Kontext zusammenhängt. Und wir schlagen etwa vor, dass solche Wörter eben nicht mehr primär automatisiert gefiltert werden, weil das ganz klar zu einer Übermoderation führt. Also komplexe Inhalte, komplexe Themen, gerade jetzt der Israel-Gaza-Konflikt zum Beispiel oder der Ukraine-Russland-Konflikt, da müssen die Plattformen mehr investieren in menschliche Kontrolle, um sicherzustellen, dass gerade in so kontroversen Themen hier nicht zu viel falsch gelöscht wird. Die Plattformen geben den ModeratorInnen regelmäßig recht wenig Informationen darüber, was der Hintergrund eines entsprechenden Postings ist. Dies aus Gründen des Datenschutzes. Die Plattformen möchten reduzieren, wie viel Informationen sie über die NutzerInnen weitergeben. Wir schlagen vor, dass hier die Verhältnismäßigkeit noch ein bisschen stärker geprüft wird, um sicherzustellen, dass die menschlichen ModeratorInnen genügend Informationen haben, um gute Entscheidungen zu treffen. Dann bezogen auf die Moderation-Systeme selbst schlagen wir vor, dass die Empfehlungssysteme verstärkt darauf kontrolliert werden, ob sie wohl fair sind und nicht-diskriminierend sind, insbesondere wenn es um die Verbreitung von Inhalten geht, die vielleicht jetzt nicht sehr mainstreamig sind. In der Geschichte, geschichtlich war es so, dass Inhalte, dass die Plattformen vor allem Inhalte priorisiert haben, die zu viel Engagement geführt haben. Und das waren halt regelmäßig nicht jene Inhalte, die Nischeninteressen bedient haben. Also z.B. Interessen von Personen mit Behinderungen, die sind regelmäßig nicht der Mainstream und führen regelmäßig nicht zu einem erhöhten Engagement. Wir finden aber, dass die Empfehlungssysteme heute einen Punkt erreicht haben, dass die Plattformen stärker hier in die Pflicht genommen werden können, für mehr Informationsqualität und Informationsdiversität zu sorgen. Das wäre auch einer der Vorschläge, die wir machen. Kristina Kobrow: Wenn du jetzt sagst „Vorschläge“, also wie optimistisch bist du denn, dass es durchgesetzt wird? Weil ich habe eher den Eindruck, also ich wäre da glaube ich eher die Pessimistin, die sagt, naja, aber die Plattformen sind ja nicht dafür bekannt, dass sie jetzt eben mehr kontrollieren, mehr auf Menschenrechte gehen, sondern wirklich eher die Subunternehmen haben, die in Afrika, in Asien oder so dann die Content-ModeratorInnen haben, zu prekären, ausbeuterischen Verhältnissen. Deswegen frage ich mich so ein bisschen, wie können wir sicherstellen oder was können wir, ihr, tun, damit das tatsächlich umgesetzt wird und realisiert wird? Matthias Kettemann: Ja, das ist das Problemstatement quasi. Also das ist die Herausforderung, vor der wir stehen. Um dieser Herausforderung zu begegnen, haben wir unter anderem diesen Verhaltensstandard entwickelt, auch in Kooperationen mit großen Plattformen. Und wir sind ja mit denen im Gespräch die ganze Zeit. Die Wissenschaft soll ja nicht sich als eine eigene Sphäre sehen, die nur Wissen generiert und dann wartet, was die Gesellschaft damit macht. Das ist ein falsches Verständnis von Wissenschaft. Wissenschaft heutzutage hat eine soziale Verantwortung und natürlich müssen wir, sobald wir Ergebnisse produzieren, uns überlegen, wie diese Ergebnisse dann gesellschaftlich wirksam werden können. Und gerade dieser Verhaltensstandard ist explizit dafür gemacht, um übernommen zu werden. Das ist jetzt der Punkt, an dem wir stehen. Wir stellen ihn den Behörden vor. Wir stellen ihn den Organisationen vor, die dann ein Interesse daran haben, den umzusetzen. Und wir müssen jetzt den Plattformen vermitteln, dass sie auch ein Interesse daran haben, diesen Verhaltensstandard zu implementieren, weil er im Endeffekt zu einer Erhöhung der Qualität der Online-Kommunikation führt und zu einer Erhöhung des Niveaus des Rechtsschutzes in Online-Räumen. Unter anderem, wie du angesprochen hast, in Befolgung unseres Code of Conduct würde man viel stärker auf die Rechte der menschlichen Content ModeratorInnen Rücksicht nehmen und denen eben etwa psychologische Unterstützung zur Verfügung stellen. In der Tat lässt sich nicht vorhersagen, wie lange es dauern wird, bis die Plattformen den übernehmen. Aber andere Verhaltensstandards in der Vergangenheit, wie etwa jener über Desinformation, waren sehr erfolgreich. Und deswegen bin ich durchaus positiv gestimmt, dass das auch Erfolg haben wird. Wir können aber sehr gerne in einem Jahr uns noch einmal zu dem Thema treffen und dann eine Review durchführen. Kristina Kobrow: Ja, gerne. Matthias Kettemann: Ich habe noch eine letzte Frage. Wie kann ich das denn tatsächlich messen? Also wenn du jetzt auch sagst, der Code of Conduct für Des- oder gegen Desinformation war sehr erfolgreich, woran sehe ich das denn eigentlich? Matthias Kettemann: Ja, es ist sehr schwer zu messen, ob es mehr oder weniger Desinformation gibt, weil man keine entsprechende Baseline hat. Was ist die Baseline an Desinformation in einer Gesellschaft? Aber was wir sehen, ist, dass die Plattformen im Großen und Ganzen seit jetzt fünf Jahren viel stärker sensibilisiert sind für das Phänomen Desinformation und verstärkt intern vorgehen gegen Akteure, die Desinformation verbreiten und die Pflichten aus diesem gemeinsamen Verhaltensstandard im Wesentlichen alle übernommen haben. Ja, es gibt Ausnahmen. Also Twitter zum Beispiel hat sich bewusst zurückgezogen. Aber im Großen und Ganzen ist das Normalität geworden, dass die Plattformen gegen Desinformation vorgehen. Es wird einfach nicht mehr diskutiert. Im Einzelfall natürlich kann man darüber streiten, was jetzt eine legitime politische Meinung oder was Desinformation ist. Aber das ist inzwischen so normal geworden, dass die Plattformen gegen Desinformation was machen, dass das einfach nicht mehr diskutiert wird. Also man kann nicht mehr ernsthaft die Frage stellen, sollen die Plattformen was gegen Desinformation machen, weil alle tun was dagegen. Und wir würden uns wünschen, dass jetzt dann in einem Jahr vollkommen klar ist, dass alle Plattformen noch sensibler umgehen mit der Frage, die Menschen und Maschine zusammenarbeiten und vielleicht einige der Vorschläge, die wir gemacht haben, einige der Standards, die wir vorgeschlagen haben, implementieren. Manche sind eh schon, zumindest zu einem großen Teil, übernommen. Jede Plattform hat interne Regeln, wie Menschen und Maschine zusammenarbeiten. Wir möchten eben nur, dass diese Regeln ein bisschen sensibler angewandt werden, besser kommuniziert werden, transparenter gemacht werden und haben da empiriebasiert Vorschläge gemacht, wie gute Mensch-Maschine-Zusammenarbeit funktioniert. Kristina Kobrow: Und wir verlinken natürlich diesen Code of Conduct auch nochmal in den Shownotes. Und genau, dann würde ich sagen, ich schneide mir ganz viel von deinem Optimismus ab und wünsche dir erstmal noch einen ganz tollen Tag. Ich danke dir, Matthias. Matthias Kettemann: Vielen Dank, Kristina. Danke, dass ich dabei sein durfte. Outro (Kristina Kobrow): Wie gelingt gute Content-Moderation und warum braucht es für gute Content-Moderation auch ein Code of Conduct? Zu diesem Thema durfte ich heute sprechen mit Professor Dr. Matthias Kettemann vom Leibniz-Institut für Medienforschung I Hans-Bredow-Institut. Wer noch mehr über unser Forschungsinstitut wissen möchte, der schaut am besten auf unserer Website vorbei. Das ist www.leibniz-hbi.de oder folgt uns auf den Plattformen LinkedIn oder BlueSky. Mein Name ist Kristina Kobrow und dies ist der BredowCast.