Pandoras Büchse oder: Die Chatkontrolle – Massenüberwachung durch Echtzeit-Scans

Gemunkelt wurde schon länger, nun ist es aber offiziell: Die EU-Kommission stellte vor Kurzem ihre Pläne für ein neues Gesetz zur Chatkontrolle vor. Ziel der EU-Kommission ist es, den Kampf gegen sexuellen Missbrauch Minderjähriger voranzutreiben. Das ist zweifelsfrei dringend notwendig. Doch erreicht werden soll dies, indem die Privatsphäre unter anderem auf unseren Mobiltelefonen ausgehebelt wird. Ob jedoch die anlasslose Massenüberwachung auch unbescholtener Bürgerinnen und Bürger die Strafverfolgung in dieser Hinsicht wirklich weiterbringt, wird allgemein bezweifelt.

Nachdem wir in unserem Beitrag einen Überblick zur Chatkontrolle geliefert haben, setzen wir uns mit Inhalten, Maßnahmen und Zielen des Gesetzentwurfs auseinander. Wir beurteilen die Chatkontrolle aus Datenschutzsicht und zeigen Euch, wie Ihr aktiv werden könnt.

Chatkontrolle: Wozu soll es ein Gesetz geben?

Es sind traurige und erschreckende Zahlen, von denen die EU-Kommission berichtet: Allein im Jahr 2021 gab es 85 Millionen Meldungen von Bildern und Videos, die sexuellen Kindesmissbrauch darstellen – die Dunkelziffer liegt weitaus höher. Offenbar wurde die Situation durch die Corona-Krise noch weiter verschärft. Um Kindesmissbrauch mit neuen Methoden verfolgen zu können, präsentierte die EU-Kommission einen Gesetzesvorschlag zum Schutz von Kindern.

Dass die EU-Kommission ein derartiges Vorhaben plant, war bereits länger bekannt – schon seit geraumer Zeit sucht die EU nach Mitteln, mit denen sie verhindern kann, dass Material zu Kindesmissbrauch online geteilt wird. Mit der Chatkontrolle – also dem Durchleuchten von Online-Kommunikation in Messengern, sozialen Netzwerken oder auch per E-Mail – möchte die EU Algorithmen einführen, die erkennen können, wann es sich um derartiges Material handelt. Um dies zu erreichen, könnte Künstliche Intelligenz (KI) zum Einsatz kommen: Der Algorithmus erkennt bereits bekanntes Material anhand eines Hashwerts, also eines einzigartigen Werts, der den Datei-Inhalt beschreibt. Ist den Algorithmen – und damit auch den Behörden – ein Bild bekannt, auf dem Kindesmissbrauch dargestellt wird, können alle Bilder damit abgeglichen werden. Um bisher nicht bekanntes Material erkennen zu können, sollen die Algorithmen mittels Machine Learning, also maschinellem Lernen, dazulernen können.

Nach Veröffentlichung des Gesetzentwurfs mit dem sperrigen Namen „Verordnung zur Festlegung von Vorschriften zur Verhütung und Bekämpfung des sexuellen Missbrauchs von Kindern“ jedoch werden Kritiken immer lauter. Das anlasslose Scannen von Kommunikationen im Internet sei ein großer Eingriff in die Privatsphäre. Bevor wir auf diese Gegenstimmen detaillierter eingehen, erklären wir Euch erst mal mehr zum Gesetzentwurf.

Inhalte, Maßnahmen und Ziele des Chatkontrolle-Gesetzes

Der Kampf gegen sexuellen Missbrauch von Kindern hat für die EU hohe Priorität – und schon seit geraumer Zeit versuchen Ermittlungsbehörden und die EU-Kommission, dem etwas entgegenzusetzen. So diskutierte man Hintertüren für Ermittelnde, sodass die Ende-zu-Ende-Verschlüsselung umgangen werden könnte. Darüber und über weitere Ideen wie PhotoDNA und Uploadfilter berichteten wir in unserem Beitrag „Zur Entschlüsselung gezwungen“.

IT-Konzerne wie Microsoft, Facebook Google oder Snapchat nutzen bereits Mittel wie die PhotoDNA zur Überwachung von unverschlüsselten Nachrichten – jedoch auf freiwilliger Basis, und das ist aus Sicht der EU-Kommission unzureichend. Harmonisierte bzw. allgemeingültige EU-Vorschriften existieren bislang nicht, sondern für viele Anbieter von Social Media-Plattformen oder Online-Diensten gelten verschiedene Regelungen.

Der nun präsentierte Gesetzesvorschlag baut auf dem Gesetz über digitale Dienste (Digital Services Act, DSA; wir berichteten) auf und konkretisiert es durch Regelungen, die das Erkennen von Kindesmissbrauch online ermöglichen sollen. Der Entwurf zum Chatkontrolle-Gesetz nimmt sozialen Medien, Hosting-Anbieter und Messengerdienste in die Pflicht, Missbrauchsmaterial sowie Cyber-Grooming (Kontaktanbahnungen) von Minderjährigen zu erkennen. Online-Diensteanbieter werden also verpflichtet, Materialien über sexuellen Kindesmissbrauch aufzudecken, zu entfernen und zu melden.

Welche technischen Lösungen eingesetzt werden sollen, ließ die EU-Kommission bisher offen. Aktuell sind zwei Verfahren im Gespräch:

1. Smartphoneseitig – Client-Site-Scanning: Dass Ende-zu-Ende-verschlüsselnde Messenger nicht ausgenommen sind, hat zur Folge, dass die Anbieter Nachrichten vor dem Verschlüsseln („client-side scanning“; CSS) durchleuchten müssen; ggf. werden Nachrichten dann unverschlüsselt ausgeleitet. CSS ist gefährlich für die IT-Sicherheit: Stellen erhalten Zugang zu privaten Inhalten, sodass es sich um Abhöraktionen handelt. Viele Nutzergeräte weisen zudem Schwachstellen auf, die durch die Überwachungs- und Kontrollmöglichkeiten des CSS von weiteren Akteuren ausgenutzt werden können. CSS schwächt aber auch die Meinungsfreiheit und Demokratie: Einmal eingeführt, wird es schwer, sich gegen etwaige Ausweitungen zur Wehr zu setzen oder Kontrolle über den Missbrauch des Systems zu erhalten.
2. Aushebeln der Verschlüsselung (Man-in-the-Middle) durch die Messengerdienste: Die EU möchte Messengerdienst-Anbieter zu einer Hintertür im Messenger verpflichten, sodass man über diese auf die Inhalte des Smartphones zugreifen kann.

Davon betroffen sind laut EU-Kommission insbesondere „relevante Dienste der Informationsgesellschaft“, nämlich Hostprovider (einschließlich Foto- und Videoplattformen), Zugangsprovider, App Store-Betreiber sowie interpersonelle Kommunikationsdienste wie Messenger und E-Mail. Diesen „relevanten Diensten“ soll vorgeschrieben werden, Chats, Nachrichten sowie E-Mails mittels Künstlicher Intelligenz (KI) nach verdächtigen Inhalten zu durchleuchten – daher auch der Begriff „Chatkontrolle“. Wurden verdächtige Inhalte erkannt, sollen diese an Strafverfolgungsbehörden weitergeleitet werden, die dann ihrerseits prüfen, ob sich der Anfangsverdacht bestätigt hat.

Der Gesetzentwurf zur Chatkontrolle sieht zahlreiche Anforderungen für die „relevanten Dienste“ vor, die sich je nach Dienst unterscheiden können:
• Risiken bewerten und mindern: Wer Hosting- oder Messenger-Dienste anbietet, soll mittels Risikobewertung darlegen, ob die Dienste fürs Verbreiten entsprechenden Materials genutzt werden. Diese Anbieter werden auch auf Maßnahmen zur Risikominderung verpflichtet: Beispielsweise durch Altersverifikationen oder ggf. durch das Aufheben von Verschlüsselung.
• Anordnungen für Aufdeckungspflichten: Fürs Prüfen der Risikobewertungen der Dienste sollen die Mitgliedsstaaten nationale Behörden benennen. Stellen diese Behörden ein hohes Risiko fest, können sie eine Anordnung beantragen, um zu verfügen, Material zu sexuellem Kindesmissbrauch oder auch Cyber-Grooming aufzuspüren.
• Meldepflicht: Entdecken Anbieter Inhalte mit sexuellem Kindesmissbrauch, sind sie verpflichtet, dies an das neue EU-Zentrum für Fragen des sexuellen Kindesmissbrauchs zu melden.
• Entfernen und blockieren: Entfernen Dienste entsprechendes Material nicht umgehend, können nationale Behörden die Entfernung per Anordnung erlassen. Der Zugang zu kinderpornografischem Material ist außerdem durch Zugangsprovider zu sperren, wenn dieses nicht gelöscht werden kann.
• Apps löschen: App Stores werden in die Pflicht genommen, keine Apps für Kinder anzubieten, die mit der Gefahr einhergehen, dass Täter darüber Kontakt zu Kindern anbahnen könnten.

Beurteilung der Chatkontrolle aus Datenschutzsicht

Wie oben erwähnt, sind Erkennungstechnologien bereits verfügbar und werden stetig weiterentwickelt. In ihrem Gesetzentwurf benennt die EU-Kommission keine Technologie konkret, fordert jedoch das Erkennen und Melden bestimmter Inhalte, wenn eine Gefahr vorliegt. Problematisch bei aktuell vorhandenen Technologien ist mitunter die hohe Fehlerquote: Auch irrtümliche Treffer müssen an die Strafverfolgungsbehörden gesendet werden, sodass harmlose Nachrichten, Chats, Videos oder Fotos von Unschuldigen gesichtet und unnötig verbreitet werden. Heißt für die Praxis: Menschen, die im geplanten EU-Zentrum arbeiten, müssen falsch-positives Material händisch aussortieren. Damit bekommen Ermittelnde ggf. auch legale Aufnahmen Minderjähriger zu sehen.

Die Seite netzpolitik.org veröffentlichte dazu einen geleakten Bericht. Daraus geht hervor, dass das EU-Zentrum eng mit der EU-Polizeibehörde Europol zusammenarbeiten soll: „Es sei auch wichtig, dass Europol alle Meldungen erhalte, um einen besseren Überblick zu haben“, heißt es. In der Summe scheint klar: Jeder und jede steht mit der Chatkontrolle unter Generalverdacht. Falsch-positive Ergebnisse entstehen, weil die scannende KI den Kontext nicht versteht: Da verbringt die Familie den Sommer am Strand und schickt einander die entstandenen Fotos zu – die dann unter Umständen in der EU-Zentrale und bei Europol landen. Privatsphäre sieht leider anders aus.

Was folgt, könnte eine nie dagewesene Massenüberwachung aller Bürgerinnen und Bürger sein – anlasslos und vollautomatisiert. Damit würde das Recht auf Verschlüsselung ausgehebelt und das digitale Briefgeheimnis abgeschafft werden. Und das, obwohl eine sehr große Mehrheit bei einer Befragung die verdachtslose Chatkontrolle abgelehnt hat. In dieser Befragung sprachen sich mehr als 80 Prozent gegen eine Anwendung auf verschlüsselte Kommunikation aus.

Machen wir uns nichts vor: Maschinell nach Grooming-Versuchen oder derzeit unbekannten Missbrauchsdarstellungen suchen zu wollen, ist rein experimentell – auch bzw. gerade unter Verwendung von KI. Denn die Algorithmen, die dabei eingesetzt werden, sind weder der Öffentlichkeit noch der Wissenschaft zugänglich – eine Offenlegungspflicht ist auch in dem Gesetzentwurf nicht zu finden. Kommunikationsdienste, die für Grooming-Versuche missbraucht werden könnten – und darunter fallen alle Kommunikationsdienste! – müssen Altersverifikationen mit Nutzerinnen und Nutzern durchführen. Das geht nur, wenn man sich ausweist. Damit wird die anonyme Kommunikation de facto unmöglich gemacht, was gerade Menschenrechtler:innen, Whistleblower:innen, politisch Verfolgte, Journalist:innen oder marginalisierte Gruppen bedrohen könnte.

Werden Zugangsprovider verpflichtet, Zugänge zu entsprechendem Material außerhalb der EU mit Netzsperren zu blockieren, wird damit eine technische Zensurinfrastruktur aufgebaut – um dabei völlig zu übersehen, dass Netzsperren einfach umgangen werden können. Netzsperren wurden unter dem Deckmantel des Kinderschutzes schon einmal diskutiert: Das 2009 beschlossene Zugangserschwerungsgesetz („Zensursula-Gesetz“) wurde früher als geplant wieder beendet.

Chatkontrolle: Der Zweck heiligt nicht die Mittel!

Rückmeldungen der Öffentlichkeit zu den bisherigen Vorschlägen des Gesetzentwurfs sind noch eine Zeitlang möglich – fraglich scheint nur, ob diese dann auch Gehör finden, denn den bisherigen Kritiken zum Trotz wurde der Gesetzentwurf so ausgestaltet. Als nächstes müssen das Europäische Parlament und der Rat über das Chatkontrolle-Gesetz entscheiden. Wird die neue Verordnung angenommen, ersetzt sie die gegenwärtig geltende Übergangsverordnung.

Nicht unerheblich dafür, ob das Chatkontrolle-Gesetz kommt oder nicht, ist die Einschätzung des Bundesdatenschützers Ulrich Kelber, der sich auf Twitter bereits kritisch äußerte: „Der Entwurf der Kommission ist nicht vereinbar mit unseren europäischen Werten und kollidiert mit geltendem Datenschutzrecht.“ Und weiter: „Ich werde mich in meiner Funktion als BfDI auf nationaler und europäischer Ebene dafür einsetzen, dass die Verordnung in dieser Form nicht kommt.“

Natürlich ist es löblich, dass sich die EU stärker gegen Kindesmissbrauch einsetzen möchte und dass dieses Ziel eine hohe Priorität hat. Aus Datenschutzsicht ist der Entwurf zum Chatkontrolle-Gesetz jedoch katastrophal: Auch Ihr steht unter Generalverdacht! Wenn Ihr nun glaubt, Ihr hättet nichts zu verbergen, dann freundet Euch mit diesen Facts an: Kommt die Chatkontrolle, …
• … werden alle Eure E-Mails und Chats automatisch auf verdächtige Inhalte durchsucht. Es existiert dann keine vertrauliche und geheime Kommunikation mehr – Gerichte müssen derlei Durchsuchungen nicht mehr anordnen, sie geschehen immer und automatisiert.
• … werden wahrscheinlich auch Eure Strandfotos falsch-positiv anschlagen und von internationalen Ermittelnden angesehen.
• … könnt auch Ihr unschuldig in Verdacht geraten. Ein Urlaubsfoto von Eurem Sprössling am Strand soll an die Oma versendet werden? Schon ist auch sie verdächtig …
• … könnten Euch bei Eurer nächsten Auslandsreise Probleme erwarten. Stellt Euch vor, eine Verdachtsmeldung wird in die USA weitergeleitet, wo es keinen Datenschutz auf europäischem Niveau gibt. Die Konsequenzen sind absehbar.
• … könnten weitere staatliche Akteure wie Geheimdienste oder auch Cyberkriminelle wie Hacker auf Eure privaten Chats und E-Mails zugreifen. Deshalb warnte der Chaos Computer Club (CCC) bereits davor, „dass sich die Rechteverwertungsindustrie für das System ebenso brennend interessieren wird wie demokratiefeindliche Regierungen“.
• … öffnet sich die Büchse der Pandora. Denn etabliert sich die Technologie zur Chatkontrolle erst, ist es sehr einfach und auch höchstwahrscheinlich, sie auch für andere Zwecke einzusetzen. Diese erzwungene Hintertür ermöglicht das Überwachen bislang sicher verschlüsselter Kommunikationen auch für andere Zwecke. Den Algorithmen ist es egal, ob sie nach Kindesmissbrauch, nach Drogenkonsum oder nach unliebsamen Meinungsäußerungen suchen. In einigen Staaten der EU ist es beispielsweise nicht normal, zur LGTPQ+ Bewegung zu gehören. Tatsächlich verwenden autoritäre Staaten derlei Filter zum Verfolgen und Verhaften von Andersdenkenden.
• … schadet sie sogar beim Verfolgen von Kindesmissbrauch, denn Ermittelnde sind mit Meldungen überlastet, die oftmals strafrechtlich irrelevant sind. Ein Ermittler beschreibt es wie folgt: „Wir haben heute schon ein Heuhaufen-Problem. Die Masse der neuen Meldungen nach den EU-Plänen droht unsere Strafverfolgung eher lahmzulegen“.
• … werden Täter nicht getroffen. Denn: Missbrauchstäter nutzen schon jetzt in aller Regel keine kommerziellen Online-Dienste, sondern richten sich eigene Foren ein. Missbrauchstäter laden Bild- und Videomaterial häufig als verschlüsseltes Archiv in diese Foren und teilen nur Links und Passwörter. Die Algorithmen der Chatkontrolle funktionieren hier leider nicht. Man würde also wirklich nur die ganz „Dummen“ fangen.
• … wird die Strafverfolgung privatisiert. Denn dann entscheiden Algorithmen von großen Tech-Giganten, welche Inhalte als verdächtig gelten.
• … werden Schutzräume für Missbrauchsopfer zerstört. Betroffene sexualisierter Gewalt sind auf sichere und vertrauliche Kommunikation angewiesen – etwa um mit Therapeut:innen oder Anwält:innen zu sprechen. Ist die Echtzeitüberwachung eingeführt, kann genau das Opfer davon abhalten, Unterstützung zu suchen. Aus diesen und weiteren Gründen lehnen der Kinderschutzbund und der Deutsche Kinderverein die Chatkontrolle vehement ab.
• … wird die Strafverfolgung von Kindesmissbrauch zusätzlich erschwert. Kriminelle Täter werden in den Untergrund gedrängt, wo sie nicht mehr zu überwachen sind.

Chatkontrolle: Jetzt aktiv werden!

Es steht außer Frage, dass jeder vernünftige Mensch mehr Schutz für Kinder möchte. Aber wollen wir, dass dafür Werkzeuge genutzt werden, die nicht mal an der richtigen Stelle ansetzen? Wir alle sind jetzt gefragt, denn wenn diese Büchse der Pandora einmal geöffnet wurde, bekommen wir sie nie wieder zu.

Die Chatkontrolle muss in der geplanten Form verhindert werden, denn sie bewirkt das Gegenteil von dem, was sie bewirken soll. Was also können wir unternehmen?
• Schriftlich protestieren: Wendet Euch an die Bundesregierung und die EU und teilt ihr höflich die Gründe mit, die gegen die Chatkontrolle sprechen – s. voriger Absatz.
• Petition unterschreiben: Hierzulande könnt Ihr eine Petition gegen die Chatkontrolle von Campact unterzeichnen, in Österreich gibt es eine Petition von #aufstehn.
• Reden: Berichtet anderen von den Gefahren, die mit der Chatkontrolle einhergehen. Verbreitet Videos und Informationen zum Thema. Da hilft beispielsweise der Nextcloud-Mediapool der Europäischen Piratenpartei, in dem Material rund um die Chatkontrolle gesammelt wird. Nutzt zum Verbreiten der Informationen Hashtags wie #Chatkontrolle oder #digitalesBriefgeheimnis.
• Für mediale Aufmerksamkeit sorgen: Viel zu wenige Journalistinnen und Journalisten haben bislang (kritisch) über die Chatkontrolle berichtet. Wendet Euch an Medienunternehmen wie Eure Lokalredaktion und bittet sie, über die Chatkontrolle zu berichten. Eines der wenigen positiven Beispiele ist netzpolitik.org.
• Anbieter auswählen: Vermeidet Anbieter, die Euch heute schon durchleuchten – wie Google, outlook.com oder Facebook. Fragt nach bei Euren Dienste-Anbietern, ob Nachrichten anlasslos durchsucht werden oder ob dies geplant ist.
• Auf dem Laufenden bleiben: Die Kampagne „Chatkontrolle stoppen!“ – eine Kooperation der Vereine Digitale Gesellschaft und Digitalcourage sowie des Chaos Computer Clubs – informiert über aktuelle Entwicklungen auf der Website, bei Twitter und bei Mastodon. Auf diesen Kanälen sowie auf den Websites der einzelnen Kampagnen-Teilnehmenden könnt ihr nicht nur verfolgen, was passiert, sondern auch mitbekommen, wann Aktionen und Demos geplant sind.