Eine Ankündigung von Google versetzt gerade Sicherheitsforscher:innen weltweit in Aufregung. Am Montag hatte der Konzern auf seiner jährlichen Entwicklerkonferenz eine Vorschau auf ein neues Feature gegeben, das bald ins Betriebssystem Android integriert werden soll: Mit Hilfe seines Sprachmodells Gemini will Google Anrufe auf verdächtige Muster scannen, um Nutzer:innen vor möglichem Telefonbetrug zu warnen.

Solche Scam-Anrufe, bei denen sich Kriminelle etwa als Bank-Mitarbeitende ausgeben, um an Zugangsdaten zu kommen, verursachen weltweit großen Schaden. Viele Menschen fallen darauf rein. Google will sie nun mit Pop-up-Hinweisen auf dem Bildschirm davor bewahren: „Wahrscheinlicher Betrug“ soll dort stehen und eine Aufforderung, den Anruf zu beenden.

Das klingt nach einer nützlichen Funktion, die laut Google zudem optional werden soll. Zugleich ist das genau die Art von Ankündigung, bei der Fachleute für Datenschutz aufmerksam werden. Es geht um die Technologie hinter den Warnungen, denn auch wenn Google es nicht so nennt: Es geht um Client-Side-Scanning – das automatisierte Scannen und Rastern von Inhalten in der eigenen privaten Kommunikation auf dem eigenen Gerät.

Türöffner für das Scannen privater Kommunikation

Um die neue Technologie wird derzeit auf politischer Ebene so erbittert gerungen wie um wenig anderes in der EU. Laut Wunsch der EU-Kommission könnte sie zum Einsatz kommen, um auf Geräten nach Darstellungen von sexualisierter Gewalt an Kindern (CSAM) zu suchen, sogar die versuchte Anbahnung von Kontakt zu Minderjährigen soll erkannt werden, um Missbrauch zuvorzukommen.

Apple hat 2021 bereits einen Versuch gemacht, solches Client-Side-Scanning einzuführen und die Konsequenzen zu spüren bekommen. Die Ankündigung, private Fotos in der iCloud auf CSAM zu scannen, hat für so große Empörung gesorgt, dass Apple die Pläne wieder aufgegeben hat. Der Druck aus der Politik auf die Tech-Unternehmen ist jedoch weiterhin immens.

Eine geplante Verordnung der EU, von Kritiker:innen nur Chatkontrolle genannt, hängt derzeit fest, weil sich die Staaten im Rat nicht einigen können. Doch die belgische Ratspräsidentschaft macht weiter Druck.

Bei der Chatkontrolle sollen Anbieter von Kommunikations- und Hostingdiensten auf Anordnung die privaten Bilder, Videos und Nachrichten ihrer Nutzer:innen scannen. Dabei sollen sie Hinweise auf sexualisierte Gewalt gegen Kinder oder Anbahnungsversuche von Erwachsenen an Minderjährige suchen. Client-Side-Scanning ist eine mögliche Technologie, um das umzusetzen.

Fachleute für Kryptografie und Datenschutz warnen seit Beginn der Initiative vor der Konsequenzen: Ist die Technologie einmal auf den Geräten, kann die private Kommunikation von Millionen von Menschen massenhaft nach beliebigen Inhalten durchsucht werden. Selbst die EU-Datenschutzbehörden bezeichnen das als unverhältnismäßig und warnen vor den Gefahren für die Demokratie, wenn Menschen sich permanent beobachtet fühlten.

Gefährliche Mustererkennung: Erst Telefonbetrug, dann Schwangerschaftsabbruch

Nach der Ankündigung von Google werden erneut die bereits bekannten Stimmen in der Debatte laut. Meredith Whittaker, Chefin des verschlüsselten Messengers Signal, bezeichnet die Pläne als „unglaublich gefährlich“ und verweist darauf, wie schnell weitere kriminalisierte Handlungen mit der gleichen Technologie ins Visier geraten könnten. „Von der Erkennung von ‚Betrug‘ ist es nur ein kurzer Schritt zur ‚Erkennung von Mustern, die üblicherweise mit der Suche nach reproduktiver Versorgung verbunden sind‘ oder ‚die üblicherweise mit der Bereitstellung von LGBTQ-Ressourcen verbunden sind‘ oder ‚die üblicherweise mit dem Whistleblowing von Tech-Mitarbeitern verbunden sind‘.“

Die Sicherheitsforscherin Carmela Troncoso, die Krytografie an der EPFL in Lausanne lehrt, äußert sich ebenfalls entsetzt: „Wir haben wiederholt auf die Gefahren des Client-seitigen Scannens hingewiesen. Dabei geht es nicht um die Erkennung von CSAM. Die Erkennung von Betrug bringt das gleiche Problem mit sich: Es gibt keine Garantie, dass die Technologie nicht missbraucht wird. Dass Google die möglichen negativen Folgen dieser Idee vernachlässigt, ist erschreckend.“

Troncoso ist eine von Hunderten Sicherheits- und Datenschutzfachleuten, die vergangene Woche in einem offenen Brief an die Kommission vor den Konsequenzen der Pläne warnten: Die Anordnungen zum Scannen könnten Millionen von Fehlalarmen pro Tag auslösen. Der Vorschlag schaffe zudem „nie dagewesene Möglichkeiten zur Überwachung und Kontrolle von Internetnutzern. Dies untergräbt eine sichere digitale Zukunft für unsere Gesellschaft und kann enorme Folgen für demokratische Prozesse in Europa und darüber hinaus haben.“