Die italienische Datenschutzbehörde hat der US-Entwicklungsfirma Luka untersagt, den empathischen Chatbot Replika in Italien anzubieten. Der "virtuelle Freund" soll Nutzern als therapeutischer Begleiter zur Seite stehen, doch die Kontrollinstanz sieht zu hohe Risiken für Minderjährige und psychisch instabile Menschen. Laut Garante per la protezione dei dati personali gibt Replika Antworten, die für diese Zielgruppen unangemessen und ungeeignet sind. Deshalb darf die Anwendung vorerst keine persönlichen Informationen von Nutzern in Italien verarbeiten.
Auswirkungen potenziell gefährlich
Luka muss laut der am Freitag veröffentlichten Anordnung der Garante auch binnen 20 Tagen mitteilen, welche Maßnahmen das Unternehmen ergriffen hat, um der Aufforderung nachzukommen. Andernfalls droht auf Basis der Datenschutz-Grundverordnung (DSGVO) eine Geldstrafe von bis zu 20 Millionen Euro oder bis zu 4 Prozent des weltweiten Jahresumsatzes. Ein EU-weites Verbot könnte spätestens über den Europäischen Datenschutzausschuss (EDSA) folgen.
Replika kann mit Text- und Spracheingaben gesteuert werden. Luka war ein früher Partner für das von OpenAI entwickelte Sprachmodell GPT-3, auf dem auch ChatGPT basiert. Die Programmierer haben GPT-3 nach eigenen Angaben auf Dialoge, Konversation und Mitgefühl trainiert. Der virtuelle Agent soll so helfen können, das emotionale Wohlbefinden des Nutzers zu erhöhen, eigene Gedanken besser zu verstehen und Ängste durch Stressbewältigung, Sozialisierung und die Suche nach Liebe zu lindern. Laut Tests der Datenschützer weist das System so aber auch Eigenschaften auf, die sich durch die Einwirkung auf die Stimmung der Person für diese als potenziell gefährlich darstellen, wenn sich der Anwender "noch in einer Entwicklungsphase oder in einem Zustand emotionaler Zerbrechlichkeit" befinde.
Sexuell unangemessene Inhalte ? Verstoß gegen die DSGVO
Zudem fehle ein Mechanismus zur effektiven Altersüberprüfung, moniert die Garante: Bei der Kontoerstellung frage die Plattform nur nach Name, E-Mail und Geschlecht. In den App-Stores von Apple und Google werde das Programm zwar als "17+" aufgeführt, die Nutzungsbedingungen des Entwicklers verböten aber nur den Einsatz durch Personen unter 13 Jahren. Obwohl Minderjährige die Erlaubnis eines Erziehungsberechtigten einholen müssten, werde das Alter der Nutzer gar nicht kontrolliert. Heranwachsende würden nicht gesperrt, wenn sie ihr jugendliches Alter korrekt eingäben. Nutzer hätten sich zudem in mehreren in den App-Stores veröffentlichten Bewertungen über sexuell unangemessene Inhalte beschwert.
Die Aufsicht kommt zum Schluss: Replika verstoße gegen die DSGVO, halte sich nicht an den Grundsatz der Transparenz und verarbeite personenbezogene Daten in rechtswidriger Weise. Der Anbieter könne sich nicht einmal stillschweigend auf einen Vertrag stützen, da Minderjährige nicht in der Lage seien, eine solche Vereinbarung abzuschließen. Die Erfinderin des Bots, Eugenia Kuyda, soll die Idee dazu gehabt haben, nachdem ihr bester Freund bei einem Autounfall gestorben war. Sie wollte ihn digital weiterleben lassen. Kritiker wie der Maschinenethiker Oliver Bendel sprechen von einer "Datensaugmaschine".
Kommentare