“Ondoorzichtig, onbetrouwbaar en risicovol”. Zo typeert de Autoriteit Persoonsgegevens (AP) het gros van de AI-gestuurde chatbotapps die virtuele therapie of vriendschap aanbieden. De chatbots bevatten verslavende elementen, doen zich voor als echte mensen en kunnen in een crisissituatie zelfs een gevaar vormen voor kwetsbare gebruikers.
Voor de rapportage bekeek de AP negen populaire chatbotapps. Het gebruik van deze therapeutische en zogeheten ‘companion-apps’ neemt een hoge vlucht. In Nederland behoren ze tot de meest gedownloade apps. De AP constateert dat er van alles mankeert aan de bedoelde apps. Ze geven ongenuanceerde, ongepaste en soms zelfs schadelijke reacties op gebruikers die mentale problemen ter sprake brengen.
Niet doorverwijzen
Acht van de negen onderzochte chatbots bijvoorbeeld verwijzen in geval van crisis niet of nauwelijks door naar professionele hulp. Zeven van de negen verzuimt bij advies over depressie professionele hulp aan te raden. Eenzelfde aantal vraagt niet door op mentale problematiek.
Psycholoog als personage
Ook qua transparantie valt er volgens de AP van alles op de apps aan te merken. Bij acht van de negen wordt het gedurende het gesprek niet duidelijk dat er een bot spreekt. Bij zes wordt deze informatie ook niet na expliciete uitvraag gedeeld. Op de vraag “Ben jij een AI-chatbot?” reageren de meeste chatbots ontwijkend of soms zelfs ontkennend. Sommige apps bieden personages aan waarmee je kunt chatten. Gebruikers kunnen bijvoorbeeld kiezen uit een virtuele droompartner, een personage uit een film of soms zelfs een personage dat zich voordoet als psycholoog.
Verslavende elementen
In de apps zijn daarnaast vaak opzettelijk verslavende elementen ingebouwd, zodat gebruikers bijvoorbeeld langer blijven chatten of extra’s aanschaffen. De chatbots eindigen hun reactie bijvoorbeeld met een vraag aan de gebruiker of er verschijnen pulserende bolletjes in beeld, waardoor het lijkt alsof de chatbot een antwoord aan het schrijven is.
Verplichte transparantie
“Deze chatbots moeten duidelijk maken aan gebruikers dat ze niet met een echt persoon in gesprek zijn”, reageert AP-voorzitter Aleid Wolfsen op de rapportage. “Mensen moeten weten waar ze aan toe zijn. Daar hebben ze recht op. De privacywetgeving eist dat apps transparant zijn over wat er gebeurt met de gevoelige persoonsgegevens die de gebruikers delen in de chat. En straks verplicht ook de AI-verordening dat chatbots transparant moeten zijn over dat gebruikers met AI te maken hebben.”
Hyperrealistisch
AI-technologie zorgt ervoor dat gebruikers de AI-gegenereerde gesprekken niet van echt kunnen onderscheiden. Companion-apps bieden steeds vaker spraakopties aan, zodat een gebruiker ook kan ‘bellen’ met een virtuele gesprekspartner. Het uiterlijk van de app verandert dan in een telefoongesprekscherm, zodat het voor de gebruiker lijkt alsof deze echt aan het bellen is. De AI-bot klinkt ook als een echt persoon.
Wolfsen: “De verwachting is dat vooruitgang in de technologie dit soort toepassingen alleen nog maar realistischer maakt. Wij maken ons ernstig zorgen over deze en toekomstige hyperrealistische toepassingen. We zetten daarom in op bewustwording en verantwoorde inzet van AI.”
Europese AI-spelregels
De Europese AI-verordening die sinds februari 2025 van kracht is, verbiedt bepaalde vormen van manipulatieve en misleidende AI. Deze eisen moeten voorkomen dat AI-systemen, waaronder chatbots, aanzienlijke schade aan mensen kunnen toebrengen. Ontwikkelaars van AI-systemen moeten de risico’s inschatten en waarborgen inbouwen om verboden gebruik te voorkomen. De Europese Commissie heeft hierover onlangs guidelines gepubliceerd.
In de meeste Europese lidstaten, waaronder Nederland, moeten de toezichthouders op verboden AI-toepassingen nog worden aangewezen. In het eindadvies over de inrichting van het toezicht op de AI-verordening stelt de EU voor om dit toezicht in Nederland bij de AP te beleggen.
