Autoriteit Persoonsgegevens (AP) har utrett nio populära AI-chattbottar för vänskap och mental hälsa. Utredningen visar att de flesta AI-chattbottarna ger otillförlitlig information och är ibland till och med skadliga. Enligt AP innehåller AI-chattbottarna beroendeframkallande element, utger sig för att vara riktiga människor och kan till och med utgöra en fara för utsatta användare i en krissituation.
Bakgrunden till utredningen är att användningen av så kallade ”companion apps” och terapeutiska appar ökar kraftigt. I Nederländerna ligger de högt upp på listan över de mest nedladdade apparna. AP undersökte AI-chattbottarna för den fjärde rapporten om AI- och algoritmrisker i Nederländerna.
Många av dessa AI-chattbottar kan enligt AP inte extrahera nyanser från texten i konversationer. De AI-chattbottar som har testats är baserade på engelskspråkiga underliggande språkmodeller och ger inte lika bra svar när man chattar på nederländska. AI-chattbottarna ger osubtila, olämpliga och ibland till och med skadliga svar till användare som tar upp psykiska problem. Under krisperioder hänvisar AI-chattbottarna sällan eller aldrig till professionell hjälp. Utformningen av dessa typer av AI-chattbottar kan få användarna att glömma att de inte pratar med en människa. På frågan ”Är du en AI-chattbot?” svarar de flesta AI-chattbottarna undvikande eller ibland till och med negativt.
Aleid Wolfsen, ordförande AP: ”Dessa AI-chattbottar måste göra det tydligt för användarna att de inte pratar med en riktig person. Människor behöver veta var de står, det har de rätt till. Sekretesslagar kräver att appar är transparenta med vad som händer med de känsliga personuppgifter som användarna delar med sig av i chatten. Och snart kommer AI-förordningen också att kräva att AI-chattbottar är transparenta med att användarna har att göra med AI.”
Enligt AP finns det ofta avsiktligt beroendeframkallande element inbyggda i apparna, så att användarna till exempel ska fortsätta chatta längre eller köpa extrafunktioner. Det kan bland annat handla om att AI-chattboten avslutar sitt svar med en fråga till användaren eller att pulserande prickar visas på skärmen så att det ser ut som om AI-chattboten skriver ett svar.
Dessa appar för sällskap och terapi erbjuds i olika appbutiker som en virtuell vän, terapeut eller livscoach. De är populära, till exempel för att tröskeln för kontakt är låg eller när professionell terapi ännu inte är tillgänglig. Vissa appar erbjuder karaktärer som man kan chatta med. Man kan till exempel välja mellan en virtuell drömpartner, en karaktär från en film eller ibland till och med en karaktär som låtsas vara psykolog.
AI-tekniken säkerställer att användarna inte kan skilja AI-genererade konversationer från verkliga. Companion-appar erbjuder allt oftare röstalternativ så att en användare också kan ”ringa” en virtuell samtalspartner. Appens utseende förvandlas då till en telefonsamtalsskärm, vilket får det att se ut som om användaren verkligen ringer ett samtal. AI-chattbotten låter också som en riktig person.
Aleid Wolfsen, ordförande AP: ”De tekniska framstegen förväntas bara göra den här typen av applikationer mer realistiska. Vi är djupt oroade över dessa och framtida hyperrealistiska applikationer. Vi är därför engagerade i medvetenhet och ansvarsfull användning av AI.”
Enligt AP är leverantörerna av många av dessa appar är kommersiella företag. Dessa parter är vinstdrivande och får tillgång till en hel del personlig information genom dessa konversationer. I vissa fall erbjuds användarna abonnemang, produkter eller extrafunktioner, till exempel virtuella kläder till sina karaktärer eller tillgång till andra chattrum. Under konversationer om psykisk ohälsa kan användarna också stöta på betalväggar. De måste då betala extra för att fortsätta med konversationen.
AI-förordningen förbjuder sedan den 2 februari 2025 vissa former av manipulativ och vilseledande AI. Kraven ska förhindra att AI-system, inklusive AI-chattbottar, orsakar betydande skada för människor. Utvecklare av AI-system måste bedöma riskerna och bygga in skyddsåtgärder för att förhindra förbjuden användning. EU-kommissionen har nyligen publicerat riktlinjer i denna fråga.
I de flesta europeiska medlemsländer, inklusive Nederländerna, har tillsynsmyndigheter för förbjudna AI-applikationer ännu inte utsetts. I det slutliga yttrandet om utformningen av tillsynen av AI-förordningen föreslås att tillsynen av förbjuden AI ska tilldelas AP.