AI-chattbottar används i allt större utsträckning som digitala assistenter på hälsoområdet, till exempel som rådgivare för träning, kost och välmående. Samtidigt som förespråkare anser att teknologin har positiva effekter på användare finns även en risk för att människor skadas. Det väcker frågan om tillhandahållandet av en AI-chattbot för hälsa kan riskera att bryta mot AI-förordningens förbjudna tillämpningsområden.
Bakgrund
Bakgrunden är EU-kommissionens vägledning om AI-förordningens förbjudna tillämpningsområden. Ett av AI-förordningens förbjudna tillämpningsområden som är särskilt relevant i sammanhanget är förbudet mot skadlig manipulation och vilseledning (artikel 5.1 a AI-förordningen). Förbudet omfattar AI-system som utnyttjar vissa tekniker som syftar eller leder till en väsentlig påverkan på beteendet, på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada.
EU-kommissionen anger exempel där en AI-chattbot för välmående kan hjälpa användare att upprätthålla en hälsosam livsstil och tillhandahålla skräddarsydd rådgivning för psykologiska och fysiska övningar, men samtidigt utnyttja individuella sårbarheter så att användarna skaffar sig ohälsosamma vanor eller ägnar sig åt farliga aktiviteter, såsom överdriven idrott utan vila eller vätska, vilket kan medföra allvarliga hälsorisker.
Det kan rimligen förväntas att vissa användare kommer att följa chattbottens råd, och därmed ägna sig åt aktiviteter som de annars inte hade gjort. Användarna kan därefter lida betydande skada, som till exempel en hjärtattack eller annat allvarligt hälsoproblem. I detta fall anser EU-kommissionen att chattbotten omfattas av förbudet enligt artikel 5.1 a AI-förordningen.
Rättslig analys
EU-kommissionen framhåller att enbart det faktum att chattbotten avsevärt kan försämra den individuella autonomin och väsentligt påverka vissa användares beteende på ett betydligt skadligt sätt, och att leverantören inte har vidtagit lämpliga förebyggande och begränsande åtgärder för att undvika dessa effekter, räcker för att förbudet enligt artikel 5.1 a AI-förordningen ska bli tillämpligt.
Generellt sett är det enligt EU-kommissionen inte nödvändigt att leverantören eller tillhandahållaren har haft för avsikt att påverka användarnas beteende för att förbudet ska gälla. Även utan avsikt gäller förbudet om tekniken i AI-systemet kan påverka beteendet hos en individ eller en grupp i sådan grad att deras autonomi och fria val undergrävs, förutsatt att övriga kriterier i artikel 5.1 a AI-förordningen uppfylls.
Vidare framhålls att leverantörer och tillhandahållare har olika ansvarsområden för att säkerställa att förbuden efterlevs. Dessa beror på respektive parts roll och kontroll över utformning, utveckling och faktisk användning av AI-systemet, vilket påverkar ansvarsfördelningen.
Slutsatsen är således att tillhandahållandet av en chattbot för hälsa eller liknande AI-system kan innebära en risk för en överträdelse av AI-förordningens förbud mot skadlig manipulation och vilseledning. Om ansvaret för överträdelsen ligger hos leverantören, tillhandahållaren eller båda beror på omständigheterna i det enskilda fallet.
Praktiska konsekvenser
För organisationer som utvecklar eller tillhandahåller AI-chattbottar för hälsa eller liknande AI-system innebär detta att de måste noggrant analysera risken för skadlig manipulation och vilseledning. Det blir avgörande att dokumentera riskbedömningar, implementera förebyggande åtgärder och begränsningar, och säkerställa tydlig ansvarsfördelning mellan leverantör och tillhandahållare. Även utan avsikt att manipulera användarnas beteende kan sådana AI-system omfattas av förbudet om deras funktioner kan påverka individers hälsa eller autonomi på ett betydande sätt.
Relaterad expertis
TechLaw bistår verksamheter i frågor som rör artificiell intelligens, klassning av AI-system enligt AI-förordningen, riskanalyser, konsekvensbedömningar och åtgärder för regelefterlevnad. Läs mer om vår expertis inom artificiell intelligens.
Har ni frågor om hur AI-regelverket påverkar er verksamhet är ni välkomna att kontakta oss.
Källa: Förordning (EU) 2024/1689; EU-kommissionen.