AI-förordningen innehåller förbud mot vissa typer av AI-användning som anses innebära oacceptabla risker. Ett exempel är förbudet av vissa AI-system som använder avsiktligt manipulerande tekniker, vilket aktualiserar frågan hur begreppet ska förstås och tillämpas.
Vad är avsiktligt manipulerande tekniker?
Begreppet avsiktligt manipulerande tekniker definieras inte uttryckligen i AI-förordningen. Enligt EU-kommissionen avser begreppet tekniker som har utformats eller objektivt syftar till att påverka, ändra eller kontrollera en enskild persons beteende på ett sätt som undergräver dennes individuella autonomi och fria val.
Manipulerande tekniker är typiskt utformade för att utnyttja kognitiva biaser, psykologiska sårbarheter eller situationsrelaterade faktorer som gör individer mer mottagliga för påverkan. AI-system kan, genom sin anpassningsförmåga, förstärka sådan påverkan genom att reagera på individuella omständigheter eller sårbarheter.
I skälen till AI-förordningen klargörs att förbudet av AI-baserad manipulativ teknik även omfattar situationer där en person är medveten om påverkan men ändå inte kan kontrollera eller motstå dess effekt. I sådana fall kan individen påverkas eller pressas till beslut eller beteenden som annars inte skulle ha uppstått, till en punkt där autonomi eller fria val undergrävs.
Rättslig innebörd
Förbudet mot avsiktligt manipulerande tekniker gäller för AI-system som använder manipulativa tekniker som sannolikt leder till att en persons beteende påverkas på ett sätt som orsakar eller sannolikt orsakar betydande skada.
Enligt EU-kommissionen är det inte nödvändigt att leverantören eller tillhandahållaren har haft för avsikt att orsaka skada för att en teknik ska omfattas av förbudet. Förbudet kan även omfatta AI-system som manipulerar individer utan att någon människa har haft för avsikt att detta ska ske.
Ett exempel är AI-system som utvecklar manipulerande beteenden genom träningsdata som innehåller sådana mönster, trots att leverantören inte har avsett detta. I sådana fall kan systemet ändå anses använda manipulerande tekniker i AI-förordningens mening.
EU-kommissionen anger samtidigt att om det manipulerande beteendet endast är av underordnad betydelse bör systemet inte anses omfattas av förbudet, under förutsättning att leverantören har vidtagit lämpliga förebyggande och begränsande åtgärder.
Praktiska konsekvenser
För organisationer som utvecklar eller använder AI-system innebär regleringen att särskild uppmärksamhet behöver riktas mot hur system påverkar användares beteende och beslutsfattande.
Detta aktualiserar behovet av att analysera om systemets funktioner kan utnyttja kognitiva eller psykologiska sårbarheter samt hur en påverkan kan uppstå i praktiken. Det kan även krävas att organisationer beaktar hur träningsdata och systemets anpassningsförmåga kan ge upphov till oavsiktliga manipulerande beteenden.
Regleringen innebär vidare att organisationer behöver säkerställa att relevanta förebyggande och begränsande åtgärder vidtas, särskilt i situationer där det finns risk för att AI-system påverkar individers autonomi eller fria val på ett otillbörligt sätt.
Relaterad expertis
TechLaw bistår verksamheter med juridisk rådgivning i frågor som rör artificiell intelligens, regulatorisk regelefterlevnad och riskhantering i teknikdrivna miljöer. Läs mer om vår expertis inom artificiell intelligens.
Har ni frågor om hur AI-förordningen bör tolkas eller tillämpas i er verksamhet är ni välkomna att kontakta oss.
Källa: Förordning (EU) 2024/1689; EU-kommissionen.