Artificiell intelligens (AI) kan användas för att utnyttja sårbarheter hos personer som till exempel barn, äldre eller personer med funktionsnedsättning. AI-baserade algoritmer kan exempelvis användas för att orsaka beroendeframkallande beteende i barn vilket inte bara kan skada deras hälsa utan även leda till andra negativa konsekvenser för dem.
Mot bakgrund av riskerna med AI-baserad teknik som utnyttjar sårbarheter hos fysiska personer intar AI-förordningen en kritisk syn på användning av sådan teknik. Enligt förarbetena till AI-förordningen kan användningen av sådan teknik i vissa fall leda till betydande skador för personer varför vissa tillämpningar av sådan teknik bör förbjudas (se skäl 29 i AI-förordningen).
Förbudet av AI-baserad teknik som utnyttjar sårbarheter hos fysiska personer regleras i artikel 5.1 (b) AI-förordningen. Av bestämmelsen framgår att det är förbjudet att släppa ut på marknaden, ta i bruk eller använda ett AI-system som utnyttjar en sårbarhet hos en fysisk person (vulnerabilities of a natural person) eller en specifik grupp av personer som härrör från ålder, funktionsnedsättning (disability) eller en specifik social eller ekonomisk situation. Enligt bestämmelsen ska målet eller verkan med användningen av AI-systemet vara att väsentligt påverka beteendet (materially distorting the behaviour) hos den personen eller en person som tillhör den gruppen på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen eller en annan person.
Förbudet motiveras i skäl 29 AI-förordningen bland annat med att sådan användning av AI-system som omfattas av förbudet kan orsaka betydande skada för personer som drabbas, inbegripet skador som kan ackumuleras över tid. Vidare framgår av skälet att sådan användning kan göra personer med sårbarheter ännu mer sårbara för utnyttjande. Som exempel på personer anges personer som lever i extrem fattigdom, etniska minoriteter eller religiösa minoriteter.
I skäl 29 förtydligas även att begreppet personer med funktionsnedsättning ska definieras i enlighet med direktiv (EU) 2019/882 om tillgänglighetskrav för produkter och tjänster. Enligt artikel 1.1 i detta direktiv är personer med funktionsnedsättning personer som har någon varaktig fysisk, psykisk, intellektuell eller sensorisk funktionsnedsättning som i samspel med olika hinder kan hindra dem från att fullt ut och effektivt delta i samhället på lika villkor som andra.
Användningen av AI-baserade tekniker som utnyttjar personers sårbarheter kan leda till betydande skador med negativa konsekvenser för dessa personer. AI-system kan emellertid även användas på andra sätt för att påverka personer. Ett sådant sätt är att påverka personer med hjälp av så kallad AI-baserad manipulativ teknik som bland annat använder subliminala tekniker. Enligt AI-förordningen förbjuds även vissa tillämpningar av AI-baserad manipulativ teknik.
Överträdelse av förbudet av AI-baserad teknik som utnyttjar personers sårbarheter kan leda till administrativa sanktionsavgifter på upp till upp till 7 procent av den totala globala årsomsättningen eller 35 miljoner euro, se artikel 99.3 AI-förordningen. Detsamma gäller för förbudet av AI-baserad manipulativ teknik och de övriga förbud av AI-användningsområden som regleras i artikel 5 AI-förordningen.
Förbuden börjar att gälla från och med den 2 februari 2025 (se artikel 113 AI-förordningen).