AI-baserad manipulativ teknik kan användas för att övertyga personer att bete sig på oönskade sätt eller vilseleda dem. Tekniken förmår att driva personer till beslut genom att påverka deras autonomi, beslutsfattande och fria val. Möjligheterna att använda tekniken är i princip obegränsade. Exempel på tillämpningar är att använda AI-baserade algoritmer för att driva personer till online spel, håller de kvar på sociala medier eller fatta beslut om investeringar i finansiella produkter.
AI-förordningen intar en kritisk syn på AI-baserad manipulativ teknik. Enligt förarbetena till AI-förordningen kan utsläppandet på marknaden, ibruktagandet eller användningen av AI-system som använder sådan teknik i syfte att påverka personer medföra betydande skador för personernas hälsa eller ekonomiska intressen. Detsamma gäller när en sådan påverkan inte är syftet utan endast en följd av utsläppandet, ibruktagandet eller användningen av AI-systemet. Av förarbetena till AI-förordningen framgår vidare att tillämpningar av sådan teknik som leder till tillräckligt betydande negativa konsekvenser för personers fysiska eller psykiska hälsa eller ekonomiska intressen är särskilt farliga och bör därför förbjudas (se skäl 29 AI-förordningen).
Förbudet av AI-baserad manipulativ teknik har implementerats i artikel 5.1 (a) AI-förordningen. Enligt denna bestämmelse är det förbjudet att släppa ut på marknaden, ta i bruk eller använda av ett AI-system som utnyttjar subliminala tekniker (subliminal techniques) som människor inte är medvetna om eller avsiktligt manipulerande eller vilseledande tekniker (purposefully manipulative or deceptive techniques). Förbudet gäller för sådan användning av dessa tekniker som syftar eller leder till en väsentlig påverkan (materially distorting) på en persons eller en grupp av personers beteende. För att omfattas av förbudet måste påverkan avsevärt försämra personens förmåga att fatta ett välgrundat beslut, vilket får personen att fatta ett beslut som denne annars inte skulle ha fattat, på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen, en annan person eller en grupp av personer.
Förbudets innebörd förtydligas i skäl 29 AI-förordningen. Av skälet framgår bland annat att begreppet betydande skador i synnerhet avser sådana skador som leder till tillräckligt betydande negativa konsekvenser för personers fysiska eller psykiska hälsa eller ekonomiska intressen. Vidare anger skälet följande exempel på subliminala komponenter: ljud-, bild- och videostimuli som människor inte kan uppfatta, eftersom dessa stimuli ligger utanför människans uppfattningsförmåga (ordet subliminal betyder ”som finns under medvetandetröskeln”).
Även innebörden av begreppet manipulativ eller vilseledande teknik förtydligas i skälet. Med detta avses teknik som undergräver eller försämrar människors autonomi, beslutsfattande eller fria val på sätt där människor inte är medvetna om denna teknik, eller om de är medvetna om den, fortfarande kan vilseledas eller inte kan kontrollera eller stå emot den.
Enligt skälet kan en sådan påverkan underlättas av till exempel maskin–hjärna-gränssnitt (machine-brain interfaces) eller virtuell verklighet (virtual reality) eftersom det möjliggör en högre grad av kontroll av vilka stimuli som personer utsätts för, i den mån som de väsentligt kan påverka deras beteende på ett betydande skadligt sätt.
Överträdelse av förbudet av AI-baserad manipulativ teknik kan leda till administrativa sanktionsavgifter på upp till upp till 7 procent av den totala globala årsomsättningen eller 35 miljoner euro, se artikel 99.3 AI-förordningen.
Förbudet börjar att gälla från och med den 2 februari 2025, likväll de övriga förbud av AI-tillämpningar som regleras i artikel 5 AI-förordningen (se artikel 113 AI-förordningen).