AI-system kan användas för att bedöma eller förutse risken för att en fysisk person begår ett brott, exempelvis genom att profilera personen, analysera dennes egenskaper eller utvärdera dennes beteende. Tänkbara användningar av sådana AI-system är inte begränsade till brottsbekämpande myndigheters verksamheter (t.ex. predictive policing) utan kan även finnas på andra områden hos privata (t.ex. compliance) och offentliga aktörer (t.ex. internkontroll).
Att sådana tillämpningar av AI-system är tänkbara innebär emellertid inte nödvändigtvis att de är tillåtna. AI-förordningen innehåller ett förbud mot AI-system som används för att genomföra riskbedömningar i syfte att bedöma eller förutse risken för att en fysisk person begår ett brott. Förbudet regleras i artikel 5.1 (d) AI-förordningen. Enligt denna bestämmelse är det förbjudet att släppa ut, ta i bruk för detta specifika ändamål eller använda ett AI-system för riskbedömningar av fysiska personer i syfte att bedöma eller förutse risken för att en fysisk person begår ett brott. Förbudet gäller endast för sådana riskbedömningar som grundas uteslutande på profileringen av en fysisk person eller på en bedömning av deras personlighetsdrag och egenskaper. Förbudet är inte tillämpligt på AI-system som används för att stödja mänsklig bedömning av en persons inblandning i brottslig verksamhet, som redan grundas på objektiva och verifierbara fakta med direkt anknytning till brottslig verksamhet.
Huruvida en riskbedömning omfattas av bestämmelsen eller inte styrs av olika faktorer, bland annat om den uteslutande grundas på profilering. Tolkningen av begreppet profilering spelar således en avgörande roll vid bedömningen om en åtgärd som vidtas med ett AI-system omfattas av förbudet eller inte.
Enligt artikel 3.52 AI-förordningen definieras begreppet profilering enligt artikel 4.4 dataskyddsförordningen (GDPR). Enligt den sistnämnda bestämmelsen avses med profilering varje form av automatisk behandling av personuppgifter som består i att dessa personuppgifter används för att bedöma vissa personliga egenskaper hos en fysisk person, i synnerhet för att analysera eller förutsäga denna fysiska persons arbetsprestationer, ekonomiska situation, hälsa, personliga preferenser, intressen, pålitlighet, beteende, vistelseort eller förflyttningar. Tröskeln för att en behandling av personuppgifter ska utgöra en profilering i den mening som avses i GDPR och, i förlängningen, i AI-förordningen är således förhållandevis låg.
Tolkningen av förbudet påverkas även av andra faktorer som förtydligas på olika ställen i förarbetena till AI-förordningen, till exempel i skäl 42 till AI-förordningen. Enligt skälet bör personer alltid bedömas utifrån sitt faktiska beteende i enlighet med presumtionen för oskuld. Fysiska personer bör aldrig, genom ett AI förutsett beteende, enbart grundat på deras profilering, personlighetsdrag eller egenskaper, såsom nationalitet, födelseort, bostadsort, antal barn, skuldsättning eller typ av bil, utan rimlig misstanke om att personen är inblandad i en brottslig verksamhet på grundval av objektiva, kontrollerbara fakta och utan mänsklig bedömning av detta. Därför bör riskbedömningar som genomförs med avseende på fysiska personer för att bedöma sannolikheten för att de begår brott eller för att förutsäga förekomsten av ett faktiskt eller potentiellt brott enbart på grundval av deras profilering eller en bedömning av deras personlighetsdrag och egenskaper förbjudas.
Samtidigt förtydligas i skälet att förbudet inte avser eller berör riskanalyser som inte baseras på profilering av enskilda personer eller på enskilda personers personlighetsdrag och egenskaper, såsom AI-system som använder riskanalyser för att bedöma sannolikheten för ekonomiska bedrägerier från företags sida på grundval av misstänkta transaktioner eller riskanalysverktyg för förutsägelser om sannolikheten för tullmyndigheters lokalisering av narkotika eller olagliga varor, till exempel på grundval av kända smugglingsvägar.
Skälets resonemang om undantag från förbudet kan vilseleda läsaren till att tro att tröskeln för att genomföra vissa riskbedömningar i syfte att bedöma eller förutse brott skulle vara lag. Så är inte fallet. Även om förbudet inte skulle vara tillämpligt i det enskilda fallet befrias tillverkaren, användaren eller annan aktör som är involverad i AI-systemets livscykel inte från de övriga skyldigheterna i AI-förordningen. Vidare är det fråga om behandling av brottsuppgifter i den meningen som avses i den GDPR. Detta innebär att GDPR:s förbud på behandling av brottsuppgifter aktualiseras (se artikel 10 GDPR). Tröskeln för att en personuppgift utgör en brottsuppgift i GDPR:s mening är förhållandevis låg.
Överträdelse av förbudet av AI-förordningens förbud mot AI-system för bedömning eller förutsägelse av brott kan leda till administrativa sanktionsavgifter på upp till upp till 7 procent av den totala globala årsomsättningen eller 35 miljoner euro, se artikel 99.3 AI-förordningen.
Förbudet gäller sedan den 2 februari 2025, likväll de övriga förbud av AI-tillämpningar som regleras i artikel 5 AI-förordningen (se artikel 113 AI-förordningen).