AI-system för biometrisk kategorisering används i allt större utsträckning, till exempel vid automatiserad analys av bild, video och röst för att härleda individers ålder, kön eller hårfärg. Medan manga tänkbara tillämpningar av sådana AI-system förefaller vara harmlösa och det finns ett flertal områden där användningen av sådana system kan vara problematisk. Ett exempel på en sådan omstridd tillämpning är att mata AI-system med biometriska uppgifter för att avslöja känsliga personuppgifter om personer. Till exempel har forskare visat att vanlig AI-teknik för ansiktsigenkänning kan användas för att avslöja personers politiska åsikter (Kosinski, 2021). Likväl kan olika AI-tekniker för biometri användas för att få syn på om en person är deprimerad, exempelvis genom att analysera en videoinspelning av honom eller henne (Min et. al., 2023).
Det behövs inte mycket fantasi för att föreställa sig hur sådana tillämpningar kan leda till allvarliga konsekvenser för enskilda, i synnerhet när de varken är medvetna om att de kategoriserats eller har samtyckt till detta. Med anledning av de risker som vissa användningar av AI-system för biometrisk kategorisering kan medföra för enskilda har lagstiftaren introducerat ett förbud mot särskilt riskfyllda användningar av sådana AI-system i AI-förordningen. Förbudet regleras i artikel 5.1 (g) AI-förordningen. Enligt bestämmelsen är det förbjudet att släppa ut på marknaden, ta i bruk för detta specifika ändamål eller använda system för biometrisk kategorisering som kategoriserar fysiska personer individuellt på grundval av deras biometriska uppgifter för att härleda eller dra slutsatser om en persons ras, politiska åsikter, medlemskap i fackförening, religiösa eller filosofiska övertygelse, sexualliv eller sexuella läggning. Förbudet omfattar inte märkning eller filtrering av lagligen förvärvade biometriska dataset, såsom bilder, grundat på biometriska uppgifter eller kategorisering av biometriska uppgifter på området för brottsbekämpning.
Ett centralt begrepp som används i förbudet är system för biometrisk kategorisering (biometric categorisation system). Detta begrepp definieras i artikel 3.40 AI-förordningen som ett AI-system för hänförande av fysiska personer (assigning natural persons) till särskilda kategorier (specific categories) på grundval av deras biometriska uppgifter, om det inte utgör en extrafunktion till en annan kommersiell tjänst och är strikt nödvändigt av objektiva tekniska skäl. Vi har skrivit en utförlig artikel om begreppet system för biometrisk kategorisering som förklarar begreppet mer djupgående och även går in i begreppen särskilda kategorier och biometriska uppgift.
Även om en specifik användning av ett AI-system för biometrisk kategorisering inte omfattas av förbudet kan den ändå vara otillåten eller tillåten endast om särskilda villkor är uppfyllda. Exempel på sådana särskilda villkor är de krav som AI-förordningen ställer på AI-system med hög risk. Till sådana högrisk AI-system räknas bland annat AI-system som är avsedda att användas för biometrisk kategorisering enligt känsliga eller skyddade attribut eller egenskaper som grundar sig på inferens av dessa attribut eller egenskaper klass (se bilaga III AI-förordningen). Ett exempel på en otillåten användning är att den inte uppfyller förutsättningarna enligt dataskyddsförordningen (GDPR), exempelvis för att den tillhörande behandlingen av personuppgifter saknar en giltig rättslig grund eller det inte finns något tillämpligt undantag från förbudet att behandla känsliga personuppgifter. Eftersom GDPR och AI-förordningen är separata lagstiftningar måste samtliga regler i båda regelverk vara uppfyllda för att en användning av ett AI-system ska vara laglig. Att samtliga krav i AI-förordningen är uppfyllda innebär således inte att en specifik användning av ett AI-system är förenligt med GDPR (eller med annan lagstiftning för den delen).
Tillbaka till AI-förordningens förbud mot AI-system för biometrisk kategorisering. Överträdelse av detta förbud kan leda till administrativa sanktionsavgifter på upp till upp till 7 procent av den totala globala årsomsättningen eller 35 miljoner euro, se artikel 99.3 AI-förordningen. Detsamma gäller för förbudet av AI-baserad manipulativ teknik och de övriga förbud av AI-användningsområden som regleras i artikel 5 AI-förordningen.
Förbuden börjar att gälla från och med den 2 februari 2025 (se artikel 113 AI-förordningen).