AI-system för känsloigenkänning används i allt större utsträckning, till exempel för att uttyda känslor i chattkonversationer, mejlkonversationer eller telefonsamtal i realtid eller i efterhand. Samtidigt förbjuder AI-förordningen vissa AI-tillämpningar relaterade till känsloigenkänning. Denna artikel förklarar förbudet.
Enligt artikel 5 AI-förordningen är utsläppande på marknaden, ibruktagande för detta specifika ändamål eller användning av AI-system för att uttyda en fysisk persons känslor på arbetsplatsen eller vid utbildningsinstitutioner förbjudet, såvida inte AI-systemets användning är avsett att införas eller släppas ut på marknaden av medicinska skäl eller säkerhetsskäl.
Förbudet motiveras i skäl 44 AI-förordningen. Enligt skälet råder det allvarlig oro över den vetenskapliga grunden för AI-system som syftar till att identifiera eller uttyda känslor, särskilt då uttryck för känslor varierar avsevärt mellan olika kulturer och situationer, och även hos en och samma individ. Några av de största bristerna i sådana system är enligt skälet begränsad tillförlitlighet, brist på specificitet och begränsad generaliserbarhet. AI-system som identifierar eller uttyder fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter kan därför leda till diskriminerande resultat och kan inkräkta på de berörda personernas rättigheter och friheter.
Vidare framgår av skälet att sådana system kan leda till skadlig eller ogynnsam behandling av vissa fysiska personer eller hela grupper av fysiska personer med tanke på maktobalansen i fråga om arbete eller utbildning, i kombination med dessa systems inkräktande karaktär. Därför bör utsläppande på marknaden, ibruktagande eller användning av AI-system som är avsedda att användas för att upptäcka känslomässiga förhållanden hos enskilda personer i situationer som rör arbetsplats och utbildning förbjudas. Förbudet bör inte omfatta AI-system som släpps ut på marknaden uteslutande av medicinska skäl eller säkerhetsskäl, såsom system som är avsedda för terapeutisk användning.
Förbudets ordalydelse i artikel 5 AI-förordningen använder inte begreppet system för känsloigenkänning som definieras i artikel 3 AI-förordningen. Enligt sistnämnda bestämmelse är ett system för känsloigenkänning ett AI-system vars syfte är att identifiera eller uttyda fysiska personers känslor eller avsikter på grundval av deras biometriska uppgifter. Istället för att använda begreppet system för känsloigenkänning använder förbudets ordalydelse begreppet AI-system för att uttyda en fysisk persons känslor. Detta begrepp är bredare än begreppet system för känsloigenkänning på så sätt att det även omfattar sådana AI-system som inte baseras på biometriska uppgifter.