AI-system används i allt större utsträckning för att fatta beslut som påverkar människors liv. Teknologins framgång kan till en viss del förklaras av AI-systemens särskilda egenskaper, däribland förmågan att fungera med autonomi (av en viss grad) och att anpassa sig (i en viss utsträckning).
Trots rådande begränsningar öppnar AI-systemens självständighet och flexibilitet upp nya möjligheter till effektivisering genom automatisering för privata och offentliga verksamheter. Samtidigt kan AI-systemens speciella egenskaper innebära betydande risker för de personer som påverkas av AI-systemens resultat. Elever, arbetstagare och patienter är bara några få exempel.
AI-förordningen innehåller flera olika regler som syftar till att begränsa sådana risker, däribland en uppsättning bestämmelser som ställer krav på mänsklig kontroll över AI-system med hög risk (human oversight). Kraven kan delas in i två kategorier, den första utgörs av krav som ställs på leverantörer av AI-system medan den andra består av krav som åläggs tillhandahållare av sådana system (notera att användare av AI-system betecknas som ”tillhandahållare” i AI-förordningen).
Vi börjar med de krav på mänsklig kontroll som åläggs leverantörer av AI-system med hög risk. Enligt artikel 14 AI-förordningen ska AI-system med hög risk utformas och utvecklas på ett sådant sätt att fysiska personer på ett effektivt sätt kan utöva kontroll över dem när de används. Detta inbegriper lämpliga verktyg för människa-maskingränssnitt (human-machine interface tools). Mänsklig kontroll ska syfta till att förebygga eller minimera de risker för hälsa, säkerhet eller grundläggande rättigheter som kan uppstå när ett AI-system med hög risk används i enlighet med sitt avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning, särskilt när sådana risker kvarstår trots tillämpningen av vissa andra krav i AI-förordningen.
I artikel 14 AI-förordningen ställs även krav på så kallade tillsynsåtgärder (oversight measures). Tillsynsåtgärderna ska stå i proportion till riskerna, graden av autonomi och användningssammanhang för AI-systemet med hög risk. Åtgärderna ska säkerställas genom en eller båda av följande typer av åtgärder. Den första typen är åtgärder som leverantören har fastställt och, när det är tekniskt möjligt, byggt in i AI-systemet med hög risk innan det släpps ut på marknaden eller tas i bruk. Den andra typen är åtgärder som leverantörer har fastställt innan AI-systemet med hög risk släpps ut på marknaden eller tas i bruk och som är lämpliga att genomföras av tillhandahållaren.
Även sättet på vilket åtgärderna ska genomföras regleras i artikel 14 AI-förordningen. Av bestämmelsen framgår att åtgärderna ska implementeras på ett sätt så att fysiska personer hos tillhandahållaren som fått i uppdrag att utöva mänsklig kontroll ges möjlighet att korrekt förstå den relevanta kapaciteten och begränsningarna hos AI-systemet med hög risk och på vederbörligt sätt kunna övervaka dess drift. Vidare ska personerna kunna förbli medvetna om så kallad automation bias. Med detta avses tendensen att automatiskt eller i alltför hög grad lita på de utdata som produceras av ett AI-system, särskilt när AI-systemet tillhandahåller information eller rekommendationer för beslut. Personerna ska även korrekt kunna tolka utdata från AI-systemet, i vissa situationer besluta att inte använda AI-systemet och ingripa i AI-systemets drift. Därutöver ska personerna även ges andra möjligheter som inte ingår i denna genomgång av bestämmelsen.
Slutligen innehåller artikel 14 AI-förordningen särskilda regler för vissa AI-system med hög risk som ställer särskilda krav på att resultaten som tas fram av sådana AI-system kontrolleras och bekräftas separat av minst två fysiska personer med nödvändig kompetens, utbildning och auktoritet.
Att kraven i artikel 14 AI-förordningen riktas mot leverantör framgår av artikelns ordalydelse och artikel 16 (a) AI-förordningen. Leverantörens skyldigheter avseende mänsklig kontroll är emellertid inte begränsade till de åtgärder som framgår av artikel 14 AI-förordningen utan ingår även i de krav på teknisk dokumentation för AI-system med hög risk som åvilar leverantören enligt artikel 11 AI-förordningen. Denna tekniska dokumentation ska bland annat innehålla en bedömning av de åtgärder för mänsklig kontroll som krävs i enlighet med artikel 14 AI-förordningen (se bilaga IV till AI-förordningen). Detta inbegriper en bedömning av de tekniska åtgärder som krävs för att underlätta tillhandahållarnas tolkning av AI-systemens resultat, i enlighet AI-förordningens krav på transparens och tillhandahållande av information. Vidare ska den tekniska dokumentationen innehålla detaljerade uppgifter om de åtgärder för mänsklig kontroll som krävs i enlighet med artikel 14 AI-förordningen. Detta inbegriper uppgifter om de tekniska åtgärder som har vidtagits för att underlätta tillhandahållarnas tolkning av AI-systemens resultat och specifikationerna av indata.
Även tillhandahållaren av AI-system med hög risk träffas av omfattande på mänsklig kontroll. Enligt artikel 26 AI-förordningen ska tillhandahållaren bland annat tilldela fysiska personer som har nödvändig kompetens, utbildning och auktoritet samt nödvändigt stöd uppgiften att utöva mänsklig kontroll. Denna skyldighet har en tät koppling till kravet på AI-kunnighet som åvilar tillhandahållaren enligt artikel 4 AI-förordningen.
Mänsklig kontroll är även del av konsekvensbedömning avseende grundläggande rättigheter som tillhandahållaren i många fall måste genomföra inför användningen av ett AI-system med hög risk. Enligt artikel 27 AI-förordningen ska en sådan konsekvensbedömning bland annat innehålla en beskrivning av genomförandet av åtgärder för mänsklig kontroll, i enlighet med bruksanvisningen.
Kraven som ställs på tillhandahållaren motiveras i skäl 91 till AI-förordningen. Enligt skälet är bakgrunden till kraven AI-systemens natur och de risker för säkerhet och grundläggande rättigheter som kan vara förknippade med användningen av dem, inbegripet när det gäller behovet av att säkerställa en korrekt övervakning av ett AI-systems prestanda under verkliga förhållanden. Mot denna bakgrund anses det vara lämpligt att fastställa särskilda ansvarsområden för tillhandahållare. Enligt skälet bör tillhandahållare i synnerhet vidta lämpliga tekniska och organisatoriska åtgärder för att säkerställa att de använder AI-system med hög risk i enlighet med bruksanvisningarna, och vissa andra skyldigheter bör föreskrivas när det gäller övervakning av AI-systemens funktionssätt och i fråga om loggning, på lämpligt sätt. Tillhandahållare bör dessutom säkerställa att de personer som anförtros uppgiften att implementera bruksanvisningarna och mänsklig kontroll enligt denna förordning har den kompetens som krävs, särskilt en lämplig nivå av AI-kunnighet, utbildning och befogenhet för att korrekt fullgöra dessa uppgifter.
Ovanstående genomgång förtydligar att AI-förordningen ställer omfattande krav på mänsklig kontroll över AI-system med hög risk. Kraven kan inte betraktas isolerat utan måste sättas i den större kontexten som utgörs av AI-förordningens regler för hantering av risker, däribland kraven på riskhanteringssystem för AI-system med hög risk, kraven på teknisk dokumentation och kravet på konsekvensbedömning avseende grundläggande rättigheter. Reglerna måste även betraktas i ljuset av andra regelverk som rör användning av AI-system i processer där beslut om enskilda fattas, däribland den allmänna dataskyddsförordningen (GDPR) och förvaltningslagen.
Bristande efterlevnad av AI-förordningens krav på mänsklig kontroll kan medföra sanktioner som bland annat administrativa sanktionsavgifter på upp till 15 000 000 EUR eller, om överträdelsen begås av ett företag, upp till 3 procent av dess totala globala årsomsättning under det föregående räkenskapsåret, beroende på vilket som är högst (artikel 99.4 AI-förordningen).