AI-förordningen ställer ett flertal krav på AI-system med hög risk. Ett centralt sådant krav är att ett riskhanteringssystem (risk management system) ska inrättas, genomföras, dokumenteras och underhållas för AI-system med hög risk (artikel 9.1 AI-förordningen).
Det framgår tydligt av bestämmelsen att implementeringen av ett sådant riskhanteringssystem inte är en engångsföreteelse utan en fyrstegsprocess som består av inrättandet, genomförandet, dokumentation och underhåll. Ordet underhåll indikerar att processen inte har något slut. Detta synsätt bekräftas av artikel 9.2 AI-förordningen som lägger fast att riskhanteringssystemet ska förstås som en kontinuerlig iterativ process som planeras och löper under hela livscykeln för ett AI-system med hög risk, med krav på regelbunden och systematisk översyn och uppdatering. Enligt samma bestämmelse ska processen innehålla följande fyra steg.
Det första steget i processen är att identifiera och analysera de kända och rimligen förutsebara risker som ett AI-systemet med hög risk kan medföra för hälsa, säkerhet och grundläggande rättigheter när AI-systemet används i enlighet med sitt avsedda ändamål. I steg två följer en uppskattning och utvärdering av de risker som kan uppstå när AI-systemet används i enlighet med sitt avsedda ändamål och under förhållanden där det kan förekomma rimligen förutsebar felaktig användning. Därefter, i steg tre, utvärderas andra risker som eventuellt kan uppstå på grundval av en analys av data som samlats in från det system för övervakning efter utsläppande på marknaden som avses i artikel 72 AI-förordningen. I det fjärde och sista steget antas lämpliga och riktade riskhanteringsåtgärder utformade för att hantera de risker som identifierats i första steget.
De risker som nämns ovan ska enligt artikel 9.3 AI-förordningen endast avse de risker som rimligen kan begränsas eller elimineras genom utveckling eller utformning av ett AI-system med hög risk eller tillhandahållande av adekvat teknisk information. En viktig detalj är att begreppet risk definieras i själva AI-förordningen som en kombination av sannolikheten (probability) för skada och denna skadas allvarlighetsgrad (severity), se artikel 3.3 AI-förordningen. Riskanalysen kräver således ett strukturerat arbetssätt som delar in risker i olika nivåer.
Gällande de riskhanteringsåtgärder som nämns i steg fyra ovan ska vederbörlig hänsyn tas till de effekter och den möjliga interaktion som följer av den kombinerade tillämpningen av kraven i avsnitt 2 av AI-förordningens kapitel III. Syftet med detta ska vara att minimera riskerna mer effektivt och samtidigt uppnå en lämplig balans i genomförandet av åtgärderna för att uppfylla dessa krav (se artikel 9.4 AI-förordningen). Vidare ska riskhanteringsåtgärderna vara sådana att relevanta kvarvarande risker förknippade med varje fara samt den totala kvarvarande risken i AI-systemet bedöms vara acceptabla (artikel 9.5 AI-förordningen).
Vid fastställandet av de lämpligaste riskhanteringsåtgärderna ska enligt artikel 9.5 AI-förordningen följande säkerställas. Risker som identifierats och utvärderats enligt ovan ska så långt som tekniskt möjligt elimineras eller minskas. Detta ska uppnås genom att konstruera och utveckla AI-systemet med hög risk på ett lämpligt sätt. Vidare ska det genomföras lämpliga begränsnings- och kontrollåtgärder för att hantera risker som inte kan elimineras, när det är lämpligt. Därutöver ska det tillhandahållas den information som krävs enligt artikel 13 AI-förordningen, i förekommande fall, utbildning för tillhandahållare (AI-förordningen betecknar användare av AI-system som ”tillhandahållare”).
För att eliminera eller minska risker i samband med användningen av ett AI-system med hög risk ska vederbörlig hänsyn tas till den tekniska kunskap, erfarenhet och utbildning som tillhandahållaren förväntas ha och det förmodade sammanhang i vilket systemet är avsett att användas, se artikel 9.5 AI-förordningen
AI-förordningens skyldighet att implementera ett riskhanteringssystem för AI-system med hög risk inkluderar även långtgående krav på att testa sådana AI-system. Enligt artikel 9.6 AI-förordningen ska ett AI-system med hög risk ska testas i syfte att identifiera de lämpligaste och bäst riktade riskhanteringsåtgärderna. Testerna ska säkerställa att AI-system med hög risk fungerar konsekvent för sitt avsedda ändamål och att de uppfyller kraven i avsnitt 2 av AI-förordningens kapitel III.
Enligt artikel 9.7 AI-förordningen får testningsförfarandena omfatta testning under verkliga förhållanden i enlighet med artikel 60 AI-förordningen. Vidare framgår av artikel 9.8 AI-förordningen att testning av AI-system med hög risk ska utföras, beroende på vad som är lämpligt, när som helst under hela utvecklingsprocessen och i alla händelser innan de släpps ut på marknaden eller tas i bruk. Testning ska utföras på grundval av i förväg definierade mått och sannolikhetsgränser som är lämpliga för det avsedda ändamålet med AI-systemet med hög risk.
Vid implementeringen av det riskhanteringssystem som beskrivs ovan ska leverantörer ta hänsyn till huruvida AI-systemet med hög risk, med tanke på dess avsedda ändamål, sannolikt kommer att ha en negativ påverkan på personer som är yngre än 18 år och, i förekommande fall, andra sårbara grupper, se artikel 9.8 AI-förordningen.
Ovanstående genomgång förtydligar att AI-förordningen ställer långtgående och omfattande krav gällande riskhanteringssystem för AI-system med hög risk. Privata och offentliga verksamheter som är leverantörer eller tillhandahållare av AI-system med hög risk gör klokt i att påbörjar arbetet med att implementera ett sådant riskhanteringssystem utan längre avvaktan.