De senaste årens snabba kommersialisering av generativ AI har bidragit till att allt fler företag och myndigheter använder AI-system i sin verksamhet, såväl i testsammanhang som i produktionsmiljöer. Allt för snabba beslut om att implementera nya AI-system innebär dock en risk för verksamheter att förbise betydande risker som härrör från AI-systems inneboende egenskaper. Tre sådana risker som är särskilt framträdande är potentiella brister av riktigheten i resultaten som tas fram av ett AI-system, såväl som potentiella brister i ett AI-systems robusthet och cybersäkerhet. Dessa risker bedöms kunna leda till så allvarliga konsekvenser för samhället i stort och för enskilda att lagstiftaren har valt att reglera riskerna i en särskild bestämmelse i AI-förordningen.
Kraven på riktighet (accuracy), robusthet (robustness) och cybersäkerhet (cybersecurity) för AI-system med hög risk regleras i artikel 15 AI-förordningen. Enligt bestämmelsens första punkt ska AI-system med hög risk utformas och utvecklas på ett sådant sätt att de uppnår en lämplig nivå avseende riktighet, robusthet och cybersäkerhet och prestera väl i dessa avseenden under hela sin livscykel.
I sammanhanget är det viktigt att notera att varken begreppet riktighet, robusthet eller cybersäkerhet definieras i bestämmelsen eller på andra ställen i AI-förordningen. Däremot definieras begreppet teknisk robusthet och säkerhet i skäl 27 till AI-förordningen. Enligt skälet innebär teknisk robusthet och säkerhet att AI-system ska utvecklas och användas på ett sätt som möjliggör robusthet i händelse av problem och resiliens mot försök att ändra AI-systemets användning eller prestanda för att möjliggöra olaglig användning från tredje parters sida, och minimera oavsiktlig skada. Det framgår av skälet att denna definition hämtats från etiska riktlinjer för tillförlitlig AI som utarbetats av en grupp experter på uppdrag av EU-kommissionen.
Tillbaka till artikel 15 AI-förordningen. Enligt bestämmelsens andra punkt ska EU-kommissionen uppmuntra utvecklingen av riktmärken och mätmetoder för att hantera de tekniska aspekterna av hur de lämpliga nivåer av riktighet och robusthet som anges ovan och andra relevanta prestandamått mäts. Detta ska ske i samarbete med relevanta berörda parter och organisationer, såsom metrologi- och riktmärkningsmyndigheter.
Av tredje punkten i artikel 15 AI-förordningen framgår att riktighetsnivåerna och relevanta riktighetsmått för AI-system med hög risk ska anges i de medföljande bruksanvisningarna. Detta krav förtydligas i artikel 13 AI-förordningen som bland annat reglerar krav på bruksanvisningar för AI-system med hög risk. Enligt bestämmelsen ska bruksanvisningen bland annat innehålla egenskaperna, kapaciteten och prestandabegränsningarna hos AI-system med hög risk. Detta ska bland annat inbegripet AI-systemets avsedda ändamål, den nivå avseende riktighet, inbegripet mätningarna av denna, robusthet och cybersäkerhet som avses i artikel 15 AI-förordningen mot vilken AI-systemet med hög risk har testats och validerats och som kan förväntas, samt alla kända och förutsebara omständigheter som kan påverka den förväntade riktighets-, robusthets- och cybersäkerhetsnivån.
Enligt fjärde punkten i artikel 15 AI-förordningen ska AI-system med hög risk vara så resilienta som möjligt mot felaktigheter, funktionsfel eller inkonsekvenser som kan uppstå inom det system eller den miljö där systemet är i drift, särskilt på grund av deras interaktion med fysiska personer eller andra system. Tekniska och organisatoriska åtgärder ska vidtas i detta avseende. Robustheten hos AI-system med hög risk kan uppnås genom lösningar med teknisk redundans, som kan omfatta backup eller felsäkra planer. AI-system med hög risk som fortsätter att lära sig efter det att de har släppts ut på marknaden eller tagits i bruk ska utvecklas på ett sådant sätt att risken för att eventuella biaser i utdata påverkar indata för framtida drift (återföring) elimineras eller minskas så mycket som möjligt och så att det säkerställs att sådan återföring hanteras på vederbörligt sätt med lämpliga kompenserande åtgärder.
Av den femte och sista punkten i artikel 15 AI-förordningen framgår att AI-system med hög risk ska vara resilienta mot försök av obehöriga tredje parter att ändra deras användning, utdata eller prestanda genom att utnyttja systemets sårbarheter. Enligt bestämmelsen ska de tekniska lösningar som syftar till att säkerställa cybersäkerhet i AI-system med hög risk vara anpassade till de relevanta omständigheterna och riskerna. Vidare ska de tekniska lösningarna för att hantera AI-specifika sårbarheter, när det är lämpligt, inbegripa åtgärder för att förebygga, upptäcka, reagera på, komma till rätta med och bekämpa attacker som försöker manipulera träningsdatasetet (dataförgiftning) eller förtränade komponenter som används i träningen (modellförgiftning), indata som är utformade för att få AI-modellen att göra ett misstag (antagonistiska exempel eller modellkringgående), sekretessangrepp eller modellfel.
Kraven på riktighet, robusthet och cybersäkerhet enligt artikel 15 AI-förordningen har även en koppling till kraven på teknisk dokumentation som regleras i artikel 11 AI-förordningen. Den tekniska dokumentationen ska bland annat innehålla en utförlig beskrivning av de mått som används för att mäta riktighet, robusthet samt de cybersäkerhetsåtgärder som vidtagits (se bilaga IV till AI-förordningen).
Ovanstående krav förtydligas på flera ställen i förarbetena till AI-förordningen som exempelvis i skäl 74. Enligt skälet bör AI-system med hög risk fungera konsekvent under hela sin livscykel och uppnå en lämplig nivå av riktighet, robusthet och cybersäkerhet mot bakgrund av sitt avsedda ändamål och i enlighet med den allmänt erkända senaste utvecklingen. Vidare framgår av skälet att EU-kommissionen och relevanta organisationer och berörda parter uppmanas att ta vederbörlig hänsyn till riskbegränsning och AI-systemets negativa konsekvenser. Därutöver framgår av skälet att den förväntade graden av prestandamått bör anges i den medföljande bruksanvisningen och att leverantörer uppmanas att förmedla denna information till tillhandahållare på ett tydligt och lättbegripligt sätt, utan missförstånd eller vilseledande uttalanden.
Ett annat exempel på förtydliganden återfinns i skäl 76 till AI-förordningen. Enligt skälet har cybersäkerhet avgörande betydelse för att säkerställa att AI-system är resilienta mot försök att ändra deras användning, beteende eller prestanda eller att undergräva deras säkerhetsegenskaper genom tredje parter med avsikt att vålla skada som utnyttjar systemets svagheter. Vidare konstateras i skälet att cyberattacker mot AI-system kan riktas mot AI-specifika tillgångar eller utnyttja sårbarheter i AI-systemets digitala tillgångar eller i den underliggande IKT-infrastrukturen. För att säkerställa en cybersäkerhetsnivå som är anpassad till riskerna bör enligt skälet lämpliga åtgärder såsom säkerhetskontroller därför vidtas av leverantörerna av AI-system med hög risk, även med beaktande av den underliggande IKT-infrastrukturen när så är lämpligt.
Efter denna genomgång av kravens innebörd vänder vi oss till kravens motivering. Enligt förarbetena till AI-förordningen (skäl 66) är kraven på robusthet, riktighet och cybersäkerhet för AI-system med hög risk nödvändiga för att på ett effektivt sätt begränsa riskerna för hälsa, säkerhet och grundläggande rättigheter. Eftersom inga andra åtgärder som är mindre handelsbegränsande finns rimligen tillgängliga så utgör dessa krav inte omotiverade begränsningar av handeln.
Ovanstående genomgång förtydligar att AI-förordningen ställer omfattande krav på robusthet, riktighet och cybersäkerhet för AI-system med hög risk. Kraven kan inte betraktas isolerat utan måste sättas i den större kontexten som utgörs av AI-förordningens regler för hantering av risker, däribland kraven på riskhanteringssystem för AI-system med hög risk, kraven på teknisk dokumentation och kraven transparens. Reglerna måste även betraktas i ljuset av andra relevanta regelverk som exempelvis lagstiftning på områdena cybersäkerhet och informationssäkerhet. Leverantörer, tillhandahållare (AI-förordningens begrepp för användare av AI-system) och andra aktörer som är involverade i livscykeln av ett AI-system med hög risk gör klokt i att bekanta sig med reglerna och påbörja arbetet med att implementera åtgärder för robusthet, riktighet och cybersäkerhet.
Bristande efterlevnad av AI-förordningens krav på robusthet, riktighet och cybersäkerhet kan medföra sanktioner som bland annat administrativa sanktionsavgifter på upp till 15 000 000 EUR eller, om överträdelsen begås av ett företag, upp till 3 procent av dess totala globala årsomsättning under det föregående räkenskapsåret, beroende på vilket som är högst (artikel 99.4 AI-förordningen).