Search
Close this search box.

Analys: Den nya AI-förordningen kräver en bedömning av AI-cybersäkerhetsrisker för AI-system

Den ökade användningen av artificiell intelligens (AI) har en stor inverkan på cybersäkerheten i datorsystem. Nya typer av datorsystem som använder ny AI-teknik kan lösa problem och utföra uppgifter som tidigare ansågs omöjliga att lösa. Detta innebär potentiella fördelar för individer, företag och samhället samtidigt som det medför nya cybersäkerhetsrisker. Dessa risker måste hanteras på lämpligt sätt.

I EU:s kommande AI-förordning (AI Act) fastställs rättsligt bindande cybersäkerhetskrav för AI-system. I den här artikeln förklaras några av de mest grundläggande cybersäkerhetsriskerna för AI och viktiga cybersäkerhetskrav i den nya AI-förordningen.

Vad är cybersäkerhet för AI?

Eftersom AI-system är datorsystem utsätts de för samma typer av cybersäkerhetsrisker som vanliga datorsystem. Det snabba införandet av ny AI-teknik medför dock ytterligare nya cybersäkerhetsrisker som orsakas av AI-specifika sårbarheter. På grund av den snabba införandetakten är effektiviteten av befintliga åtgärder för cybersäkerhet begränsad. Samtidigt har utvecklingen av nya verktyg för hantering av AI-cybersäkerhetsrisker redan inletts. I samband med detta har ett nytt forskningsområde skapats, cybersäkerhet för AI.

Cybersäkerhet för AI kombinerar traditionella metoder för cybersäkerhet med AI-forskning, kontradiktorisk maskininlärning och andra relevanta områden. Cybersäkerhet för AI syftar till att i första hand använda redan etablerade säkerhetsmetoder såvida detta är möjligt. Det finns dock flera AI-cybersäkerhetsrisker för vilka det varken finns testade säkerhetsmetoder eller specifika säkerhetsstandarder. De flesta av dessa risker är relaterade till användningen av nya typer av sårbarheter som uppstår vid användningen av ny AI-teknik. Exempel på sådana sårbarheter är evasionsattacker (evasion attacks), dataförgiftning (data poisoning), stöld av AI-modellen (model stealing), modellinversion (model inversion) eller bakdörrar (backdoors) inbäddade i AI-modeller.

För närvarande kan utmaningarna för AI-cybersäkerhet grupperas i två huvudkategorier; organisatoriska utmaningar relaterade till processer samt forsknings- och utvecklingsutmaningar relaterade till tekniker och metoder. Det finns gott om exempel på sådana organisatoriska utmaningar som till exempel att upprätthålla cybersäkerheten för ett AI-system under hela dess livscykel och att hantera AI-specifika cybersäkerhetsrisker i hela leveranskedjan. Några exempel på forsknings- och utvecklingsutmaningar är att bedöma attacker mot maskininlärningsmodeller, utveckla AI-specifika säkerhetsåtgärder och härda AI-modeller för mer avancerade AI-metoder.

AI-förordningens krav på bedömning av överensstämmelse

Den nya AI-förordningen ställer särskilda cybersäkerhetskrav på AI-system (jämför artikel 15 och skäl 51 i EU-kommissionens utkast till AI-förordningen). Kraven omfattar fyra huvudelement:

  • AI-system med hög risk bör utformas och granskas för att vara motståndskraftiga mot försök att påverka deras användning, beteende och prestanda och att äventyra deras säkerhetsegenskaper av antagonistisk tredje part.
  • Organisatoriska och tekniska åtgärder ska implementeras för att uppnå dessa mål.
  • En bedömning av cybersäkerhetsrisker ska göras för AI-system med hög risk.
  • Tekniska lösningar ska vara lämpliga utifrån de relevanta omständigheterna och riskerna.

När AI-förordningen har trätt i kraft måste AI-system med hög risk genomgå en bedömning av överensstämmelse och uppfylla cybersäkerhetskraven innan de kan användas eller tas i bruk inom EU.

AI-förordningens krav på bedömning av AI-cybersäkerhetsrisker

AI-system med hög risk måste genomgå en bedömning av cybersäkerhetsrisker för att säkerställa efterlevnad av reglerna i AI-förordningen. Detta följer av kravet på riskhanteringssystem i artikel 9 i AI-förordningen. 

Vid bedömningen av riskerna med AI-modeller måste hänsyn tas till deras begränsningar och sårbarheter när de interagerar med andra icke-AI-komponenter i systemet. Inom AI-förordningens tillämpningsområde bör två nivåer av riskbedömning beaktas. Den första nivån är riskbedömningen på en övergripande nivå som omfattar alla andra krav som beskrivs i artikel 9 i AI-förordningen. Den andra nivån är en riskbedömning avseende cybersäkerhet för att fastställa lämpliga säkerhetsåtgärder för att hantera de specifika riskerna med AI-systemet och dess komponenter, oavsett om dessa komponenter är AI-komponenter eller inte.

Resultaten av riskbedömningen avseende cybersäkerhet bör användas för att fastställa specifika säkerhetsåtgärder som ska implementeras i AI-systemet. I samband med detta bör systemets arkitektur och dess avsedda användning beaktas. I praktiken kommer dock cybersäkerhetsåtgärderna sannolikt att behöva balanseras med andra krav som ställs på AI-system i det enskilda fallet. Ta ett AI-system som är utformat för att köras och användas på en lokal dator som exempel. Systemet kommer endast att användas av utbildade medarbetare. Detta gör det praktiskt taget omöjligt för en extern motståndare att mata AI-modellen med skadlig input. I ett sådant scenario kan det vara motiverat att AI-systemet inte behöver en lika hög nivå av robusthet mot denna typ av angrepp från motståndare som om den hade varit exponerad mot internet och använts av externa användare.

Mer information:

Källor: EU-kommissionens utkast till AI-förordningen (COM(2021) 206 final)Cybersecurity of Artificial Intelligence in the AI Act (JRC)

Relaterade nyheter

Områden

I fokus

Länder

Taggar

Populära kurser

Expertis

Gå kurs med oss

07 MAR

AI – Introduktion till artificiell intelligens

Kursen ger dig de rättsliga förutsättningarna för utveckling, upphandling och användning av AI.

14 MAR

Cybersäkerhet - Introduktion till NIS2-direktviet

En genomgång av de viktigaste reglerna i NIS2-direktivet och kompletterande svensk lagstiftning.

21 MAR

AI - Introduktion till AI-förordningen

En genomgång av de viktigaste reglerna i den nya AI-förordningen och hur du kan använda AI-system på ett lagenligt sätt.