Search
Close this search box.

Analys: Cyberattacker kan manipulera AI-systems beteende

Cyberattacker kan manipulera beteendet hos AI-system till exempel genom att förvirra eller förgifta systemet. Sådana attacker kan leda till allvarliga konsekvenser för individer och organisationer. Samtidigt finns det i dagsläget inga heltäckande säkerhetslösningar för ett försvar. Denna artikel förklarar vanliga cyberattacker mot AI-system, diskuterar hur riskerna kan hanteras och redovisar några viktiga lagkrav.

AI-system används i allt fler sammanhang, från att assistera fordon till att hjälpa läkare att diagnostisera sjukdomar och att interagera med kunder via chattbottar. För att lära sig att utföra dessa uppgifter tränas AI-modeller (som kan likställas med AI-systemens motor) med stora mängder data, även kallat träningsdata. Ett självkörande fordon kan till exempel tränas med bilder på motorvägar och gator med vägskyltar, medan en chattbot som bygger på en stor språkmodell (LLM) kan tränas med loggar av chattkonversationer. Dessa data används sedan av det driftsatta AI-systemet för att göra förutsägelser som avgör hur systemet ska agera eller reagera i en viss situation.

Ett stort problem är att den data som används kanske inte är tillförlitlig. Datakällorna kan vara webbplatser och interaktioner med allmänheten. Det finns många möjligheter för illasinnade aktörer att förvanska dessa data, både när ett AI-systems tränas och efter träningen, när AI-systemet lär sig kontinuerligt genom att interagera med omvärlden. Detta kan leda till att AI-systemet presterar på ett oönskat sätt. Chattbottar kan till exempel lära sig att svara på ett kränkande eller rasistiskt sätt när deras skyddsåtgärder kringgås av noggrant utformade skadliga indata. I dagsläget finns det ännu inget heltäckande sätt att skydda AI-system från sådana attacker, bland annat för att de datamängder som används för träning är för stora för att människor ska kunna övervaka och filtrera dem på ett effektivt sätt.

Fyra huvudtyper av attacker

Det finns fyra huvudtyper av attacker som ett AI-system kan utsättas för: evasionsattacker, förgiftningsattacker, integritetsattacker och missbruksattacker.

Evasionsattacker (evasion attacks) genomförs efter att ett AI-system har installerats. De syftar till att manipulera indata för att ändra hur systemet reagerar på den. Exempel på en sådan attack är att lägga till markeringar på stoppskyltar för att få ett självkörande fordon att misstolka dem som skyltar om hastighetsbegränsning eller att skapa förvirrande körfältsmarkeringar för att få fordonet att avvika från vägen.

Förgiftningsattacker (poisoning attacks) genomförs under träningsfasen av ett AI-system genom att förvrängd data smygas in i träningsdata. Ett exempel på detta är att smyga in många olämpliga kommentarer i en chattlogg under träningen av en chattbott, så chattbotten tolkar det som att denna typ av kommentarer är allmänt accepterade och att det är godtagbart att använda liknande språk i kundsamtal.

Integritetsattacker (privacy attacks) sker under användningsfasen av ett AI-system. De syftar till att ta reda på känslig information om AI-systemet eller de data som systemet tränats med för att kunna missbruka den. En angripare kan till exempel ställa ett stort antal frågor till en chattbot och använda svaren för att återskapa den underliggande AI-modellen för att hitta dess svaga punkter. Samma teknik kan också användas för att identifiera källorna som AI-modellen använder för att producera resultaten. Om angriparen använder denna kunskap för att lägga till oönskade exempel i dessa källor kan angriparen få AI-systemet att bete sig olämpligt. Det kan vara svårt få AI-systemet att glömma dessa oönskade exemplen i efterhand.

Missbruksattacker (abuse attacks) innebär att felaktig information infogas i en källa, till exempel en webbsida, som ett AI-system sedan absorberar. Till skillnad från förgiftningsattackerna försöker missbruksattacker ge AI-systemet felaktig information från en legitim men komprometterad källa för att använda AI-systemets för ett annat ändamål än det avsedda.

De flesta av dessa attacker är förhållandevis enkla att genomföra och kräver minimal kunskap om AI-systemet och begränsad kapacitet hos angriparen. Förgiftningsattacker kan till exempel genomföras genom att kontrollera några få datum (dussintals) av träningsdata, vanligtvis en mycket liten andel av den totala mängden träningsdata som används. Trots de stora framsteg som AI och maskininlärning har gjort är dessa tekniker således sårbara för attacker som kan orsaka allvarliga fel och konsekvenser som i vissa fall kan vara katastrofala.

Riskhantering och lagkrav

Att skydda sig mot sådana attacker och deras konsekvenser är en utmaning på grund av flera olika skäl, till exempel den snabba införandetakten av ny AI-teknik och den stora variationen av olika AI-tekniker och tillämpningar. Under de senaste åren har många strategier för att hantera riskerna förknippade med dessa typer av attacker föreslagits, men många har visat sig vara ineffektiva. Det finns visserligen ett flertal strategier för att skydda mot varje typ av attack men varje strategi har nackdelar. En nackdel kan till exempel vara att man måste kompromissa mellan AI-modellens robusthet och noggrannhet. En annan nackdel kan vara ökade kostnader med som uppstår till följd av längre och noggrannare träning av AI-systemet.

Trots alla framsteg som gjorts på området cybersäkerhet för AI under de senaste åren finns det än idag ingen heltäckande säkerhetslösning för att skydda AI-modeller och AI-system mot dessa attacker. Avsaknaden av en sådan heltäckande lösning befriar emellertid inte tillverkare, utvecklare och användare av AI-system från skyldigheter på området cybersäkerhet enligt befintlig och kommande lagstiftning. Dataskyddsförordningen (GDPR) ställer exempelvis krav på att implementera lämpliga säkerhetsåtgärder vid behandling av personuppgifter. Kraven inkluderar en skyldighet att fortlöpande kunna säkerställa integritet och motståndskraft i behandlingsystem vilket även omfattar AI-system. Därutöver ställer GDPR även krav på att det under vissa förutsättningar ska genomföras en konsekvensbedömning avseende dataskydd som regelbundet aktualiseras vid användning av AI-system.

Den nya AI-förordningen ställer särskilda cybersäkerhetskrav på AI-system. Kraven omfattar bland annat en skyldighet att utforma och granska AI-system med hög risk för att vara motståndskraftiga mot försök att påverka deras användning, beteende och prestanda och att äventyra deras säkerhetsegenskaper av antagonistiska tredje parter. Dessutom måste AI-system med hög risk genomgå en bedömning av cybersäkerhetsrisker för att säkerställa efterlevnad av reglerna i AI-förordningen. Vid bedömningen av riskerna med AI-modeller måste hänsyn tas till deras begränsningar och sårbarheter när de interagerar med andra komponenter som inte bygger på AI i systemet. Resultaten av riskbedömningen avseende cybersäkerhet bör sedan användas för att fastställa specifika säkerhetsåtgärder som ska implementeras i AI-systemet.

Mer information

Källor: EU-kommissionens utkast till AI-förordningen (COM(2021) 206 final), NIST AI 100-2e2023

Relaterade nyheter

Områden

I fokus

Länder

Taggar

Populära kurser

Expertis

Gå kurs med oss

07 MAR

AI – Introduktion till artificiell intelligens

Kursen ger dig de rättsliga förutsättningarna för utveckling, upphandling och användning av AI.

14 MAR

Cybersäkerhet - Introduktion till NIS2-direktviet

En genomgång av de viktigaste reglerna i NIS2-direktivet och kompletterande svensk lagstiftning.

21 MAR

AI - Introduktion till AI-förordningen

En genomgång av de viktigaste reglerna i den nya AI-förordningen och hur du kan använda AI-system på ett lagenligt sätt.