Analys: Svagheter i AI-system kan leda till allvarliga risker för enskilda

Artificiell intelligens (AI) är en nyckelteknik för digitalisering. AI används på många olika områden, däribland tillämpningar inom säkerhet, trygghet, biometri, hälso- och sjukvård och bilindustrin. Trots de obestridliga fördelar som finns med AI medför dennes användning nya risker och sårbarheter.

AI-system har svagheter som kan leda till olika typer av risker och, i vissa fall, allvarliga konsekvenser. Exempel på svagheter är bräcklighet (brittleness), inbyggd diskriminering (embedded bias), katastrofal glömska (catastrophic forgetting), förklarbarhet (explainability), eller snarare dennes avsaknad, och kvantifiering av osäkerhet (quantifying uncertainty).

Bräcklighet

Bräcklighet innebär att ett AI-system endast producerar bra resultat inom väldefinierade gränser. Så fort gränserna överskrids, slutar AI-systemet att fungera som det ska. Bräckligheten beror på att ett AI-system i många fall endast kan känna igen ett mönster som det har sett förut. Detta leder till att AI-systemet kan luras genom att visa det ett nytt mönster som det inte har sett förut. Ett exempel på en konsekvens kan vara att en självkörande bil inte stannar vid en korsning för att den inte känna igen stoppskylten.

Inbyggd diskriminering

Inbyggd diskriminering innebär att ett AI-system inte fattar opartiska beslut utan diskriminerar mot vissa grupper. En orsak till detta kan vara att AI-systemet tränas med data med inbäddade fördomar. Ett exempel på en konsekvens kan vara att ett AI-system fattar mer gynnsamma beslut för en viss grupp av människor jämfört med en annan grupp, till exempel när det gäller tillgång till olika stödinsatser som tillhandahålls av en myndighet eller i rekryteringsprocessen.

Katastrofal glömska

Katastrofal glömska innebär att ett AI-system plötsligt glömmer information som det tidigare har känt till när systemet har lärt sig ny information. Detta innebär i princip att systemets tidigare kunskap skrivs över med ny kunskap. Denna svaghet är särskilt relevant när AI-systemet tränas fortlöpande. Ett exempel på en konsekvens kan vara att systemet producerar sämre resultat än förväntat.

Förklarbarhet

Förklarbarhet, eller snarare avsaknaden av densamma, innebär att det kan vara svårt eller i vissa fall även omöjligt att förklara hur ett AI-system kommer fram till resultat som det producerar. Samtidigt har sökandet efter förklaringar för hur AI-system kommer fram till sina resultat blivit en egen forskningsgren inom AI. Ett exempel på en konsekvens av bristfällig förklarbarhet kan vara att det kan vara svårt att hitta en exakt förklaring för hur ett AI-system kommer fram till en slutsats som till exempel ett specifikt beslut eller en specifik diagnos.

Kvantifiering av osäkerhet

Kvantifiering av osäkerhet innebär att kan vara svårt för ett AI-system att bedöma hur riktig eller fel ett resultat är. Detta kan leda till att ett AI-system kan vara säker på att ett resultat är riktigt trots att det är fel. Ett exempel på en konsekvens kan vara att ett AI-system som används inom hälso- och sjukvård kommer fram till felaktiga diagnoser.

Analys

Användning av AI kan medföra olika typer av risker som leder till konsekvenser för enskilda, i vissa fall allvarliga sådana. Riskerna orsakas av svagheter i AI-system som bland annat bräcklighet och inbyggd diskriminering.

Befintliga regelverk på området dataskydd, särskilt den allmänna dataskyddsförordningen (GDPR), ställer omfattande och långtgående krav vid utveckling och användning av AI-system. Exempel på sådana krav är Privacy by Design (inbyggt dataskydd) och Privacy by Default (dataskydd som standard), uppgiftsminimering, uppgiftskvalitét, genomförandet av konsekvensbedömningar avseende dataskydd och att informera om logiken bakom automatiserade beslut.

Därutöver har EU-kommissionen tagit fram ett förslag till en ny reglering på området AI, den nya AI-förordningen. Om den nya AI-förordningen blir verklighet kommer den emellertid ha stor påverkan på verksamheters möjligheter att utveckla och använda AI-system.

Nästa steg

Privata och offentliga aktörer som utvecklar eller använder AI-system, eller planerar att göra det i framtiden, rekommenderas att vidta lämpliga åtgärder för att hantera riskerna och säkerställa regelefterlevnad utifrån befintliga och kommande regelverk. Exempel på lämpliga åtgärder är att vidta särskilda åtgärder för Privacy by Design och Privacy by Default samt att genomföra konsekvensbedömningar avseende dataskydd. I vissa fall kan det även vara lämpligt att implementera en förvaltningsmodell för AI.

Kontakta Sebastian Berg (sebastian@techlaw.se), expert inom IT/teknik, dataskydd och AI för råd.

Relaterade nyheter

Områden

I fokus

Länder

Taggar

Populära kurser

Expertis

Gå kurs med oss

06 OKT

Säkerhet för
icke-tekniker

Få en övergripande introduktion till säkerhet vid behandling av personuppgifter.

13 OKT

Privacy by Design
& Privacy by Default

Öka dina kunskaper om GDPR:s krav på inbyggt dataskydd och dataskydd som standard.

10 NOV

Artificiell intelligens & personuppgifter

Få en genomgång av de viktigaste reglerna för AI ur ett dataskyddsperspektiv.