Artificiell intelligens (AI) används allt oftare för att fatta automatiserade beslut som påverkar människor på alla möjliga områden, från kreditprövningar till cancerdiagnoser och häktningsbeslut. Samtidigt är många AI-system svarta lådor vilket kan leda till allvarliga konsekvenser för enskilda och bristande regelefterlevnad för organisationer. I denna artikel förklarar vi svarta lådor och hur deras användning kan äventyra efterlevnaden av dataskyddsförordningens (GDPR) informationsskyldigheter.
Bakgrund
För att förstå de rättsliga utmaningarna med svarta lådor behöver vi först klargöra vad tekniken innebär och hur den fungerar. Många AI-system bygger på maskinlärning och djupinlärning – metoder som gör det möjligt att analysera stora mängder data och fatta komplexa beslut, men som samtidigt gör det svårt eller omöjligt att förklara hur ett visst resultat uppstått. Det är denna egenskap som ligger till grund för begreppet svart låda och de juridiska utmaningar som följer av det.
Maskinlärning
För att förstå konceptet svart låda (black box) behöver vi först titta på tekniken maskinlärning (machine learning) som många AI-system som är svarta lådor baseras på. Maskinlärning avser en maskins förmåga att lära sig regler från och hitta mönster i data den tränas med. En maskin kan vara en mjukvara som till exempel ett AI-system eller något annat maskinbaserat system. Det finns flera olika metoder för att få en maskin att lära sig saker men samtliga metoder baseras på grundprincipen att maskinen lär sig att generera output baserad på en uppsättning av input som den har tränats med.
Djupinlärning
Den viktigaste metoden inom maskinlärning som de flesta populära AI-system använder sig av är djupinlärning (deep learning). Denna metod använder matematiska modeller (som också kallas för neuronnät eller neural networks) som härmar hur människor lär sig saker. Dessa modeller kan spara mycket komplex information i en stor omfattning vilket är nyckeln till djupinlärningens framgång.
Ett problem med AI-modeller som tränats med djupinlärning är att det i många fall inte går att härleda i detalj hur de producerar sina resultat. Denna omständighet är nyckeln till olika risker för enskilda och juridiska utmaningar för organisationer som vi kommer att se nedan.
Att det inte går att förstå hur sådana AI-modeller tar fram sina resultat beror på att dessa modeller innehåller oföreställbart mycket information, i många fall miljarder av siffror (som också kallas för parametrar) som har kopplingar med varandra (som också kallas för vikter). I sammanhanget är det viktigt att såväl siffrorna och kopplingarna utgör den information som används av AI-modellen för att producera sina resultat. Den blotta mängden information gör det omöjligt för en människa att överblicka hur enskilda parametrar och vikter påverkar slutresultatet.
Svarta lådor
AI-modeller som uppvisar denna problematik kallas också för svarta lådor (black box). Problemet att det inte går att förklara alla detaljer av hur en AI-modell producerar sina resultat är dock inte begränsad till sådana AI-modeller som tränats med djupinlärning utan uppstår även vid användning av andra AI-metoder. Allmänt gäller att möjligheten att förklara hur en AI-modell producerar sina resultat minskar med dess komplexitet. Att hitta nya metoder för att förklara hur AI-modeller och svarta lådor fungerar har blivit ett eget forskningsområde inom AI. En gren inom detta område försöker förklara djupa neuronnät med hjälp av neuronnät.
En annan typ av svart låda är så kallade proprietära AI-modeller. För sådana AI-modeller skulle det potentiellt vara möjligt att förklara hur de producerar sina resultat. Detta förhindras dock av att leverantören, utvecklaren eller annan som ansvarar för träningen av AI-modellen inte vill dela den information som behövs för att förstå AI-modellens funktionssätt. Inte alla proprietära AI-modeller är svarta lådor eftersom vissa leverantörer delar den information som behövs.
Många generativa AI-modeller som utgör grunden för tillämpningar som AI-chattbottar och AI-agenter är svarta lådor, dels på grund av bristande förklarbarhet, dels på grund av utvecklarens eller leverantörens bristande transparens.
Analys
Användningen av AI-system som är svarta lådor skapar konkreta rättsliga problem, både för enskilda och för organisationer som är skyldiga att följa GDPR. När ett AI-system inte kan förklara hur det producerar sina resultat uppstår en direkt konflikt med de informationskrav som dataskyddsförordningen ställer vid automatiserat beslutsfattande. Nedan analyseras dessa krav och vad de innebär i praktiken för organisationer som använder eller planerar att använda den här typen av system.
Risker med svarta lådor
Användning av AI-modeller som är svarta lådor kan leda till felaktiga resultat eftersom det är svårt eller omöjligt att förstå hur AI-modellen producerar sina resultat. Forskare trodde till exempel att de haft framgång med att lära en algoritm att skilja mellan bilder av hundar och bilder av vargar men upptäckte att algoritmen istället lärt sig skilja mellan bilder med och utan snö. Bakgrunden till resultatet var att det funnits snö på bilderna med vargar som användes för att träna algoritmen.
Trots att det inte går att förklara resultaten som genereras av AI-modeller som är svarta lådor finns det rapporter om deras användning inom ett flertal områden som till exempel för automatiserade kreditprövningar, automatiserad analys av röntgenplåtar och automatiserade bedömningar inom rättsväsendet. Eftersom det inte går att förklara hur en svart låda tar fram sina resultat kan processen inte ifrågasättas. Denna bristande transparens kan ha allvarliga konsekvenser för enskilda. Det har exempelvis rapporterats fall där villkorlig frigivning nekats med stöd av beslut som tagits baserat på utfallet av en AI-modell som var en svart låda trots att förutsättningarna var uppfyllda.
Informationskrav enligt GDPR
Att en AI-modell är en svart låda befriar inte en organisation som använder sig av modellen från dess skyldigheter enligt GDPR. För enkelhetens skull utgår vi i det som följer från att denna organisation är personuppgiftsansvarig enligt GDPR.
Rätten till information ställer långtgående krav på den personuppgiftsansvarige att tillhandahålla omfattande och detaljerad information om behandlingen av personuppgifter. Information som ska tillhandahållas inbegriper bland annat den personuppgiftsansvariges identitet, kategorier av personuppgifter som behandlingen gäller, ändamålen med behandlingen, rättsliga grunder, lagringstider och mottagare av personuppgifter.
Särskilda informationskrav vid automatiserat beslutsfattande
Vid användning av AI-modeller för automatiserat beslutsfattande aktualiseras i många fall även skyldigheten att tillhandahålla information om förekomsten av automatiserat beslutsfattande, inbegripet profilering, vilket har rättsliga följder för den registrerade eller på liknande sätt i betydande grad påverkar den registrerade. I dessa fall ska det lämnas meningsfull information om logiken bakom samt betydelsen och de förutsedda följderna av sådan behandling för den registrerade. Exempel på information som ska lämnas enligt detta krav är information om den relativa betydelsen eller vikten av varje kategori av personuppgifter i beslutsfattandet, fel- eller precisionsvärden, enligt de lämpliga mått som används för att mäta resultatens riktighet och huruvida beslutsfattandet övervakas av kvalificerade människor.
Vid en automatiserad kreditprövning är det exempelvis inte tillräckligt att enbart informera kunden om att personuppgifter som lämnats av kunden och samlats in från andra källor kommer att användas av ett AI-system för att besluta om kundens kreditansökan. Det krävs en förklaring av hur AI-systemet använder olika informationselement för att producera beslutet. Det krävs också en förklaring av vad olika möjliga utfall av beslut som produceras av AI-systemet innebär för kunden. Därutöver krävs ytterligare information som bland annat information om att AI-system kan producera felaktiga beslut och information om hur kunden kan ifrågasätta beslutet.
Praktiska konsekvenser
För den organisation som vill använda ett AI-system som är en svart låda är det som utgångspunkt svårt att uppfylla dessa informationskrav då informationen som krävs saknas eller är ofullständig. Beroende på vilken typ av svart låda det är fråga om och hur den har utformats kan det även visa sig vara omöjligt. I sådana fall kan användning av ett AI-system som är en svart låda utan att lämna information innebära en risk att GDPR:s särskilda informationskrav vid automatiserat beslutsfattande överträds. Det är oklart om och i sådana fall i vilken utsträckning en personuppgiftsansvarig skulle kunna åberopa ett eller flera av undantagen från informationskraven i en sådan situation.
Organisationer som använder AI-system med bristande förklarbarhet för automatiserade beslut riskerar således att försätta sig i ett läge som omöjliggör efterlevnaden av informationskraven enligt GDPR. Krav på att kunna förklara beslut som fattats av en organisation finns emellertid inte enbart i dataskyddsreglering utan även på andra områden som exempelvis förvaltningslagen eller AI-förordningen. Det är också värt att notera att dessa skyldigheter inte förutsätter att ett beslut fattats helt automatiserat – förklarbarhetskrav kan aktualiseras redan när ett AI-system används som beslutsstöd, utan att något formellt automatiserat beslut har fattats.
Kontakta oss
TechLaw bistår verksamheter i frågor som rör dataskydd, personuppgiftsansvar och regelefterlevnad enligt GDPR samt juridiska frågor kopplade till användning av AI-system. Läs mer om vår expertis inom dataskydd och integritet och artificiell intelligens (AI).
Har ni frågor är ni välkomna att kontakta Sebastian Berg, partner, jurist och beräkningsfysiker specialiserad inom IT-rätt och AI i teknikintensiva verksamheter.
Källa: Förordning (EU) 2016/679; EDPB.