Artificiell intelligens (AI) används allt oftare för att fatta automatiserade beslut som påverkar människor på alla möjliga områden, från kreditprövningar till cancerdiagnoser och häktningsbeslut. Samtidigt är många AI-system som tar fram sådana beslut eller beslutsunderlag svarta lådor vilket kan leda till allvarliga konsekvenser för enskilda och bristande regelefterlevnad för organisationer. I denna artikel förklarar vi AI-system som är svarta lådor. Vi analyserar även hur användning av svarta lådor påverkar personuppgiftsansvarigas skyldighet att informera registrerade i enlighet med dataskyddsförordningen (GDPR).
För att förstå konceptet svart låda behöver vi först titta på tekniken maskinlärning (machine learning) som många AI-system som är svarta lådor baseras på. Maskinlärning avser en maskins förmåga att anpassa sig till nya omständigheter samt att hitta mönster och extrapolera dessa. Det finns flera olika metoder för att få en maskin att lära sig saker men samtliga metoder baseras på samma grundprincip som säger att genom att analysera en uppsättning av input med fördefinierade output lär sig maskinen en modell för att förutse nya output baserat på nya input.
Djupinlärning
Den viktigaste metoden inom maskinlärning som de flesta populära AI-system använder sig av är djupinlärning (deep learning). Denna metod använder matematiska modeller (som också kallas för neuronnät eller neural networks) som härmar hur människor lär sig saker. Dessa modeller kan spara mycket komplex information i en stor omfattning vilket är nyckeln djuplärningens framgång.
Ett problem med AI-modeller som tränats med djuplärning är att det i många fall inte går att härleda i detalj hur de producerar sina resultat. Denna omständighet är nyckeln till olika risker för enskilda och juridiska utmaningar för organisationer som vi kommer att se nedan.
Att det inte går att förstå hur sådana AI-modeller tar fram sina resultat beror på att dessa modeller innehåller oföreställbart mycket information, i många fall miljarder av siffror (som också kallas för parameter) som har kopplingar med varandra (kopplingarna kallas också för vikter). I sammanhanget är det viktigt att såväl siffrorna och kopplingarna utgör den information som används av AI-modellen för att producera sina resultat. Den blotta mängden information gör det omöjligt för en människa att överblicka hur enskilda parametrar och vikter påverkar slutresultatet.
Svarta lådor
AI-modeller som uppvisar denna problematik kallas också för svarta lådor (black box). Problemet att det inte går att förklara alla detaljer av hur en AI-modell producerar sina resultat är dock inte begränsad till sådana AI-modeller som tränats med djuplärning utan uppstår även vid användning av andra AI-metoder. Allmänt gäller att möjligheten att förklara hur en AI-modell producerar sina resultat minskar med dennes komplexitet. Att hitta nya metoder för att förklara hur AI-modeller och svarta lådor fungerar har blivit ett eget forskningsområde inom AI. En gren i detta område försöker att förklara djupa neuronnät med hjälp av neuronnät.
En annan typ av svart låda är så kallade proprietära AI-modeller. För sådana AI-modeller skulle det potentiellt vara möjligt att förklara hur de producerar sina resultat. Detta förhindras dock av att tillverkaren, utvecklaren eller annan som ansvar för träningen av AI-modellen inte vill dela den information som behövs för att förstå AI-modellens funktionssätt. Inte alla proprietära AI-modeller är svarta lådor eftersom vissa tillverkare delar den information som behövs.
Risker med svarta lådor
Användning av AI-modeller som är svarta lådor kan leda till felaktiga resultat eftersom det är svårt eller omöjligt att förstå hur AI-modellen producerar sina resultat. Forskare trodde till exempel att de haft framgång med att lära en algoritm att skilja mellan bilder av hundar och bilder av vargar men upptäckte att algoritmen istället lärt sig skilja mellan bilder med och utan snö. Bakgrunden till resultatet var att det funnits snö på bilderna med vargar som användes för att träna algoritmen.
Trots att det inte går att förklara AI-modeller som är svarta lådor finns det rapporter om deras användning inom ett flertal områden som till exempel för automatiserade kreditprövningar, automatiserad analys av röntgenplåtar och automatiserade bedömningar inom rättsväsendet. Eftersom det inte går att förklara hur en svart låda tar fram sina resultat kan processen inte ifrågasättas. Denna bristande transparens kan ha allvarliga konsekvenser för enskilda. Det har exempelvis rapporterats fall där villkorlig frigivning nekats med stöd av beslut som tagits baserat på utfallet av en AI-modell som var en svart låda trots att förutsättningarna var uppfyllda.
Informationskrav enligt GDPR
Att en AI-modell är en svart låda befriar emellertid inte en organisation som använder sig av modellen från dennes skyldigheter enligt GDPR. För enkelhetens skull utgår vi i det som följer från att denna organisation är personuppgiftsansvarig enligt GDPR.
Rätten till information ställer långtgående krav på den personuppgiftsansvarige att tillhandahålla omfattande och detaljerad information om behandlingen av personuppgifter. Information som ska tillhandahållas inbegriper bland annat den personuppgiftsansvariges identitet, kategorier av personuppgifter som behandlingen gäller, ändamålen med behandlingen, rättsliga grunder, lagringstider och mottagare av personuppgifter.
Särskilda informationskrav vid automatiserat beslutsfattande
Vid användning av AI-modeller för automatiserat beslutsfattande aktualiseras i många fall även skyldigheten att tillhandahålla information om förekomsten av automatiserat beslutsfattande, inbegripet profilering, vilket har rättsliga följder för den registrerade eller på liknande sätt i betydande grad påverkar den registrerade. I dessa fall ska det lämnas meningsfull information om logiken bakom samt betydelsen och de förutsedda följderna av sådan behandling för den registrerade. Exempel på information som ska lämnas enligt detta krav är information om den relativa betydelsen eller vikten av varje kategori av personuppgifter i beslutsfattandet, fel- eller precisionsvärden, enligt de lämpliga mått som används för att mäta resultatens riktighet och huruvida beslutsfattandet övervakas av kvalificerade människor.
Vid en automatiserad kreditprövning är det exempelvis inte tillräckligt att enbart informera kunden om att personuppgifter som lämnats av kunden och samlats in från andra källor kommer att användas av ett AI-system för att besluta om kundens kreditansökan. Det krävs en förklaring av hur AI-systemet använder olika informationselement för att producera beslutet. Det krävs också en förklaring av vad olika möjliga utfall av beslut som produceras av AI-systemet innebär för kunden. Därutöver krävs ytterligare information som bland annat information om att AI-system kan producera felaktiga beslut och information om hur kunden kan ifrågasätta beslutet.
Svarta lådor kan utgöra ett hinder för att uppfylla kraven
För den organisation som vill använda ett AI-system som är en svart låda är det som utgångspunkt svårt att uppfylla dessa informationskrav då informationen som krävs saknas eller är ofullständig. Beroende på vilken typ av svart låda det är fråga om och hur den har utformats kan det även visa sig vara omöjligt. I sådana fall kan användning av ett AI-system som är en svart låda utan att lämna information innebära en risk att GDPR:s särskilda informationskrav vid automatiserat beslutsfattande överträds. Det är oklart om och i sådana fall i vilken utsträckning en personuppgfitsansvarig skulle kunna åberopa ett eller flera av undantagen från informationskraven i en sådan situation.