AI-chattbottar används i allt större utsträckning på flera olika områden, från att tillhandahålla information om regler och ge hälsoråd till att rekrytera och ta fram juridiska dokument. En viktig fråga som aktualiseras i sammanhanget är om användningen av en AI-chattbot kräver en konsekvensbedömning avseende dataskydd enligt dataskyddsförordningen (GDPR).
En konsekvensbedömning krävs för de särskilda typer av personuppgiftsbehandlingar som listas i artikel 35.3 GDPR, däribland vissa typer av automatiserat beslutsfattande med rättsliga eller liknande följder. Även om inga av dessa särskilda behandlingar är aktuella krävs ändå en konsekvensbedömning när en behandling sannolikt leder till en hög risk för enskilda. Exempel på riskfaktorer är användning av ny teknik, behandling av vissa typer av personuppgifter och användning av profilering.
Det är viktigt att notera att dessa krav är teknikneutrala. De nämner varken ChatGPT, Copilot eller någon annan AI-chattbot. Vidare formuleras kraven utifrån typer av personuppgiftsbehandlingar. Detta innebär att kraven inte nämner några tänkbara scenarier i vilka en verksamhet kan komma att använda en AI-chattbot, som exempelvis en myndighet som vill låta en AI-chattbot svara på frågor som ställs av besökare på myndighetens webbplats. I stället redovisar lagtexten och kompletterande riktlinjer olika typer av personuppgiftsbehandlingar som aktualiserar kraven.
I ett första steg måste en verksamhet som vill bedöma om en planerad användning av en AI-chattbot kräver en konsekvensbedömning således analysera vilka personuppgiftsbehandlingar den tilltänkta användningen kommer att innebära. I detta arbete är det viktigt att inte bara kartlägga delar av behandlingen. Myndigheten skulle exempelvis kunna fokusera enbart på att analysera data som matas in i AI-chattbotten av webbplatsbesökarna. Myndigheten skulle då kunna komma fram till slutsatsen att det inte behandlas några personuppgifter (även om denna slutsats kan ifrågasättas med tanke på att webbplatsanvändare inte är bundna av myndighetens uppfordran att inte inkludera personuppgifter i frågor som ställs AI-chattbotten).
Genom att begränsa utredningen på detta sätt skulle myndigheten dock missa att analysera flera andra personuppgiftsbehandlingar som kan äga rum. Detta gäller exempelvis behandlingar som rör personuppgifter som lagras i AI-chattbottens underliggande språkmodell, personuppgifter i AI-chattbottens output och personuppgifter som samlas in om användarnas användning av AI-chattbotten.
En utmaning i kartläggningen av personuppgiftsbehandlingen kan vara att det inte alltid är uppenbart att och i sådana fall i vilken omfattning en AI-chattbot eller dennes underliggande teknologi, stora språkmodeller, används i en teknisk lösning. I myndighetens exempel kan AI-chattbotten till exempel användas för att ta fram svar på webbplatsbesökarnas frågor. Men den skulle också kunna användas för annat. Till exempel skulle den kunna analysera om språket som besökarna använder är positivt eller negativt (och därigenom göra en bedömning av dem) och utifrån detta fatta ett beslut om att skicka vissa frågor vidare till en handläggare (men inte andra). Även mer avancerade tillämpningar som utmynnar i automatiserade beslut är tänkbara.
Men även om AI-chattbotten endast ska svara på frågor kan innebörden av detta skilja sig åt i olika användningsscenarier. Ett exempel är en AI-chattbot som används av en skattemyndighet för att hjälpa skattebetalare att lämna in korrekta deklarationer. Ett annat exempel är en offentlig vårdgivare som tillhandahåller en AI-chattbot till vårdsökande för att hjälpa dem med beslutet om de ska besöka akuten direkt eller kan vänta. Ett tredje exempel är en kommun som vill använda en AI-chattbot för att informera invånare om regler.
Det enda som dessa tre exempel har gemensamt är att myndigheterna använder sig av en AI-chattbot för att automatisera vissa uppgifter. Däremot finns det betydande skillnader i vilka typer av personuppgifter som myndigheterna behandlar och för vilka ändamål. Även riskerna för de enskilda skiljer sig åt. Att lämna in felaktiga uppgifter till skattemyndigheter kan visserligen leda till konsekvenser, men dessa bör kunna åtgärdas, särskilt när felet beror på AI-chattbotten. En vårdsökande som fattar ett beslut som att inte söka vård med anledning av AI-chattbottens svar kan emellertid skadas på ett allvarligt sätt när svaret visar sig vara felaktigt.
Vidare till steg två, bedömningen om det krävs en konsekvensbedömning (en sådan bedömning kallas även för förhandsbedömning). Det är viktigt att notera att ovanstående steg ett är en nödvändig förutsättning för att kunna genomföra en korrekt förhandsbedömning. I praktiken förekommer det regelbundet att förhandsbedömningen ska göras innan personuppgiftsbehandlingen har kartlagts, vilket sällan producerar användbara resultat.
I steg två måste verksamheten därför först kolla om den kartlagda personuppgiftsbehandlingen omfattas av en eller flera av de särskilda typer av personuppgiftsbehandlingar som listas i artikel 35.3 GDPR. Detta skulle exempelvis bli aktuellt om den offentliga vårdgivaren som nämns ovan behandlar hälsouppgifter i stor omfattning i samband med tillhandahållandet av AI-chattbotten till vårdsökande, vilket är ett realistiskt scenario.
Därefter måste verksamheten undersöka om den kartlagda behandlingen sannolikt leder till en hög risk för enskilda enligt bland annat tillämpliga riktlinjer. Detta krävs oavsett om en särskilt typ av behandling enligt ovan aktualiseras eller inte eftersom de särskilda behandlingstyper som listas i lagtexten inte täcker alla typer av risker.
Kommunens användning av en AI-chattbot i exemplet ovan kan aktualisera flera av de tänkbara riskfaktorer som nämns i tillämpliga riktlinjer om konsekvensbedömningar. Bland dessa är innovativ användning av ny teknik (att använda en AI-chattbot på det sätt som planeras av kommunen kan klassas som en sådan), behandling av uppgifter av mycket känslig karaktär (kallas även för integritetskänsliga personuppgifter, exempelvis innehållet i chatten), behandling av uppgifter som behandlas i stor omfattning (det behandlas både många uppgifter per invånare och uppgifter om många invånare) och uppgifter som rör sårbara registrerade (invånare). Även risken att AI-chattbotten kan hindra en registrerad från att utöva en rättighet eller använda en tjänst kan bli aktuell. Beroende på kommunens utformning av AI-chattbotten kan en eller flera av dessa riskfaktorer eller även andra riskfaktorer aktualiseras.
Verksamheter som använder AI-chattbottar behöver även undersöka om det fattas automatiserade beslut med rättsliga eller liknande följder. I samtliga exempel som redovisas ovan kan myndigheterna lätt hamna i en situation där AI-chattbottens svar kan uppfattas som ett beslut av webbplatsbesökaren trots att myndigheten kanske har en annan syn på detta. Ett exempel är en invånare som begär tillgång till allmänna handlingar från kommunens AI-chattbot och detta nekas av AI-chattbotten.
Medan vissa typer av automatiserat beslutsfattande omfattas av de särskilda behandlingstyper för vilka en konsekvensbedömning måste göras klassas andra som hög risk enligt tillämpliga riktlinjer. Därutöver innehåller GDPR särskilda regler om automatiserat beslutsfattande med rättsliga eller liknande följder, däribland en rad särskilda villkor som måste vara uppfyllda för att användning av sådana beslut ska vara tillåten.
Utan att föregå den bedömning som krävs för varje enskild behandling kan det konstateras att många tänkbara användningar av AI-chattbottar är förknippade med riskfaktorer som är relevanta för bedömningen om en konsekvensbedömning måste göras. Även om det går att konstruera fall i vilka en konsekvensbedömning inte behöver göras, bör utgångspunkten i praktiken vara att en planerad användning av en AI-chattbot kräver att konsekvensbedömning genomförs i enlighet med GDPR.
En konsekvensbedömning ska göras av den personuppgiftsansvarige innan personuppgiftsbehandlingen påbörjas. Detta gäller även om AI-chattbotten upphandlas av en leverantör, om AI-chattbotten tillhandahålls som molntjänst eller om AI-chattbotten enbart ska testas av verksamheten.