Garante per la protezione dei dati personali (Garante) har utfärdat en sanktionsavgift på 158 000 euro mot företaget bakom den generativa AI-tjänsten Character.AI för överträdelser av dataskyddsförordningen (GDPR).
Bakgrund
Bolaget är ett företag med säte i USA som driver webbplatsen Character.AI. Character.AI är en generativ AI-tjänst som gör det möjligt för användare att skapa virtuella karaktärer och interagera med dem via chatt. Tjänsten var tillgänglig på italienska och erbjöd även en särskild version riktad till barn.
Garante inledde på eget initiativ en utredning år 2024 och begärde information om de AI-modeller som bolaget använde, hur tjänsten tillhandahölls samt eventuella tredjelandsöverföringar. Bolaget lämnade in en konsekvensbedömning avseende dataskydd och uppgav att det hade infört ett åldersverifieringssystem där användare behövde ange sitt födelsedatum. År 2025 meddelade bolaget att det skulle förhindra minderåriga från att få tillgång till öppna chattrum samt att det skulle börja behandla personuppgifter från registrerade inom EES för att träna sina AI-modeller.
Myndighetens bedömning
Garante klargjorde inledningsvis att GDPR var tillämplig även när den personuppgiftsansvarige var etablerad utanför EU, i enlighet med artikel 3.2 GDPR. Garante beaktade att tjänsten var tillgänglig i Italien och på italienska samt att integritetspolicyn även omfattade personer bosatta inom EES. Eftersom bolaget saknade etablering inom EU var Garante behörig att utöva tillsyn över bolagets behandling av personuppgifter.
När det gäller informationsskyldigheten ansåg Garante att bolaget inte hade lämnat de registrerade tillräcklig information om behandlingen av personuppgifter, överföringar av personuppgifter eller de registrerades rätt att invända mot behandlingen och välja bort den. Bolaget hade inte heller utsett en representant i EU och hade inkluderat vilseledande och felaktiga uppgifter i integritetspolicyn om behandlingen av personuppgifter för träning av AI-modellerna. Garante beaktade dock att bolaget hade uppdaterat sin integritetspolicy för att göra informationen tydligare. Avseende träningen av AI-modellerna konstaterade Garante att bolaget inte hade tillhandahållit adekvat information. Garante avvisade bolagets argument att det saknade skyldighet att tillhandahålla denna information eftersom uppgifterna hade samlats in av tredje parter från öppna källor. Myndigheten konstaterade att bolaget var skyldigt att kontrollera om personuppgifter förekom och att undantaget enligt artikel 14.5 (b) GDPR inte befriade den personuppgiftsansvarige från skyldigheten att vidta lämpliga åtgärder för att skydda de registrerades rättigheter. Garante konstaterade att bolaget hade överträtt artiklarna 12.1, 13.1, 13.2, 14.1 och 14.2 GDPR.
När det gäller skyddet av minderåriga konstaterade Garante att bolaget inte hade vidtagit tillräckliga tekniska och organisatoriska åtgärder för att verifiera de registrerades ålder. Bolagets system för åldersverifiering var inte effektivt, eftersom det tillät registrerade att få tillgång till tjänsten även efter att de själva hade angett att de var yngre än den åldersgräns som bolaget hade fastställt. Kontona var dessutom öppna som standard. Bolaget hade därför inte vidtagit lämpliga åtgärder för att skydda minderåriga registrerade, även om GDPR inte innehåller någon gemensam standard för ålderskontroll. Garante bedömde att bolaget hade överträtt artiklarna 24.1 och 25.2 GDPR.
Garante konstaterade också att bolaget inte hade genomfört en konsekvensbedömning avseende dataskydd i rätt tid i samband med att tjänsten tillhandahölls till minderåriga och i samband med träningen av AI-modellerna. Enligt Garante borde bolaget ha genomfört konsekvensbedömningen innan tjänsten lanserades 2022, eftersom behandlingen innebar en sannolik hög risk för de registrerades rättigheter och friheter, bland annat genom storskalig behandling och behandling av personuppgifter om utsatta registrerade. Garante beaktade samtidigt att bolaget successivt hade förbättrat sin efterlevnad genom att genomföra en försenad konsekvensbedömning och uppdatera denna. Myndigheten bedömde att bolaget hade överträtt artiklarna 5.2 och 35 GDPR.
Slutligen konstaterade Garante att bolaget hade utsett en representant i EU för sent och att undantaget enligt artikel 27.2 GDPR inte var tillämpligt. Bolaget hade därmed överträtt artikel 27.1 GDPR.
Garante beslutade om en sanktionsavgift på 158 000 euro och ålade samtidigt bolaget att säkerställa att integritetspolicyn och lagringen av personuppgifter för träning av AI-modellerna uppfyller GDPR:s krav. Bolaget ålades även att införa effektiva mekanismer för ålderskontroll.
Praktiska konsekvenser
Beslutet tydliggör att en integritetspolicy som innehåller vilseledande eller felaktiga uppgifter om hur personuppgifter behandlas för att träna AI-modeller inte uppfyller informationskraven enligt artiklarna 13 och 14 GDPR. Att uppgifterna har samlats in av tredje parter från öppna källor befriar inte bolaget från skyldigheten att bedöma om personuppgifter förekommer och att lämna tillräcklig information till de registrerade.
Beslutet innebär att ansvaret för dataskydd inte kan begränsas till den direkta insamlingen av träningsdata. Garante konstaterade att bolaget hade en skyldighet att kontrollera om personuppgifter förekom i det material som användes för träning, oavsett att uppgifterna hämtats från offentligt tillgängliga källor. Informationen till registrerade måste också vara korrekt och återspegla den faktiska behandlingen, inte innehålla felaktiga uppgifter om hur personuppgifter används.
Beslutet visar även att kraven på öppenhet enligt GDPR får särskild betydelse vid träning av generativa AI-modeller. I det aktuella fallet innehöll integritetspolicyn felaktiga uppgifter om behandlingen för modellträning, vilket Garante bedömde som en överträdelse av artiklarna 13 och 14 GDPR. Information om att personuppgifter används för modellträning behöver vara konkret och anpassad till den faktiska behandlingen.
När det gäller skyddet av minderåriga visar beslutet att ett åldersverifieringssystem som tillåter användare att få tillgång till tjänsten trots att de själva uppgett att de är under åldersgränsen inte uppfyller kraven på inbyggt dataskydd och dataskydd som standard enligt artikel 25 GDPR. Garante konstaterade också att kontona var öppna som standard, vilket förstärkte bedömningen. För aktörer som utvecklar interaktiva AI-tjänster innebär detta att ålderskontroller och standardinställningar behöver utformas så att de faktiskt skyddar minderåriga, inte enbart formellt uppfyller ett krav.
Beslutet understryker också att konsekvensbedömningar avseende dataskydd ska genomföras innan en AI-tjänst lanseras när behandlingen kan innebära hög risk för registrerades rättigheter och friheter. Garante konstaterade att behandlingen i detta fall medförde en förmodad hög risk bland annat på grund av storskalig behandling och behandling av uppgifter om utsatta registrerade. En konsekvensbedömning som genomförs efter lansering kan beaktas som en förmildrande omständighet men ersätter inte skyldigheten att identifiera och hantera riskerna innan behandlingen påbörjas.
Sammantaget visar beslutet att befintliga principer om öppenhet, ansvarsskyldighet och dataskydd som standard gäller fullt ut även för generativa AI-tjänster. Garantes granskning utgick från dessa principer vilket innebär att aktörer inom detta område behöver säkerställa att behandlingen av personuppgifter är korrekt dokumenterad och förenlig med GDPR redan från det att tjänsten lanseras.
TechLaw följer utvecklingen och publicerar löpande inlägg om tillsynsärenden, rättsutveckling och andra aktuella frågor på dataskyddsområdet. Läs mer om hur vi bistår våra klienter inom dataskydd och integritet.
Källa: Garante.
