Den ungerska dataskyddsmyndigheten Nemzeti Adatvédelmi és Információszabadság Hatóság (NAIH) har bötfällt Budapest Bank Zrt. med 700 000 euro för brott mot artiklarna 5.1, 5.2, 6.1, 6.4, 12.1, 13, 21, 24.1, 25.1 och 25.2 i dataskyddsförordningen (GDPR).
Av beslutet framgår att NAIH i september 2021 på eget initiativ inlett en utredning mot Budapest Bank i samband med användningen av programvara för artificiell intelligens som tillämpats på ljudinspelningar av telefonsamtal med kundtjänsten mellan maj 2018 och inledningen av utredningen. Enligt Budapest Bank använde programvaran talsignalbehandling baserad på AI för att identifiera perioder av tystnad, olika röster som talar samtidigt, nyckelord och känslomässiga element som rösthastighet, volym och tonhöjd i de inspelade ljudfilerna i syfte att identifiera kundernas missnöje. När programvaran hade fattat ett automatiskt beslut om att identifiera samtal enligt dessa kriterier lyssnade en högt kvalificerad anställd på banken på inspelningarna och ringde tillbaka till kunderna för att hantera och försöka lösa eventuella problem med missnöje hos kunderna. Budapest Bank uppgav att bankens rättsliga grund för denna behandling var berättigat intresse och att syftet var att utföra kvalitetskontroller av samtalen, förebygga klagomål och kundförluster samt att öka effektiviteten.
Budapest Bank uppgav vidare att kunderna informerades i början av samtalen om att de spelades in, men banken medgav att de inte informerade dem om att AI-programvaran skulle användas för att analysera samtalen, eftersom detaljerad information i detta avseende skulle göra inledningen till samtalen alltför lång, vilket skulle överdriva många av de enkla frågor som kunderna ställde när de ringde till banken. Budapest Bank hävdade också att systemet inte lagrade några identifierbara personuppgifter eller utförde automatiserat beslutsfattande för att skapa personliga profiler.
Efter en genomgång av ärendet fastställde NAIH först att programvaran behandlade personuppgifter eftersom den registrerade faktiskt kunde identifieras inom ramen för denna behandling, på grund av att kundtjänstsamtalen tilldelas ett unikt internt identifieringsnummer som kunde kopplas till både den som ringer och den kundtjänstanställde. Enligt NAIH var denna behandling analog med rättspraxis från EU-domstolen (mål C-582/14), som fastställde att dynamiska IP-adresser också är personuppgifter. NAIH konstaterade också att användningen av artificiell intelligens för att identifiera känslomässiga tillstånd bör betraktas som behandling av känslig personuppgifter och skulle i vissa fall kunna omfattas av särskilda kategorier av personuppgifter i den mening som avses i artikel 9.1 GDPR. NAIH ansåg dock att i detta specifika fall var artikel 9.1 GDPR inte tillämplig på behandlingen, eftersom röstanalysen inte gav upphov till uppgifter som i sig kunde identifiera en registrerad person på ett unikt sätt, och därför inte kunde betraktas som biometriska uppgifter, och på grund av att ingen meningsfull slutsats om den registrerades fysiska eller psykiska hälsotillstånd kunde dras av resultatet av behandlingen.
NAIH fastställde vidare att automatiserat beslutsfattande genomförts i detta fall, eftersom det inte är en förutsättning att programvaran själv fattar beslutet, och att det är tillräckligt om behandlingen är avsedd att ge ett resultat som påverkar beslutsfattarna. NAIH fastställde också att profilering ägde rum enligt definitionen i artikel 4.4 GDPR, eftersom prioriteringen av missnöjda kunder på grundval av nyckelord och känslor innebär en utvärdering av de personliga aspekter som nämns i denna bestämmelse.
På grundval av dessa bedömningar, och det faktum att detta är en ny teknik, konstaterade NAIH att behandlingen medförde ökade risker för de grundläggande rättigheterna, vilket också innebär ett ökat ansvar för den personuppgiftsansvarige. Därför ansåg NAIH att Budapest Bank, innan den automatiserade röstanalysen med hjälp av emotionell AI infördes, borde ha bedömt om behandlingen var genomförbar under rådande tekniska och sociala omständigheter och tagit hänsyn till lämpliga skyddsåtgärder för att följa dataskyddslagstiftningen och principen om inbyggt dataskydd. På grundval av dessa överväganden ansåg NAIH att bankens underlåtenhet att fullgöra dessa skyldigheter utgjorde en överträdelse av artiklarna 24.1, 25.1 och 25.2 GDPR.
NAIH noterade även att ingen information gavs till de registrerade om röstanalysen, särskilt om de specifika typer av uppgifter som behandlades, hur och på vilket sätt deras känslomässiga reaktioner behandlades och bedömdes. Enligt NAIH utgjorde detta en överträdelse av artiklarna 5.1, 5.2, 12.1 och 13 GDPR. Vidare ansåg NAIH, i enlighet med sina tidigare bedömningar av automatiserat beslutsfattande och profilering, att avsaknaden av information till de registrerade om deras rätt att göra invändningar ledde till en överträdelse av artikel 21 GDPR. Dessutom ansåg NAIH att behandling för att behålla kunder utgör ett marknadsföringsändamål som liknar kundanskaffning, och att Budapest bank därför också brutit mot de registrerades rätt att göra invändningar enligt artikel 21.2 GDPR.
Vad gäller den rättsliga grunden ansåg NAIH att Budapest Bank inte lämnat några konkreta bevis för att banken gjort en lämplig intresseavvägning mellan bankens påstådda berättigade intresse av att utföra behandlingen och de berörda registrerades rättigheter. NAIH noterade att enligt den tekniska dokumentation som Budapest Bank tillhandahållit är effektiviteten hos programvaran för känsloanalys faktiskt relativt låg och att banken inte lyckats bevisa att användningen av programvaran i sin nuvarande form var lämplig för att uppnå de föreslagna målen på ett sätt som stod i proportion till hur de registrerades rättigheter påverkas. NAIH noterade också att banken inte hade visat att några alternativ till denna behandling hade övervägts.
NAIH citerade också Europeiska dataskyddsstyrelsen (EDPB) och Europeiska Datatillsynsmannens (EDPS) gemensamma yttrande 5/2021 om lagen om artificiell intelligens, där det anges att användningen av artificiell intelligens för att härleda känslor hos en fysisk person är högst oönskad och bör förbjudas, utom i vissa väl specificerade användningsfall, nämligen för hälso- eller forskningsändamål. På grundval av dessa kriterier konstaterade NAIH att Budapest Banks angivna effektivitetsändamål inte var proportionerliga för att motivera användningen av en form av databehandling som EU:s dataskyddsorgan har ansett vara oönskad och som utgör en hög risk för de registrerades grundläggande rättigheter.
NAIH noterade också att inte bara rösterna från Budapests Banks kunder analyserades, utan även rösterna från bankens anställda. NAIH konstaterade att även om övervakning av prestationer och kvalitetssäkring under vissa omständigheter kan ge upphov till berättigade intressen enligt arbetsrätten, var frågan om lämplighet och proportionalitet också relevant i detta fall, särskilt eftersom de anställda befinner sig i en utsatt position inom ramen för ett arbetsförhållande. NAIH fastställde att dessa faktorer inte beaktades på grund av att Budapests Bank inte genomfört en lämplig intresseavvägning och att de anställda inte fått ett lämpligt system av garantier. Därför ansåg NAIH att Budapests Bank inte kunde åberopa berättigat intresse som en giltig rättslig grund enligt artikel 6.1 (f) GDPR, eller någon annan rättslig grund som anges i artikel 6.1 GDPR, för behandlingen i fråga. NAIH ansåg därför att banken brutit mot artiklarna 5.1 (a), 6.1 och 6.4 GDPR.
På grundval av dessa överväganden ålade NAIH Budapests Bank böter på 250 000 000 HUF (cirka 700 000 euro) och beordrade banken att upphöra med sin användning av artificiell intelligens för att analysera känslor i inspelningar av kundtjänstsamtal, såvida banken inte inom 60 dagar kan bevisa att en lämplig omfattning av uppgifterna har definierats, att en giltig konsekvensbedömning har utförts och att en giltig rättslig grund har tillhandahållits som säkerställer att de registrerades rättigheter skyddas i så stor utsträckning som möjligt.
När det gäller Budapests Banks anställda ansåg NAIH att behandlingen bör begränsas till vad som är nödvändigt för de ändamål för vilka den är avsedd, och att de bör få lämplig information som anger bedömningskriterierna och konsekvenserna och som innehåller en särskild intresseavvägning som tar hänsyn till deras sårbarhet på grund av arten av deras arbetsförhållande, med lämpliga interna skyddsåtgärder.