AI-förordningen innehåller förbud mot vissa typer av AI-användning som anses innebära oacceptabla risker. En av dessa är användning av vilseledande tekniker enligt AI-förordningens förbud av AI-baserad manipulativ teknik. En viktig fråga är därför vad som avses med vilseledande tekniker och vilken rättslig innebörd begreppet har för generativ AI och chattbottar.
Vad är vilseledande tekniker?
AI-förordningen definierar inte begreppet vilseledande tekniker. Av skälen till förordningen framgår dock att sådana tekniker avser metoder som undergräver eller försämrar en persons autonomi, beslutsfattande eller fria val. En central aspekt är att individen inte är medveten om den teknik som används. Även i situationer där personen är medveten om tekniken kan den anses vilseledande om individen inte kan kontrollera tekniken eller stå emot dess påverkan.
EU-kommissionen beskriver vilseledande tekniker som användning av AI-system för att presentera falsk eller missvisande information i syfte att vilseleda enskilda och påverka deras beteende på ett sätt som undergräver deras autonomi, beslutsfattande och fria val.
Rättslig innebörd
EU-kommissionen lyfter särskilt fram risken för vilseledning i samband med AI-genererat innehåll, exempelvis deepfakes och chattbottar. För att minska dessa risker innehåller AI-förordningen särskilda transparenskrav.
Enligt EU-kommissionen minskar en synlig märkning av deepfakes och chattbottar risken för vilseledning som annars kan uppstå när deepfakes och annat AI-genererat innehåll sprids till allmänheten. En sådan märkning anses även minska risken för skadliga påverkande effekter på den enskildes åsikts- och övertygelsebildning samt beteende.
Det bör även noteras att tillhandahållaren av ett AI-system har en skyldighet att märka deepfakes och viss AI-genererad text. Samtidigt har leverantörer en skyldighet att säkerställa att AI-system som interagerar med människor, exempelvis chattbottar, informerar användare om att de interagerar med ett AI-system och inte med en människa.
När det gäller chattbottar anser EU-kommissionen emellertid att förbudet av AI-baserat manipulativt teknik har ett mer begränsat tillämpningsområde. Förbudet kan till exempel omfatta situationer där en chattbot presenterar falsk eller vilseledande information på ett sätt som syftar till eller leder till att enskilda personer vilseleds och deras beteende påverkas. EU-kommissionen resonerar på ett liknande sätt när det gäller deepfakes.
Enligt EU-kommissionens uppfattning kan förbudet mot vilseledande tekniker även omfatta AI-system som vilseleder individer utan att någon människa har haft för avsikt att åstadkomma detta. Ett sådant scenario kan bland annat uppstå när ett AI-system lär sig vilseledande tekniker för att förbättra sin prestanda, trots att leverantören inte har haft för avsikt att lära systemet sådana tekniker.
EU-kommissionen beskriver flera situationer där vilseledande tekniker kan uppstå. Ett exempel är en chattbot som med syntetisk röst imiterar en vän till en person och utger sig för att vara denna vän i syfte att vilseleda personen, vilket kan leda till betydande skada.
Ett annat exempel är AI-system som lär sig identifiera när de utvärderas och tillfälligt upphör med oönskat beteende under utvärderingen, för att därefter återuppta beteendet när kontrollen avslutas. Enligt EU-kommissionen är sådant beteende särskilt problematiskt eftersom det kan försvåra eller omöjliggöra extern mänsklig kontroll över systemet.
Praktiska konsekvenser
För organisationer som utvecklar eller använder AI-system innebär regleringen att särskild uppmärksamhet behöver riktas mot risken för att AI-system använder eller ger upphov till vilseledande tekniker. Detta aktualiserar bland annat frågor om hur AI-system kommunicerar med användare och hur information presenteras i interaktionen. I situationer där AI-system interagerar direkt med människor, exempelvis genom chattbottar, behöver organisationer även beakta transparenskraven i AI-förordningen, såsom skyldigheten att informera användare om att de interagerar med ett AI-system.
Vid användning av deepfakes och annat AI-genererat innehåll aktualiseras även kraven på märkning enligt AI-förordningen. En sådan märkning syftar till att minska risken för vilseledning när AI-genererat innehåll sprids eller används i interaktion med enskilda personer.
Regleringen innebär därmed att organisationer kan behöva beakta risken för vilseledande presentation av information i utveckling, testning och användning av AI-system samt säkerställa att relevanta transparenskrav i AI-förordningen uppfylls.
Relaterad expertis
TechLaw bistår verksamheter med juridisk rådgivning i frågor som rör artificiell intelligens och regulatorisk regelefterlevnad i teknikdrivna miljöer. Läs mer om vår expertis inom artificiell intelligens.
Har ni frågor om hur AI-förordningen påverkar er verksamhet är ni välkomna att kontakta oss.
Källa: Förordning (EU) 2024/1689; EU-kommissionen.