En korrekt hantering av bias spelar en avgörande roll för att säkerställa att ett AI-system fungerar säkert och på avsett sätt och inte blir en källa till diskriminering. Detta gäller särskilt för sådana AI-system som baseras på AI-modeller som tränats med data, men även andra typer av AI-system är inte immuna mot riskerna som orsakas av bias.
AI-förordningen erkänner riskerna som härrör från AI-systems bias och innehåller ett flertal bestämmelser som uttryckligen nämner begreppet bias. Samtidigt saknar AI-förordningen en definition av begreppet bias. En vedertagen definition av begreppet görs i facklitteratur för systemvetenskap. Enligt denna definition avser begreppet bias ett beteende i datorsystem som innebär att systemen systematiskt och orättvist diskriminerar vissa individer eller grupper av individer till förmån för andra. Ett system är orättvist diskriminerande om det förvägrar en möjlighet eller en vara, eller om det tilldelar en individ eller en grupp av individer ett oönskat resultat på grunder som är orimliga eller olämpliga (Friedman & Nissenbaum).
Den typ av bias som avses i definition kallas även för algoritmisk bias (algorithmic bias) eller datorbaserad bias (computer bias). Ett svenskt ord som har en liknande innebörd som begreppet bias enligt ovanstående definitionen är ordet partiskhet. Att ett AI-system är partiskt betyder att det otillbörligt gynnar eller stöder en part på en annan, konkurrerande, parts bekostnad.
Bias i AI-system kan orsakas av flera olika faktorer, däribland insamling av data, design av algoritmer och hur människor tolkar resultaten som produceras av AI-system. En AI-modell (AI-systemets hjärna) kan lära sig de mönster av bias som finns i de data som används för att träna dem. När samma AI-modell använder dessa inlärda mönster för att producera sina resultat kan detta leda till orättvisa eller diskriminerande följder för enskilda (Ferrera).
Tillbaka till AI-förordningens erkännande av risker som härrör från AI-systems bias. I förarbetena till lagtexten kopplas dessa risker till en rad faktorer, däribland dataset som används för träning, validering och testning av AI-modeller. Enligt förarbetena bör dataseten vara utformade på ett sätt som begränsar eventuella biaser i dataseten som sannolikt påverkar människors hälsa och säkerhet. Detsamma gäller för biaser som inverkar negativt på grundläggande rättigheter eller leder till diskriminering som är förbjuden enligt unionsrätten. Biaser kan exempelvis vara inneboende i underliggande dataset, särskilt när historiska data används eller genereras när systemen tillämpas i verkliga sammanhang. De resultat som AI-system ger kan påverkas av sådana inneboende biaser som tenderar att gradvis öka och därigenom vidmakthålla och förstärka befintlig diskriminering, särskilt för personer som tillhör vissa sårbara grupper, inbegripet rasgrupper eller etniska grupper (se skäl 67 AI-förordningen).
Av AI-förordningens förarbeten framgår vidare att teknisk robusthet är ett nyckelkrav för att begränsa bias i AI-system med hög risk. I förarbetena konstateras bland annat att AI-system med hög risk bör vara resilienta mot skadligt eller på annat sätt oönskat beteende som kan bero på begränsningar inom de system eller den miljö där systemen fungerar. Därför bör tekniska och organisatoriska åtgärder vidtas för att säkerställa robustheten i AI-system med hög risk, till exempel genom att utforma och utveckla lämpliga tekniska lösningar för att förebygga eller minimera skadligt eller på annat sätt oönskat beteende. Dessa tekniska lösningar kan till exempel omfatta mekanismer som gör det möjligt för systemet att på ett säkert sätt avbryta sin drift (felsäkra planer) vid vissa avvikelser eller när driften sker utanför vissa på förhand fastställda gränser. Bristande skydd mot dessa risker kan inverka negativt på grundläggande rättigheter, exempelvis på grund av felaktiga beslut eller felaktigheter eller bias i den utdata som genereras av AI-systemet (se skäl 75 AI-förordningen).
AI-förordningen innehåller ett flertal bestämmelser som uttryckligen nämner begreppet bias. Ett exempel på en sådan bestämmelse är artikel 10 AI-förordningen som reglerar data och dataförvaltning. Enligt artikelns andra punkt ska tränings-, validerings- och testdataset omfattas av metoder för dataförvaltning och datahantering som är lämpliga för det avsedda ändamålet med AI-systemet med hög risk. Enligt punktens led (f) ska dessa metoder särskilt avse undersökning med avseende på eventuella biaser som sannolikt kommer att påverka människors hälsa och säkerhet, inverka negativt på grundläggande rättigheter eller leda till diskriminering som är förbjuden enligt unionsrätten, särskilt när utdata påverkar indata för framtida drift. Enligt led (g) i samma punkt ska metoderna även avse lämpliga åtgärder för att upptäcka, förebygga och begränsa eventuella biaser som identifierats enligt led (f).
Ett annat exempel på en bestämmelse som uttryckligen nämner begreppet bias är AI-förordningens artikel 14 som reglerar mänsklig kontroll. Enligt artikelns fjärde punkt ska ett AI-system med hög risk tillhandahållas på ett sådant sätt sätt att fysiska personer som fått i uppdrag att utöva mänsklig kontroll ges möjlighet att förbli medvetna om den möjliga tendensen att automatiskt eller i alltför hög grad lita på de utdata som produceras av ett AI-system med hög risk (automation bias), särskilt när det gäller AI-system med hög risk som används för att tillhandahålla information eller rekommendationer för beslut som ska fattas av fysiska personer.
Ett sista exempel på en bestämmelse som uttryckligen nämner bias är artikel 15 AI-förordningen som reglerar riktighet, robusthet och cybersäkerhet. Enligt artikelns fjärde punkt ska AI-system med hög risk som fortsätter att lära sig efter det att de har släppts ut på marknaden eller tagits i bruk, utvecklas på ett sådant sätt så att risken för att eventuella biaser i utdata påverkar indata för framtida drift (återföring) elimineras eller minskas så mycket som möjligt, och så att det säkerställs att sådan återföring hanteras på vederbörligt sätt med lämpliga kompenserande åtgärder.
Ovanstående analys förtydligar att en korrekt förståelse av AI-systems algoritmiska bias är avgörande för att säkerställa efterlevnaden av reglerna i AI-förordningen. Privata och offentliga verksamheter som utvecklar, distribuerar eller använder AI-system gör klokt i att implementera en ändamålsenlig hantering av bias i sina riskhanteringssystem.