AI-system används i allt större utsträckning av offentliga och privata aktörer. Samtidigt kan felaktig användning av AI-system leda till negativa konsekvenser för enskilda. AI-förordningen innehåller regler som syftar till att minimera felaktig användning av AI-system. I denna artikel förklaras begreppet rimlig förutsebar felaktig användning av AI-system enligt AI-förordningen. Artikeln går även igenom exempel på regler i AI-förordningen som använder begreppet.
Enligt artikel 3.13 AI-förordningen avses med rimligen förutsebar felaktig användning en användning av ett AI-system på ett sätt som inte överensstämmer med dess avsedda ändamål, men som kan vara resultatet av rimligen förutsebart mänskligt beteende eller interaktion med andra system, inbegripet andra AI-system.
Begreppet avsett ändamål definieras i artikel 3.12 AI-förordningen. Enligt denna bestämmelse avses med avsett ändamål den användning för vilken ett AI-system är avsett av leverantören, inbegripet det specifika användningssammanhanget och de specifika användningsvillkoren, enligt specifikationerna i de uppgifter som tillhandahålls av leverantören i bruksanvisningen, reklam- eller försäljningsmaterial och uttalanden samt i den tekniska dokumentationen.
Begreppet förutsebar felaktig användning används i ett flertal bestämmelser i AI-förordningen, däribland i artikel 9 AI-förordningen som reglerar riskhanteringssystem. Enligt denna bestämmelse ska ett riskhanteringssystem inrättas, genomföras, dokumenteras och underhållas för AI-system med hög risk. Riskhanteringssystemet ska förstås som en kontinuerlig iterativ process och ska bland annat innehålla en uppskattning och utvärdering av de risker som kan uppstå när AI-systemet med hög risk används i enlighet med dess avsedda ändamål och under förhållanden där det kan förekomma rimligen förutsebar felaktig användning.
Resultaten av detta arbete existerar inte i ett tomrum utan ska bland annat användas för att ta fram en bruksanvisning till AI-systemets användare (som kallas för spridare i den senaste översättningen av AI-förordningen). Enligt artikel 13 AI-förordningen ska AI-system med hög risk åtföljas av en bruksanvisning i ett lämpligt digitalt eller annat format som inbegriper kortfattad, fullständig, korrekt och tydlig information som är relevant, tillgänglig och begriplig för användaren.
Bruksanvisningen ska bland annat innehålla information om varje känd eller förutsebar omständighet, som har samband med användningen av AI-systemet med hög risk i enlighet med dess avsedda ändamål eller under förhållanden där det kan förekomma rimligen förutsebar felaktig användning, som kan leda till risker för hälsa och säkerhet eller grundläggande rättigheter.
Av artikel 26 AI-förordningen framgår att användare av AI-system med hög risk ska vidta lämpliga tekniska och organisatoriska åtgärder för att säkerställa att de använder sådana system i enlighet med de bruksanvisningar som åtföljer systemen.
Användare måste säkerställa att deras personal har tillräckliga AI-kunskaper för att kunna följa bruksanvisningen. Detta framgår av artikel 4 AI-förordningen som kräver att användare vidtar åtgärder för att i största möjliga mån säkerställa att deras personal och andra personer som för deras räkning arbetar med drift och användning av AI-system har tillräckliga AI-kunskaper. Detta ska bland annat göras med beaktande av det sammanhang i vilket AI-systemen ska användas.