En ung självmordsbenägen kvinna som vårdades på en psykiatrisk vårdmottagning i den engelska staden Essex dog efter att hon hittades medvetslös i sitt rum. Hennes dödsfall har lett till en utredning kring personalens användning av det AI-baserade systemet Oxevision för så kallad patientmonitorering som användes för att övervaka henne.
Oxevision är ett AI-system som används bland annat för att övervaka patienter inom psykiatrivården i realtid genom att kontinuerligt registrera deras rörelser, puls och andning med hjälp av infraröd strålning. En utredning av den unga kvinnans dödsfall har visat att sjukvårdspersonalen inte tittade till kvinnan personligen trots att AI-systemet larmat om att hon varit i badrummet i över tre minuter. Istället nollställde sjukvårdspersonalen larmet, vilket bröt mot reglerna.
I utredningen noterades att ”vissa anställda kan ha använt Oxevision inte bara som en komplettering till personliga observationer utan istället för dem”. Utredningen kom till slutsatsen att dödsorsaken var ”death by misadventure”, ett begrepp som avser en olycka som inträffat till följd av en frivilligt tagen risk. Underlåtenhet ansågs vara en bidragande faktor.
I samband med ett annat dödsfall som inträffade på en annan engelsk psykiatrisk vårdmottagning som använde samma AI-system noterade utredningen att sjukvårdspersonalen inte utbildats tillräckligt om AI-systemets användning.
Förespråkare av tekniken anser att den kan leda till ökad patientsäkerhet. Detta kräver emellertid att den används på ett korrekt sätt. En oberoende utredning visar att det sammanlagt funnits fyra dödsfall där Oxevision varit involverad.
AI-systemet används av nästan hälften av alla psykiatrisk vårdmottagningar i England. Dödsfallen har lett till frågor om systemets säkerhet. I samband med detta har det även lyfts farhågor om risker för patienters personliga integritet och välmående som kan uppstå som följd av den omfattande övervakningen.
I EU regleras utveckling och användning av denna typ av AI-system i AI-förordningen och annan sektorspecifik lagstiftning. AI-förordningen ställer långtgående krav på AI-kunnighet och särskilda kunskaps- och kompetenskrav på personal som använder AI-system med hög risk.