Auditor General of Ontario har granskat flera AI-verktyg för transkribering och anteckning av patientsamtal och konstaterat betydande brister som kan äventyra patientsäkerheten.
Bakgrund
Granskningen genomfördes av Auditor General of Ontario, motsvarigheten till riksrevisionen i den kanadensiska provinsen Ontario. Revisorn granskade AI-verktygen för att utvärdera deras förmåga att spela in och transkribera samtal mellan patienter och sjukvårdspersonal samt att generera journalanteckningar från transkriptionerna. Ett av fokusområdena i granskningen var huruvida verktygen kunde genomföra dessa uppgifter med en lämplig nivå av riktighet.
Myndighetens bedömning
Granskningen visade på betydande brister. Nästan hälften av AI-verktygen (45 procent) fabricerade information och föreslog åtgärder som inte hade diskuterats under samtalen, så kallade hallucinationer. Över hälften av AI-verktygen (60 procent) inkluderade läkemedel som inte hade skrivits ut av läkaren i de AI-genererade journalanteckningarna. Vidare missade de flesta AI-verktyg (85 procent) viktiga detaljer om patienters hälsa i journalanteckningarna. Samtidigt saknades en funktion för obligatorisk mänsklig granskning av de AI-genererade journalanteckningarna. Revisorn konstaterade att felaktiga journalanteckningar framtagna av AI-verktygen kan äventyra patientsäkerheten.
Praktiska konsekvenser
Revisorns granskning understryker vikten av att säkerställa att AI-system som används inom sjukvården producerar utdata med en lämplig nivå av riktighet. Detta gäller även för AI-tillämpningar i andra sektorer som omfattas av höga krav på riktighet, såsom myndigheter och finansiella företag.
Riktighet är ett centralt krav i GDPR, AI-förordningen och andra branschspecifika regelverk, samtidigt som leveransen av korrekta prestationer är ett grundkrav i de flesta avtal. Organisationer som upphandlar AI-system bör säkerställa att systemens utdata har en lämplig nivå av riktighet. Avtalen bör reglera ansvaret för fel och skador till följd av bristande riktighet i AI-systemens utdata.
Frågan är inte begränsad till Kanada – AI-verktyg för transkribering och anteckning av patientsamtal används även inom svensk sjukvård. Integritetsskyddsmyndigheten (IMY) har nyligen inlett en granskning av en regions användning av AI-baserad transkribering i primärvården.
Kontakta oss
TechLaw bistår verksamheter i frågor som rör artificiell intelligens, AI-förordningen och regelefterlevnad vid utveckling, användning och upphandling av AI-system. Läs mer om vår expertis inom artificiell intelligens (AI).
Har ni frågor är ni välkomna att kontakta Sebastian Berg, partner, jurist och beräkningsfysiker specialiserad inom IT-rätt och AI i teknikintensiva verksamheter.
Källa: Auditor General of Ontario.