Allt fler verksamheter använder AI-chattbottar som ChatGPT och Copilot för att utföra avancerade uppgifter som att ta fram juridiska bedömningar eller sammanfatta patientjournaler. Samtidigt producerar dessa chattbottar regelbundet text som inte överensstämmer med verkligheten, så kallade hallucinationer. I denna artikel förklarar vi vad hallucinationer är och varför de är problematiska.
AI-chattbottar baseras på en teknologi som kallas för stora språkmodeller (large language models, LLM). I denna artikel fokuserar vi på LLM:s hallucinationer (men de förekommer även i andra AI-teknologier, till exempel i bildgeneratorer). I dagsläget finns det ingen allmänt accepterad definition av begreppet LLM-hallucinationer. Forskningen visar emellertid att LLM:s måste hallucinera för att kunna fungera, åtminstone en del av tiden.
Det finns olika sätt på vilka en LLM kan generera hallucinerad information. För det första kan en LLM hallucinera genom att producera ett svar som inte stämmer överens med frågan eller står i konflikt med den. Sådana hallucinationer är problematiska när uppgiften kräver att modellen svarar på en lång fråga med en hög grad av noggrannhet. Ett exempel på detta är att be modellen att översätta eller sammanfatta en lång text som ett rättsfall eller ett myndighetsbeslut. Ett annat exempel är att be modellen att ta fram en rättslig bedömning eller extrahera viktiga punkter från dokument som lämnats in till en myndighet.
För det andra kan LLM:s hallucinera genom att producera ett svar som inte är förenligt med eller härrör från data den har tränats med. Denna typ av hallucination är särskilt problematisk. Förväntningen är att resultaten som produceras av en LLM kan härledas från innehållet i träningsdata (huruvida innehållet är korrekt är en annan fråga). Men denna typ av hallucination kan uppstå trots att en LLM endast tränats med objektivt sett korrekt innehåll. För verksamheter som vill använda LLM:s för avancerade uppgifter innebär denna typ av hallucination således en särskild utmaning. En myndighet kan exempelvis träna en LLM med interna dokument för att säkerställa att den producerar korrekta svar. Trots detta kan myndigheten inte utesluta att denna LLM uppvisar denna typ av hallucination.
För det tredje kan en LLM hallucinera genom att producera ett svar som inte stämmer överens med fakta om världen, oavsett hur den tränas eller hur frågan ställs. Denna typ av hallucination är särskilt problematisk i alla sammanhang i vilka noggrannhet är avgörande, till exempel vid framtagning av en juridisk bedömning av en advokat eller ett beslut av en myndighet.
Att LLM:s hallucinerar innebär inte per automatik att de eller AI-chattbottarna som de driver inte bör användas. I vissa sammanhang kan hallucinationer och kreativitet de skapar vara värdefulla, till exempel när en marknadsavdelning eller kommunikationsavdelning vill ta fram en kreativ text för ett utskick. Däremot är denna typ av kreativitet inte önskvärd när en domare tar fram en dom i ett brottmål, en myndighet fattar ett beslut om stöd eller en läkare gör en medicinsk bedömning. I dessa fall kan hallucinationer leda till allvarliga konsekvenser för enskilda.
Som med all användning av AI-verktyg, kräver användning av AI-chattbottar att användaren bedömer i vilken utsträckning hallucinationer är önskade, både i ett större sammanhang och i varje enskilt fall. Detta förutsätter givetvis att användaren granskar AI-chattbottens svar för att upptäcka hallucinationerna. Ett liknande resonemang gäller för utvecklare av AI-chattbottar och underliggande LLM:s.
TechLaw tillhandahåller ledande juridisk rådgivning inom artificiell intelligens till privata företag och offentliga verksamheter. Vi bistår med klassning av AI-system, riskbedömningar, konsekvensbedömningar, åtgärder för regelefterlevnad och tillsynsärenden. Kontakta oss gärna för vidare rådgivning.