Search
Close this search box.

Världen: Studie visar att generativ AI producerar utbredda och alarmerande juridiska fel

En ny studie avslöjar utbredda och alarmerande fel bland AI-modeller som används i stor utsträckning när de löser juridiska uppgifter.

Flera advokatbyråer marknadsför sin användning av stora språkmodeller (LLM:s) som OpenAI:s ChatGPT för uppgifter som att ta fram juridiska dokument eller skriva sammanfattningar av rättsfall. LLM:s tendens att presentera falsk eller vilseledande information som fakta, som även kallas för hallucinationer, kan dock kräva ett försiktigt tillvägagångssätt.

I en ny studie från Stanford RegLab och Institute for Human-Centered AI visar forskare att juridiska hallucinationer som produceras av populära generativa AI-verktyg baserade på LLM är utbredda och alarmerande. Enligt studien varierar hallucinationsgraden från 69 procent till 88 procent som svar på specifika juridiska frågor för toppmoderna LLM:s.

Studien pekar också på att LLM saknar självmedvetenhet om sina fel och tenderar att förstärka felaktiga juridiska antaganden och övertygelser. Studiens resultat väcker frågor om LLM:s tillförlitlighet i juridiska sammanhang och understryker vikten av en noggrann och övervakad integrering av dessa AI-tekniker i juridisk praxis.

Hallucinationer och bias

Hallucinationsfrekvensen i studien var alarmerande hög för ett brett spektrum av verifierbara juridiska fakta, men varierade längs viktiga dimensioner. I studien ombads LLM att utföra olika uppgifter, till exempel att svara på enkla frågor som vem som skrivit ett yttrande eller komplexa frågor som huruvida två rättsfall påverkar varandra. Studien ställde över 200 000 förfrågningar mot de var och en av de populära AI-modellerna GPT 3.5, Llama 2 och PaLM 2. Forskarna fann att prestandan försämrades för mer komplexa uppgifter som krävde en nyanserad förståelse av juridiska frågor eller tolkning av juridiska texter. Dessa resultat tyder på att LLM:s inte är kapabla till samma nivå av juridiska resonemang.

Forskarna fann också att LLM:s kämpar med lokal juridisk kunskap och att de presterar bättre med mer framträdande rättsfall i högre domstolar, möjligen på grund av skillnader i hur ofta vissa fall citeras och diskuteras och därmed representeras oftare i LLM:s träningsdata. Dessutom fann forskarna att LLM:s topprestationer kan ligga flera år efter aktuell juridisk doktrin. Samtidigt kan LLM:s misslyckas med att lära sig gammal rättspraxis.

Forskarna avslöjade också ett annat kritiskt fel hos LLM:s som de kallade för “contra-factual bias”, tendensen att anta att en presumption i en fråga är sann, även om den är felaktig. Detta beteende kan möjligen bero på hur LLM:s tränas. Dessutom fann forskarna att alla testade LLM:s var överdrivet självsäkra, oavsett om deras svar var korrekta eller inte.

Allvarliga konsekvenser

Konsekvenserna av dessa resultat är allvarliga och utgör en motvikt till medierapporter om att LLM:s “demokratiserar” och “revolutionerar” rättssystem och advokatbyråer. Studiens resultat tyder på att LLM:s kapacitet i själva verket är mycket begränsad när det gäller att utföra juridiska uppgifter. Enligt författarna till studien skulle ett brett införande av LLM i rättssystemet

Mer information

Källa: Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive (stanford.edu)

Relaterade nyheter

Områden

I fokus

Länder

Taggar

Populära kurser

Expertis

Gå kurs med oss

07 MAR

AI – Introduktion till artificiell intelligens

Kursen ger dig de rättsliga förutsättningarna för utveckling, upphandling och användning av AI.

14 MAR

Cybersäkerhet - Introduktion till NIS2-direktviet

En genomgång av de viktigaste reglerna i NIS2-direktivet och kompletterande svensk lagstiftning.

21 MAR

AI - Introduktion till AI-förordningen

En genomgång av de viktigaste reglerna i den nya AI-förordningen och hur du kan använda AI-system på ett lagenligt sätt.