Koko, en kostnadsfri tjänst för psykisk ohälsa, experimenterade med att använda en AI-chattbot för att svara personer som sökte stöd, utan att tydligt informera om detta eller hämta in ett samtycke. Experter har kritiserat experimentet som oetiskt och otillräckligt transparent.
Koko är en plattform för psykisk ohälsa som kopplar ihop tonåringar och vuxna som behöver hjälp med psykisk ohälsa med volontärer via chatt-appar som Telegram och Discord. Under experimentet, som enligt Koko omfattade ungefär 4 000 användare, kunde volontärerna välja att använda svar som genererades automatiskt av ett AI-system (OpenAI:s GPT-3-modell som även ligger till grund för den omdiskuterade AI-chattboten ChatGPT). Användarna informerades inte tydligt om att svaren tagits fram av en AI-chattbot. Därutöver hämtades det inte in något samtycke från användarna, vilket kan strida mot amerikansk reglering på området forskning som avser människor.
Enligt Koko gav användarna de svar som tagits fram av AI-chattboten högre betyg än de som skrivits av volontärerna på egen hand. Detta ändrades dock när användarna fick veta att svaren var skrivna av en AI. Efter omfattande kritik från bland annat användarna och forskare beslutade Koko att stänga av AI-chattbotten.
Enligt Sebastian Berg, AI-expert på TechLaw, visar reaktionerna på Kokos experiment vikten av regelefterlevnad och transparens när företag och andra organisationer använder AI. Bara för att det är tekniskt möjligt att använda AI i en specifik situation innebär detta inte per automatik att en sådan användning uppfyller tillämpliga lagkrav. Detta gäller oavsett om användningen leder till effektivitetsvinster. Samtidigt är det svårt att avgränsa exakt vilka typer av användningar som är tillåtna och inte eftersom det saknas rättspraxis på området.