Ett problem med komplexa neuronnät, en metod som används inom artificiell intelligens (“AI”), är att det i många fall inte går att härleda, på ett för en människa begripligt sätt, hur informationen som sparas i samband med att neuronnätet lär sig att genomföra en specifik uppgift påverkar de specifika resultaten som neuronnätet producerar. Bakgrunden till detta problem är att informationen sparas i form av en kombination av miljontals parametrar vilket gör det svårt för en människa att med dagens matematik överblicka hur en enskild parameter påverkar slutresultatet.
Neuronnät som uppvisar denna problematik kallas också för svarta lådor. Problemet att det inte går att förklara alla detaljer i funktionssättet för en algoritm är dock inte begränsat till neuronnät utan finns även inom andra områden inom maskinlärning. Allmänt gäller att möjligheten att förklara hur en metod för maskinlärning fungerar minskar med dennes komplexitet. Att hitta nya metoder för att förklara hur djupa neuronnät och svarta lådor fungerar har blivit ett eget forskningsområde inom AI. En gren i detta område försöker att förklara djupa neuronnät med hjälp av neuronnät.
Användning av algoritmer för maskinlärning som utgör svarta lådor kan leda till felaktiga resultat eftersom det är svårt att förstå vad algoritmen faktiskt lär sig. Forskare trodde till exempel att de haft framgång med att lära en algoritm att skilja mellan bilder av hundar och bilder av vargar men upptäckte att algoritmen istället lärt sig skilja mellan bilder med och utan snö. Bakgrunden till resultatet var att det funnits snö på bilderna med vargar som användes för att träna algoritmen.
Trots att det inte går att förklara maskinlärningsalgoritmer som är svarta lådor används dessa inom ett flertal områden som till exempel för automatiserade kreditprövningar, automatiserad analys av röntgenplåtar och automatiserade bedömningar inom rättsväsendet. Eftersom det inte går att förklara hur en svart låda tar fram sina resultat kan processen inte ifrågasättas. Denna bristande transparens kan ha allvarliga konsekvenser för enskilda. Det har exempelvis rapporterats fall där villkorlig frigivning nekats med stöd av beslut som tagits baserat på utfallet av en svart låda-algoritm trots att förutsättningarna var uppfyllda.