Människor som ansöker om ett lån från ett bank- eller kreditkortsföretag, och nedskrivs, är skyldiga att förklara varför det hände. Det är en bra idé - för att det kan hjälpa lärare att reparera sin skadade kredit - och det är en federal lag, den Lika kreditmöjlighetslag. Att få svar var inte mycket av ett problem i år tidigare, när människor fattade dessa beslut. Men i dag, eftersom artificiella intelligenssystem i allt högre grad hjälper eller ersätter människor som fattar kreditbeslut, blir förklaringarna mycket svårare.

Traditionellt kan en låneansvarig som avvisade en ansökan säga att en låntagare skulle ha problem med sin inkomstnivå eller sysselsättningshistoria, eller vad det än var. Men datoriserade system som använder komplexa maskininlärning Modeller är svåra att förklara, även för experter.

Konsumentkreditbeslut är bara ett sätt som detta problem uppstår. Liknande farhågor existera i hälsovård, marknadsföring på nätet och även straffrätten. Mitt eget intresse för detta område började när en forskningsgrupp jag var del av upptäckt könsfördel i hur onlineannonser riktades in, men kunde inte förklara varför det hände.

Alla dessa industrier och många andra som använder maskinlärning för att analysera processer och fatta beslut har lite över ett år för att bli mycket bättre för att förklara hur deras system fungerar. I maj 2018, den nya Europeiska unionens allmänna databeskrivningsförordning träder i kraft, inklusive en sektion som ger människor rätt att få en förklaring till automatiserade beslut som påverkar deras liv. Vilken form borde dessa förklaringar ta, och kan vi faktiskt förse dem?

Identifiera huvudorsaker

Ett sätt att beskriva varför ett automatiserat beslut kom ut som det gjorde är att identifiera de faktorer som var mest inflytelserika i beslutet. Hur mycket av ett kreditförnekandebeslut var att sökanden inte gjorde tillräckligt med pengar, eller för att han inte hade återbetalat lån tidigare?

Min forskningsgrupp vid Carnegie Mellon University, inklusive doktorand Shayak Sen och sedan postdoc Yair Zick, skapade ett sätt att mäta det relativa inflytandet av varje faktor. Vi kallar det för kvantitativ inverkan.

Förutom att ge bättre förståelse för ett enskilt beslut kan mätningen också lyfta på en grupp beslut: Har en algoritm förnekat kredit huvudsakligen på grund av ekonomiska problem, till exempel hur mycket en sökande redan är skyldig i andra skulder? Eller var sökandens postnummer viktigare, vilket tyder på att mer grundläggande demografi som tävling kan ha spelat in?

Fånga orsakssamband

När ett system fattar beslut baserat på flera faktorer är det viktigt att identifiera vilka faktorer som orsakar besluten och deras relativa bidrag.

Tänk dig exempelvis ett kreditbeslutssystem som tar bara två insatser, en sökandes skuldsättningsgrad och hennes lopp, och har visat sig godkänna lån endast för kaukasier. Att veta hur mycket varje faktor bidrog till beslutet kan hjälpa oss att förstå om det är ett legitimt system eller om det är diskriminerande.

En förklaring kan bara titta på ingångarna och resultatet och observera korrelationen - icke-kaukasier fick inte lån. Men denna förklaring är för förenklad. Antag att de icke-kaukasier som nekades lån också hade mycket lägre inkomster än de kaukasier vars ansökningar var framgångsrika. Då kan denna förklaring inte berätta för oss om sökandens ras eller skuldsättningsgrad orsakade förnekanden.

Vår metod kan ge denna information. Att förklara skillnaden innebär att vi kan reta om systemet är orättvist diskriminerande eller att titta på legitima kriterier, som sökandens ekonomi.

För att mäta rasens inflytande i ett specifikt kreditbeslut gör vi att ansökan återställs, samtidigt som skuldsättningsgraden ändras, men ändrar sökandens ras. Om förändring av tävlingen påverkar resultatet, vet vi att ras är en avgörande faktor. Om inte kan vi dra slutsatsen att algoritmen bara tittar på den finansiella informationen.

Förutom att identifiera faktorer som orsakar kan vi mäta deras relativa kausal påverkan på ett beslut. Vi gör det genom att slumpmässigt ändra faktorn (t ex rasen) och mäta hur sannolikt det är för resultatet att förändras. Ju högre sannolikheten är desto större påverkar faktorn.

Sammanlagda inflytande

Vår metod kan också innehålla flera faktorer som fungerar tillsammans. Överväg ett beslutssystem som ger krediter till sökande som uppfyller två av tre kriterier: kreditpoäng över 600, ägande av en bil och om sökanden helt har återbetalat ett bostadslån. Säg en sökande, Alice, med en kreditpoäng på 730 och ingen bil eller bostadslån, nekas kredit. Hon undrar om hennes bilägande status eller hemlönets återbetalningshistoria är huvudorsaken.

En analogi kan hjälpa till att förklara hur vi analyserar denna situation. Tänk på en domstol där beslut fattas av majoritetsröstningen i en panel med tre domare, var man är konservativ, en liberal och den tredje en swingröst, någon som kan gå med någon av hennes kollegor. I ett 2-1 konservativt beslut hade swingdommeren större inverkan på resultatet än den liberala domaren.

Faktorerna i vårt kreditexempel är som de tre domarna. Den första domaren röstar vanligtvis för lånet, eftersom många sökande har en tillräckligt hög kreditpoäng. Den andra domaren röstar nästan alltid mot lånet eftersom mycket få sökande någonsin har betalat hem. Så beslutet kommer ner till swing dommeren, som i Alice fall avvisar lånet eftersom hon inte äger en bil.

Vi kan göra denna resonemang exakt genom att använda kooperativ spelteori, ett system för att mer specifikt analysera hur olika faktorer bidrar till ett enda resultat. I synnerhet kombinerar vi våra mätningar av relativ kausal påverkan med Shapley-värde, vilket är ett sätt att beräkna hur man tilldelar inflytande till flera faktorer. Tillsammans bildar dessa våra mätvärden för kvantitativ inverkan.

Hittills har vi utvärderat våra metoder för beslutssystem som vi skapat genom att utbilda gemensamma maskininlärningsalgoritmer med riktiga datasatser. Utvärdering av algoritmer på jobbet i den verkliga världen är ett ämne för framtida arbete.

En öppen utmaning

Vår analysmetod och förklaring av hur algoritmer fattar beslut är mest användbara i inställningar där faktorerna lätt förstås av människor - såsom skuldsättningsgrad och andra finansiella kriterier.

Att förklara beslutsprocessen för mer komplexa algoritmer är emellertid en betydande utmaning. Ta till exempel ett bildigenkänningssystem, som de som detektera och spåra tumörer. Det är inte särskilt användbart att förklara en viss bilds utvärdering baserat på enskilda pixlar. Helst önskar vi en förklaring som ger ytterligare insikt i beslutet - som att identifiera specifika tumöregenskaper i bilden. Att utforma förklaringar för sådana automatiska beslutsuppgifter är faktiskt att hålla många forskare upptagen.

Om författaren

Anupam Datta, docent i datavetenskap och el- och datateknik, Carnegie Mellon University

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

relaterade böcker

at InnerSelf Market och Amazon