Amazon började nyligen erbjuda leverans på samma dag i utvalda storstadsområden. Det kan vara bra för många kunder, men utbyggnaden visar hur datoriserat beslutsfattande också kan ge en stark diskriminering.

Förmodligen började företaget sin tjänst i områden där leveranskostnaderna skulle vara lägsta genom att identifiera postnummer på tätbefolkade platser hem till många befintliga Amazon-kunder med inkomstnivåer tillräckligt höga för att göra frekventa inköp av produkter tillgängliga för leverans på samma dag. Företaget tillhandahöll en webbsida som låter kunderna ange sin postnummer för att se om leverans på samma dag tjänstgjorde dem. Undersökande journalister på Bloomberg News använde den sidan till skapa kartor över Amazonas serviceområde för leverans på samma dag.

Bloomberganalysen visade att många fattiga stadsområden uteslutits från serviceområdet, medan mer välgrundade grannområden inkluderades. Många av dessa uteslutna fattiga områden var övervägande bebodda av minoriteter. Till exempel var hela Boston täckt förutom Roxbury; New York City täckning omfattade nästan alla fyra byar men helt uteslutet Bronx; Chicago täckning lämnade den fattiga South Side, samtidigt som den sträckte sig väsentligt till välbärgade norra och västra förorter.

Även om det är frestande att tro att datastyrda beslut är objektiva, forskning och vetenskaplig diskussion börjar visa det orättvisa och diskriminering kvarstår. I min online kurs på datateknik, lär eleverna det algoritmer kan diskriminera. Men det kan vara lite av ett silverfoder: Som Bloomberg-undersökningen tyder på kan det också vara lättare att upptäcka när biaser uppstår när man baserar beslut på data.

Bias kan vara oavsiktlig

Otillbörlighet i Amazonas leveranspolitik kan uppstå av många skäl, inklusive gömda fördomar - som antaganden att befolkningen fördelas jämnt. Algoritmkonstruktörer troligen inte avser att diskriminera, och kanske inte ens inser att ett problem har kröp in.

Amazon berättade för Bloomberg att det inte hade någon diskriminerande avsikt, och det finns all anledning att tro på det påståendet. Som svar på Bloomberg-rapporten, stad tjänstemän och andra politiker uppmanade Amazon att åtgärda detta problem. Företaget flyttade snabbt för att lägga till Ursprungligen uteslutna dåliga stadsnummer till sitt serviceområde.

En liknande fråga har varit frågade Uber, som tycks ge bättre service till områden bebodda av högre proportioner vita människor. Det är troligt att det kommer att finnas mer detaljhandel och serviceindustri exempel på oavsiktlig algoritmisk diskriminering upptäckt i framtiden.

Fråga för mycket av algoritmerna?

Vi bör stanna ett ögonblick för att överväga om vi orimligt krävde algoritmiska beslut. Företag som driver tegelstenar gör platsbeslut hela tiden, med hänsyn till kriterier som inte skiljer sig från Amazonas. Butiker försöker få platser som är lämpliga för en stor pool av potentiella kunder med pengar att spendera.

Till följd av detta väljer få butiker att lokalisera i fattiga innerstadsområden. Särskilt i samband med livsmedelsbutiker har detta fenomen studerats i stor utsträckning och termen "mat öken"Har använts för att beskriva stadsområden vars invånare inte har tillgång till färsk mat. Detta platsförspänning är mindre studerad för detaljhandeln överlag.

Som ett vägledande exempel såg jag på 55 Michigan-platserna i Target, en stor omfattande detaljhandelskedja. När jag sorterade varje postnummer i Michigan baserat på huruvida den genomsnittliga inkomsten var i topphalvdelen eller i bottenhalvdelen, fann jag att endast 16 i Target-butikerna (29-procent) var i postnummer från låginkomstgruppen. Mer än dubbelt så många, 39-butiker, var placerade i postnummer från den mer välbärgade hälften.

Identifiera diskriminering

Dessutom finns det inga målbutiker i Detroit, även om det finns flera i dess (rikare) förorter. Ändå har det inte förekommit något populärt brott mot att Target orättvist diskriminerar fattiga människor i sina affärsbeslut. Det finns två huvudsakliga anledningar att bekymmerna om Amazon är berättigade: styvhet och dominans.

Stabilitet har att göra med både online-återförsäljarens beslutsprocesser och resultatet. Amazon bestämmer vilka postnummer som finns i sitt serviceområde. Om en kund bor tvärs över gatan från gränsen från Amazon, ligger hon utanför serviceområdet och kan göra lite om det. Däremot kan någon som bor i en postnummer utan målbutik fortfarande handla på Target - men det kan ta längre tid att komma dit.

Det spelar också roll hur dominerande en återförsäljare är i konsumenternas sinnen. Target är bara en av många fysiska butikskedjor, som Amazon har marknadsdominans som webbutiker, och lockar därmed mer uppmärksamhet. Sådan dominans är en kännetecken för dagens vinnaren tar allt webbföretag.

Medan deras styvhet och dominans kan ge oss större oro för online-företag, kan vi också bättre upptäcka deras diskriminering än vad vi gör för murbruk. För en traditionell kedjebutik behöver vi gissa hur långt konsumenterna är villiga att resa. Vi kan också behöva vara medvetna om tid: Fem miles till nästa motorvägsavfart är inte samma sak som fem miles via överbelastade gator till andra sidan av staden. Vidare kan realtiden variera mycket beroende på tid på dagen. Efter att ha identifierat de sannolika områdena som en butik serverar, får de inte kartlägga snyggt i geografiska enheter för vilka vi har statistik om ras eller inkomst. Kort sagt är analysen rörig och kräver mycket ansträngning.

Däremot skulle det ha tagit journalister på Bloomberg bara några timmar att utveckla en karta över Amazons serviceområde och korrelera det med inkomst eller ras. Om Amazon hade gjort det här internt kunde de ha utfört samma analys på bara några minuter - och kanske märkte problemen och fixade dem innan samma service började ens började.

Hur jämför människor människor?

Låt oss titta på ett helt annat exempel för att se hur samma punkter gäller i stor utsträckning. Nyligen publicerade ProPublica en utmärkt analys av rasdiskriminering av en algoritm som förutsäger en brottslars risk för att förolämpa igen. Algoritmen betraktar dussintals faktorer och beräknar en sannolikhetsberäkning. ProPublicas analys fann betydande systematisk rasförspänning, även om ras inte var bland de specifika faktorer som beaktades.

Utan algoritmen skulle en mänsklig domare göra en liknande uppskattning, som en del av ett dömande eller parolebeslut. Det mänskliga beslutet kan överväga en rikare uppsättning faktorer, såsom brottslingens rättssalen. Men vi vet, från studier i psykologi, Att mänskligt beslutsfattande är fylld med förspänning, även när vi försöker vårt bästa att vara rättvist.

Men eventuella fel som härrör från fördomar i domarnas beslut kommer sannolikt att vara olika bland domare, och även för olika beslut som fattas av samma domare. Sammantaget kan det finnas rasdiskriminering på grund av undermedvetna fördomar, men det är svårt att fastställa detta. En studie från USA: s rättsavdelning fann starka bevis på skillnader i dömande vita och svarta fängelser, men kunde inte klart avgöra om ras själv var en faktor i dessa beslut.

I motsats till detta används exakt samma algoritm ProPublica som används i tusentals fall i många stater. Dess styvhet, och den stora volymen, underlättar jobbet för att bestämma om det diskriminerar - och kan erbjuda sätt att effektivt åtgärda problemet.

Användningen av informationsteknik verkar göra linjer ljusare, skillnader starkare och data om allt detta mycket lättare tillgängliga. Vad som borstas under ryggsäcken igår klamrar nu uppmärksamhet. Eftersom vi hittar fler och fler användningsområden för datadrivna algoritmer är det ännu inte vanligt att analysera sin rättvisa, särskilt före utrullningen av en ny databaserad tjänst. Att göra det så kommer att gå långt för att mäta och förbättra rättvisan hos dessa allt viktigare datoriserade beräkningar.

Om författaren

HV Jagadish, Bernard A Galleriehögskolelärare, professor i elektroteknik och datavetenskap, University of Michigan

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

relaterade böcker

at InnerSelf Market och Amazon