Ansiktsigenkänningsalgoritmer testas vanligtvis med vita ansikten, vilket resulterar i att tekniken inte kan skilja mellan rasiserade individer. (Shutterstock)
Detroit-polisen arresterade felaktigt Robert Julian-Borchak Williams i januari 2020 för en butikslyft som inträffade två år tidigare. Även om Williams inte hade något att göra med incidenten, "ansiktsigenkänningsteknologi som används av Michigan State Police" matchade "hans ansikte med en kornig bild erhållen från en övervakningsvideo i butiken som visar en annan afroamerikansk man som tog klockor med ett värde av 3,800 XNUMX dollar.
Två veckor senare avfärdades ärendet på åklagarens begäran. Men förlita sig på den felaktiga matchen hade polisen redan handbojor och arresterat Williams framför sin familj, tvingat honom att tillhandahålla ett muggskott, fingeravtryck och ett prov av hans DNA, förhörde honom och fängslade honom över natten.
Experter föreslår att Williams inte är ensam och att andra har utsatts för liknande orättvisor. Den pågående kontroversen om polisanvändning av Clearview AI understryker säkerligen de integritetsrisker som ansiktsigenkänningstekniken innebär. Men det är viktigt att inse det inte alla av oss bär dessa risker lika.
Träning rasistiska algoritmer
Ansiktsigenkänningsteknik som är tränad på och inställd på kaukasiska ansikten systematiskt felidentifierar och felmärker rasiserade individer: många studier rapporterar att ansiktsigenkänningsteknologi är ”bristfällig och partisk, med betydligt högre felfrekvenser när de används mot färger. "
Denna underminerar rasismens individualitet och mänsklighet som är mer benägna att bli felidentifierade som kriminella. Tekniken - och identifieringsfelen den gör - återspeglar och förankrar ytterligare långvariga sociala uppdelningar som är djupt intrasslade med rasism, sexism, homofobi, bosättare-kolonialism och andra korsande förtryck.
{vembed Y=vSuDE6wvQlU}
En France24-utredning om rasfördomar inom ansiktsigenkänningsteknik.
Hur teknik kategoriserar användare
I sin spelförändrande bok från 1993, Panoptic Sort, varnade forskaren Oscar Gandy att "komplex teknik [som] involverar insamling, bearbetning och delning av information om individer och grupper som genereras genom deras dagliga liv ... används för att samordna och kontrollera deras tillgång till de varor och tjänster som definierar livet i den moderna kapitalistiska ekonomin. ” Brottsbekämpning använder det för att plocka misstänkta från allmänheten, och privata organisationer använder det för att avgöra om vi har tillgång till saker som bank och sysselsättning.
Gandy varnade profetiskt för att denna form av "cybernetisk triage" exponentiellt skulle missgynna medlemmar i jämställdhetssökande samhällen - till exempel grupper som är rasiserade eller socioekonomiskt missgynnade, om de inte är kontrollerade, både vad gäller vad som skulle tilldelas dem och hur de kan förstå sig själva.
Cirka 25 år senare lever vi nu med den panoptiska sorten på steroider. Och exempel på dess negativa effekter på jämställdhetssökande samhällen finns i överflöd, såsom falsk identifiering av Williams.
Befintlig bias
Denna sortering med hjälp av algoritmer infiltrerar de mest grundläggande aspekterna av vardagen och orsakar både direkt och strukturellt våld i kölvattnet.
Det direkta våldet som Williams upplever är omedelbart tydligt i händelserna kring hans arrestering och internering, och den enskilda skadan han upplevt är uppenbar och kan spåras till handlingarna från polisen som valde att förlita sig på teknikens "match" för att göra en gripande. Mer lumvande är strukturellt våld utförd genom ansiktsigenkänningsteknik och annan digital teknik som betygsätter, matchar, kategoriserar och sorterar individer på sätt som förstorar befintliga diskriminerande mönster.
Strukturella våldskador är mindre uppenbara och mindre direkta och orsakar skada för jämställdhetssökande grupper genom systematiskt förnekande av makt, resurser och möjligheter. Samtidigt ökar det direkt risk och skada för enskilda medlemmar i dessa grupper.
Förutsägande polisanvändning algoritmisk bearbetning av historiska data för att förutsäga när och var nya brott sannolikt kommer att inträffa, tilldelar polisresurser därefter och inbäddar förbättrad polisövervakning i samhällen, vanligtvis i lägre inkomst och rasiserade grannskap. Detta ökar chanserna att all kriminell verksamhet - inklusive mindre allvarlig kriminell aktivitet som annars skulle kunna leda till inget polisrespons - kommer att upptäckas och straffas, vilket i slutändan begränsar livsmöjligheterna för människorna som bor i den miljön.
Och bevisen på orättvisor i andra sektorer fortsätter att öka. Hundratals studenter i Storbritannien protesterade den 16 augusti mot de katastrofala resultaten från Ofqual, en bristfällig algoritm som den brittiska regeringen använde för att bestämma vilka studenter som skulle kvalificera sig för universitet. År 2019 tjänade Facebooks mikrotarget-annonstjänst hjälpte dussintals arbetsgivare inom offentlig och privat sektor utesluta personer från att få jobbannonser på grundval av ålder och kön. Forskning utförd av ProPublica har dokumenterat rasbaserad prisdiskriminering för onlineprodukter. Och sökmotorer ger regelbundet rasistiska och sexistiska resultat.
Förvarar förtryck
Dessa resultat är viktiga eftersom de upprätthåller och fördjupar befintliga ojämlikheter baserade på egenskaper som ras, kön och ålder. De spelar också roll eftersom de påverkar djupt hur vi lär känna oss själva och världen runt oss, ibland av förval av informationen vi får på sätt som stärker stereotypa uppfattningar. Även teknikföretag själva erkänner brådskande att hindra algoritmer från att försvara diskriminering.
Hittills har framgången med ad hoc-utredningar, som genomförts av teknikföretagen själva, varit inkonsekvent. Ibland drar företag som arbetar med att producera diskriminerande system dem från marknaden, till exempel när Clearview AI meddelade att det inte längre skulle erbjuda teknik för ansiktsigenkänning i Kanada. Men ofta härrör sådana beslut endast från lagstiftningsprövning eller offentligt skrik efter medlemmar i jämställdhetssökande samhällen har redan skadats.
Det är dags att ge våra tillsynsinstitutioner de verktyg de behöver för att lösa problemet. Enkla integritetsskydd som beror på att få individuellt samtycke för att möjliggöra att data fångas och återanvändas av företag kan inte separeras från de diskriminerande resultaten av den användningen. Detta är särskilt sant i en tid då de flesta av oss (inklusive teknikföretag själva) kan inte helt förstå vad algoritmer gör eller varför de ger specifika resultat.
Sekretess är en mänsklig rättighet
En del av lösningen innebär att de nuvarande regleringssilona som behandlar integritet och mänskliga rättigheter som separata frågor bryts ned. Förlita sig på en samtycke-baserad dataskyddsmodell flyger inför den grundläggande principen att integritet och jämställdhet är båda mänskliga rättigheter som inte kan dras bort.
Även Kanadas digitala stadga - den federala regeringens senaste försök att svara på bristerna i den digitala miljöns nuvarande tillstånd - upprätthåller dessa konceptuella distinktioner. Den behandlar hat och extremism, kontroll och samtycke och stark demokrati som separata kategorier.
För att hantera algoritmisk diskriminering måste vi erkänna och inrama både integritet och jämlikhet som mänskliga rättigheter. Och vi måste skapa en infrastruktur som är lika uppmärksam och expert på båda. Utan sådana ansträngningar kommer den glänsande glansen av matematik och vetenskap att fortsätta att kamouflera AI: s diskriminerande fördomar, och travestier som den som tillförs Williams kan förväntas multiplicera.
Om författarna
Jane Bailey, professor i juridik och medledare för eQuality-projektet, L'Université d'Ottawa / University of Ottawa; Jacquelyn Burkell, biträdande vice ordförande, forskning, Western Universityoch Valerie Steeves, professor, L'Université d'Ottawa / University of Ottawa
Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.
Böcker om ojämlikhet från Amazons lista över bästsäljare
"Caste: Ursprunget till vårt missnöje"
av Isabel Wilkerson
I den här boken undersöker Isabel Wilkerson historien om kastsystem i samhällen runt om i världen, inklusive i USA. Boken utforskar kastens inverkan på individer och samhälle, och erbjuder ett ramverk för att förstå och ta itu med ojämlikhet.
Klicka för mer info eller för att beställa
"The Color of Law: A Forgotten History of How Our Government Segregated America"
av Richard Rothstein
I den här boken utforskar Richard Rothstein historien om regeringens politik som skapade och förstärkte rassegregationen i USA. Boken undersöker effekten av dessa policyer på individer och samhällen, och erbjuder en uppmaning till handling för att ta itu med pågående ojämlikhet.
Klicka för mer info eller för att beställa
"Summan av oss: Vad rasism kostar alla och hur vi kan blomstra tillsammans"
av Heather McGhee
I den här boken utforskar Heather McGhee de ekonomiska och sociala kostnaderna för rasism och erbjuder en vision för ett mer rättvist och välmående samhälle. Boken innehåller berättelser om individer och samhällen som har utmanat ojämlikhet, samt praktiska lösningar för att skapa ett mer inkluderande samhälle.
Klicka för mer info eller för att beställa
"The Deficit Myth: Modern Monetary Theory and the Birth of the People's Economy"
av Stephanie Kelton
I den här boken utmanar Stephanie Kelton konventionella idéer om offentliga utgifter och det nationella underskottet, och erbjuder ett nytt ramverk för att förstå ekonomisk politik. Boken innehåller praktiska lösningar för att komma till rätta med ojämlikhet och skapa en mer rättvis ekonomi.
Klicka för mer info eller för att beställa
"The New Jim Crow: Mass Incarceration in the Age of Colorblindness"
av Michelle Alexander
I den här boken undersöker Michelle Alexander hur det straffrättsliga systemet vidmakthåller rasojämlikhet och diskriminering, särskilt mot svarta amerikaner. Boken innehåller en historisk analys av systemet och dess inverkan, samt en uppmaning till handling för reformer.
