Hur ansiktsigenkänningsteknologi är felaktig och partisk rasistiskt

Hur ansiktsigenkänningsteknologi är felaktig och partisk rasistiskt
Ansiktsigenkänningsalgoritmer testas vanligtvis med vita ansikten, vilket resulterar i att tekniken inte kan skilja mellan rasiserade individer. (Shutterstock)

Detroit-polisen arresterade felaktigt Robert Julian-Borchak Williams i januari 2020 för en butikslyft som inträffade två år tidigare. Även om Williams inte hade något att göra med incidenten, "ansiktsigenkänningsteknologi som används av Michigan State Police" matchade "hans ansikte med en kornig bild erhållen från en övervakningsvideo i butiken som visar en annan afroamerikansk man som tog klockor med ett värde av 3,800 XNUMX dollar.

Två veckor senare avfärdades ärendet på åklagarens begäran. Men förlita sig på den felaktiga matchen hade polisen redan handbojor och arresterat Williams framför sin familj, tvingat honom att tillhandahålla ett muggskott, fingeravtryck och ett prov av hans DNA, förhörde honom och fängslade honom över natten.

Experter föreslår att Williams inte är ensam och att andra har utsatts för liknande orättvisor. Den pågående kontroversen om polisanvändning av Clearview AI understryker säkerligen de integritetsrisker som ansiktsigenkänningstekniken innebär. Men det är viktigt att inse det inte alla av oss bär dessa risker lika.

Träning rasistiska algoritmer

Ansiktsigenkänningsteknik som är tränad på och inställd på kaukasiska ansikten systematiskt felidentifierar och felmärker rasiserade individer: många studier rapporterar att ansiktsigenkänningsteknologi är ”bristfällig och partisk, med betydligt högre felfrekvenser när de används mot färger. "

Denna underminerar rasismens individualitet och mänsklighet som är mer benägna att bli felidentifierade som kriminella. Tekniken - och identifieringsfelen den gör - återspeglar och förankrar ytterligare långvariga sociala uppdelningar som är djupt intrasslade med rasism, sexism, homofobi, bosättare-kolonialism och andra korsande förtryck.


En France24-utredning om rasfördomar inom ansiktsigenkänningsteknik.

Hur teknik kategoriserar användare

I sin spelförändrande bok från 1993, Panoptic Sort, varnade forskaren Oscar Gandy att "komplex teknik [som] involverar insamling, bearbetning och delning av information om individer och grupper som genereras genom deras dagliga liv ... används för att samordna och kontrollera deras tillgång till de varor och tjänster som definierar livet i den moderna kapitalistiska ekonomin. ” Brottsbekämpning använder det för att plocka misstänkta från allmänheten, och privata organisationer använder det för att avgöra om vi har tillgång till saker som bank och sysselsättning.


Få det senaste från InnerSelf


Gandy varnade profetiskt för att denna form av "cybernetisk triage" exponentiellt skulle missgynna medlemmar i jämställdhetssökande samhällen - till exempel grupper som är rasiserade eller socioekonomiskt missgynnade, om de inte är kontrollerade, både vad gäller vad som skulle tilldelas dem och hur de kan förstå sig själva.

Cirka 25 år senare lever vi nu med den panoptiska sorten på steroider. Och exempel på dess negativa effekter på jämställdhetssökande samhällen finns i överflöd, såsom falsk identifiering av Williams.

Befintlig bias

Denna sortering med hjälp av algoritmer infiltrerar de mest grundläggande aspekterna av vardagen och orsakar både direkt och strukturellt våld i kölvattnet.

Det direkta våldet som Williams upplever är omedelbart tydligt i händelserna kring hans arrestering och internering, och den enskilda skadan han upplevt är uppenbar och kan spåras till handlingarna från polisen som valde att förlita sig på teknikens "match" för att göra en gripande. Mer lumvande är strukturellt våld utförd genom ansiktsigenkänningsteknik och annan digital teknik som betygsätter, matchar, kategoriserar och sorterar individer på sätt som förstorar befintliga diskriminerande mönster.

Strukturella våldskador är mindre uppenbara och mindre direkta och orsakar skada för jämställdhetssökande grupper genom systematiskt förnekande av makt, resurser och möjligheter. Samtidigt ökar det direkt risk och skada för enskilda medlemmar i dessa grupper.

Förutsägande polisanvändning algoritmisk bearbetning av historiska data för att förutsäga när och var nya brott sannolikt kommer att inträffa, tilldelar polisresurser därefter och inbäddar förbättrad polisövervakning i samhällen, vanligtvis i lägre inkomst och rasiserade grannskap. Detta ökar chanserna att all kriminell verksamhet - inklusive mindre allvarlig kriminell aktivitet som annars skulle kunna leda till inget polisrespons - kommer att upptäckas och straffas, vilket i slutändan begränsar livsmöjligheterna för människorna som bor i den miljön.

Och bevisen på orättvisor i andra sektorer fortsätter att öka. Hundratals studenter i Storbritannien protesterade den 16 augusti mot de katastrofala resultaten från Ofqual, en bristfällig algoritm som den brittiska regeringen använde för att bestämma vilka studenter som skulle kvalificera sig för universitet. År 2019 tjänade Facebooks mikrotarget-annonstjänst hjälpte dussintals arbetsgivare inom offentlig och privat sektor utesluta personer från att få jobbannonser på grundval av ålder och kön. Forskning utförd av ProPublica har dokumenterat rasbaserad prisdiskriminering för onlineprodukter. Och sökmotorer ger regelbundet rasistiska och sexistiska resultat.

Förvarar förtryck

Dessa resultat är viktiga eftersom de upprätthåller och fördjupar befintliga ojämlikheter baserade på egenskaper som ras, kön och ålder. De spelar också roll eftersom de påverkar djupt hur vi lär känna oss själva och världen runt oss, ibland av förval av informationen vi får på sätt som stärker stereotypa uppfattningar. Även teknikföretag själva erkänner brådskande att hindra algoritmer från att försvara diskriminering.

Hittills har framgången med ad hoc-utredningar, som genomförts av teknikföretagen själva, varit inkonsekvent. Ibland drar företag som arbetar med att producera diskriminerande system dem från marknaden, till exempel när Clearview AI meddelade att det inte längre skulle erbjuda teknik för ansiktsigenkänning i Kanada. Men ofta härrör sådana beslut endast från lagstiftningsprövning eller offentligt skrik efter medlemmar i jämställdhetssökande samhällen har redan skadats.

Det är dags att ge våra tillsynsinstitutioner de verktyg de behöver för att lösa problemet. Enkla integritetsskydd som beror på att få individuellt samtycke för att möjliggöra att data fångas och återanvändas av företag kan inte separeras från de diskriminerande resultaten av den användningen. Detta är särskilt sant i en tid då de flesta av oss (inklusive teknikföretag själva) kan inte helt förstå vad algoritmer gör eller varför de ger specifika resultat.

Sekretess är en mänsklig rättighet

En del av lösningen innebär att de nuvarande regleringssilona som behandlar integritet och mänskliga rättigheter som separata frågor bryts ned. Förlita sig på en samtycke-baserad dataskyddsmodell flyger inför den grundläggande principen att integritet och jämställdhet är båda mänskliga rättigheter som inte kan dras bort.

Även Kanadas digitala stadga - den federala regeringens senaste försök att svara på bristerna i den digitala miljöns nuvarande tillstånd - upprätthåller dessa konceptuella distinktioner. Den behandlar hat och extremism, kontroll och samtycke och stark demokrati som separata kategorier.

För att hantera algoritmisk diskriminering måste vi erkänna och inrama både integritet och jämlikhet som mänskliga rättigheter. Och vi måste skapa en infrastruktur som är lika uppmärksam och expert på båda. Utan sådana ansträngningar kommer den glänsande glansen av matematik och vetenskap att fortsätta att kamouflera AI: s diskriminerande fördomar, och travestier som den som tillförs Williams kan förväntas multiplicera.Avlyssningen

Om författarna

Jane Bailey, professor i juridik och medledare för eQuality-projektet, L'Université d'Ottawa / University of Ottawa; Jacquelyn Burkell, biträdande vice ordförande, forskning, Western Universityoch Valerie Steeves, professor, L'Université d'Ottawa / University of Ottawa

Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

följ InnerSelf på

facebook-icontwitter-iconrss-icon

Få det senaste via e-post

{Emailcloak = off}

Jag kommer förbi med lite hjälp från mina vänner

FRÅN REDAKTORERNA

InnerSelf-nyhetsbrev: oktober 25, 2020
by InnerSelf Staff
"Slogan" eller underrubrik för InnerSelf-webbplatsen är "New Attitudes --- New Möjligheter", och det är exakt temat i veckans nyhetsbrev. Syftet med våra artiklar och författare är att ...
InnerSelf-nyhetsbrev: oktober 18, 2020
by InnerSelf Staff
Dessa dagar lever vi i minibubblor ... i våra egna hem, på jobbet och offentligt, och möjligen i vårt eget sinne och med våra egna känslor. Att leva i en bubbla eller känna att vi är ...
InnerSelf-nyhetsbrev: oktober 11, 2020
by InnerSelf Staff
Livet är en resa och, som de flesta resor, kommer med sina upp-och nedgångar. Och precis som dagen alltid följer natten, så går våra personliga dagliga upplevelser från mörkt till ljus och fram och tillbaka. Dock,…
InnerSelf-nyhetsbrev: oktober 4, 2020
by InnerSelf Staff
Oavsett vad vi går igenom, både individuellt och kollektivt, måste vi komma ihåg att vi inte är hjälplösa offer. Vi kan återta vår makt att rista vår egen väg och läka våra liv, andligt ...
InnerSelf Nyhetsbrev: September 27, 2020
by InnerSelf Staff
En av mänsklighetens stora styrka är vår förmåga att vara flexibel, vara kreativ och tänka utanför lådan. Att vara någon annan än vi var igår eller dagen innan. Vi kan ändra ... ...