I straffrättsliga system, kreditmarknader, arbetsmarknader, högre utbildning antagning processer och jämn sociala medier nätverk, data-driven algoritmer kör nu beslutsfattandet på sätt som berör våra ekonomiska, sociala och civila liv. Dessa mjukvarusystem rankar, klassificerar, associerar eller filtrerar information, med hjälp av mänskliga eller datainducerade regler som möjliggör konsekvent behandling över stora populationer.

Men även om det kan finnas effektivitetsvinster från dessa tekniker, kan de också hamnproblem mot missgynnade grupper or stärka den strukturella diskrimineringen. Vad gäller straffrätten är det till exempel rättvist att fatta bedömningar om en persons parole utifrån statistiska tendenser mätt över en stor grupp människor? Kunde diskriminering härröra från att tillämpa en statistisk modell utvecklas för en stats befolkning till en annan, demografiskt annorlunda befolkning?

Allmänheten behöver förstå bias och kraft för algoritmer som används inom den offentliga sfären, inklusive av myndigheter. En insats jag är inblandad i, kallad algoritmisk ansvarighet, syftar till att göra influenser av dessa typer av system tydligare och mer förstås.

Befintliga insynstekniker kan, när de tillämpas på algoritmer, göra det möjligt för människor att övervaka, granska och kritisera hur dessa system fungerar - eller inte, beroende på vad som är fallet. Tyvärr verkar myndigheter oförberedda för förfrågningar om algoritmer och deras användningar i beslut som väsentligt påverkar både individer och allmänheten i stort.

Öppna algoritmer för offentlig granskning

Förra året federala regeringen började studera Fördelar och nackdelar med att använda datoriserad dataanalys för att hjälpa till med att bestämma fängelsemedlemmarnas sannolikhet att reoffending vid frisläppandet. Att betygsätta individer som låg-, medel- eller högrisk kan hjälpa till med bostads- och behandlingsbeslut och identifiera personer som säkert kan skickas till ett minimum säkerhetsfängelse eller till och med ett "halvvägs hus" eller som skulle ha nytta av en viss typ av psykologisk vård.

Den informationen kan göra processen mer effektiv och billigare, och till och med minska fängelset trängsel. Behandlingen av lågriskdrivna personer som högrisköverträdare har visats i vissa studier att leda till att de internaliserar att vara en "sjuk" brottsling och behöver behandling för sitt avvikande beteende. Att skilja dem kan således minska utvecklingen av negativa beteenden som skulle leda till återfall vid frisläppande.

Data och algoritmer för att betygsätta inmates reoffending risk är redan används i stor utsträckning av stater för hantering av förevändning, prövning, parole och jämn dömning. Men det är lätt för dem att gå obemärkt - de ser ofta ut som skrymmande byråkratiska pappersarbete.

Vanligen kokas algoritmerna till förenklade poängblad som fylls ut av tjänstemän med liten förståelse för de underliggande beräkningarna. Exempelvis kan en fallarbetare utvärdera en fånge med hjälp av en blankett där fallmannen markerar ner att fängslan hade dömts för våldsbrott, var ung vid tidpunkten för den första anhållandet och inte hade examen från gymnasiet eller fått en GED. Dessa faktorer och andra egenskaper om personen och brottsligheten resulterar i en poäng som föreslår om den inmate kan vara berättigad till paroleöversyn.

Formuläret självt, såväl som dess poängsystem, beskriver ofta viktiga funktioner om algoritmen, liksom de variabler som behandlas och hur de sammanfaller för att bilda en övergripande riskpoäng. Men det som också är viktigt för algoritmisk insyn är att veta hur sådana former utformades, utvecklades och utvärderades. Först då kan allmänheten veta om de faktorer och beräkningar som är inblandade i att komma fram till poängen är rättvisa och rimliga, eller obemannade och förspända.

Använda lagen om frihet att informera

Vårt primära verktyg för att få händerna på dessa former och deras stödmaterial är lagen, och särskilt friheten för informationslagar. De är bland de mest kraftfulla mekanismer som allmänheten har till sitt förfogande för att säkerställa insyn i regeringen. På federal nivå, den Lagen om frihet att informera (FOIA) tillåter allmänheten att formellt begära - och förvänta sig att motta i gengäld - dokument från den federala regeringen. Analoga stadgar finns för varje stat.

Enacted i 1966 skapades FOIA före den omfattande användningen av datorer, och strax innan stora datalager användes rutinmässigt i programvarusystem för att hantera individer och göra förutsägelser. Det har varit någon inledande forskning in i huruvida FOIA kan underlätta upplämningen av programkodkod. Men en fråga kvarstår om huruvida nuvarande lagar svarar mot behoven hos 21-talets allmänhet: kan vi FOIA-algoritmer?

En fallstudie i algoritmens insyn

Jag bestämde mig för att svara på denna fråga på Philip Merrill College of Journalism vid University of Maryland, där jag är biträdande professor. På hösten av 2015, som arbetade med min kollega Sandy Baniskys medielagsklass, guidade vi eleverna att skicka in FOIA-förfrågningar till var och en av 50-staterna. Vi bad om dokument, matematiska beskrivningar, data, valideringsbedömningar, kontrakt och källkod relaterade till algoritmer som används i straffrättsliga förfaranden, till exempel för parole- och prövningsbeslut, borgen eller dömande beslut.

Som ett terminsprojekt var ansträngningen nödvändigtvis begränsad av tiden, med massor av hinder och relativt få framgångar. Precis som med många journalisters utredningar, även utse vilka som ska fråga - och hur - var en utmaning. Olika myndigheter kan vara ansvariga för olika delar av straffrättssystemet (domslut kan göras av domstolar, men förvaltningen av parolen utförs av en avdelningsdeklaration).

Även efter att ha identifierat rätt person fann studenter att myndigheter använde olika terminologier som gjorde det svårt att kommunicera vilken information de ville ha. Ibland måste eleverna arbeta hårt för att förklara "straffrättsliga algoritmer" till en icke-så-data-kunnig tjänsteman. I efterhand kan det ha varit mer effektivt att begära "riskbedömningsverktyg", eftersom det är en term som ofta används av statsregeringar.

Hantera svaren

Vissa stater, till exempel Colorado, avskedade vår begäran och sa att algoritmerna fanns i mjukvara, som inte ansågs vara ett "dokument" som öppnar statliga lagar, krävde tjänstemän att offentliggöra. Olika stater har olika regler för att avslöja användningen av program. Detta har ibland uppstått vid domstolarna, till exempel en 2004 kostym mot staden Detroit över huruvida formeln för beräkning av vattenavgifter som debiteras till en intilliggande stad bör offentliggöras.

I våra egna ansträngningar fick vi endast en matematisk beskrivning av en straffrättslig algoritm: Oregon avslöjade 16-variablerna och deras vikter i en modell som används för att förutsäga återfall. Staten i North Dakota släppte ett Excel-kalkylblad som visar ekvationen som användes för att bestämma datum då inmates skulle vara berättigade att övervägas för parole. Från Idaho och New Mexico mottog vi dokument med några beskrivningar av de återfallsriskbedömningar som de använda staterna, men inga detaljer om hur de utvecklades eller validerades.

Nio stater grundade sitt vägran att avslöja detaljer om deras straffrättsliga algoritmer om påståendet att informationen egentligen ägdes av ett företag. Denna implikation är att frisläppandet av algoritmen skulle skada det företag som utvecklat det. Ett gemensamt recidivism-riskformulär, kallas LSI-R, visar sig vara en kommersiell produkt, skyddad av upphovsrätten. Stater som Hawaii och Maine hävdade att förhindrade att avslöjas för allmänheten.

Louisiana sade att kontraktet med utvecklaren av en ny riskbedömningsteknik hindrade utgivandet av den begärda informationen i sex månader. Staten Kentucky citerade sitt kontrakt med a filantropiska grunden som anledningen till att den inte kunde avslöja fler detaljer. Bekymmer om proprietär information kan vara legitima, men med tanke på att regeringen rutinmässigt träffar privata företag, hur balanserar vi dessa bekymmer mot ett förklarbart och faktiskt legitimt rättssystem?

Göra förbättringar

Mycket nödvändig FOIA-reform är för närvarande under överläggning av kongressen. Detta ger en möjlighet för lagen att moderniseras, men de föreslagna ändringarna gör fortfarande lite för att tillgodose den växande användningen av algoritmer i regeringen. Algoritmisk insynsinformation kan kodifieras i rapporter som regeringen genererar och offentliggör regelbundet, som en del av verksamheten som vanligt.

Som samhälle borde vi kräva att offentliga informationsofficer utbildas så att de är litterära och verkligen flytande i den terminologi de kan stöta på när allmänheten ber om algoritmer. Den federala regeringen kan till och med skapa en ny position för en "algoritmer czar", en ombudsman vars uppgift det skulle vara att kommunicera om och fältförfrågningar om statlig automation.

Inget av de dokument vi fick i vår forskning berättade hur kriminalvårdsriskbedömningsformulär utvecklades eller utvärderades. Eftersom algoritmer styr mer och mer i våra liv behöver medborgarna - och måste kräva - större öppenhet.

Om författaren

Nicholas Diakopoulos, Tow Fellow, Tow Center för digital journalistik vid Columbia University; Biträdande professor i journalistik, University of Maryland. Hans forskning är i datalogistik och datalogistik med inriktning på algoritmisk ansvarighet, narrativ datavisualisering och social databehandling i nyheten.

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

relaterade böcker

at InnerSelf Market och Amazon