Sortering efter algoritmer sätter oss i rutor. Hur vet vi att de är de rätta? genererad, CC BY

Samhället verkar på en kurs till en punkt där våra liv är föremål för granskning av datoralgoritmer. Uppgifterna vi genererar analyseras, oavsett om det är av regeringar för nationell säkerhet eller företag för vinst, och det här är osannolikt att förändras. Kraften och överklagandet av dataanalys, som en gång hittats, kommer inte att ges upp enkelt.

Men i sanning undrar jag om jag är mer orolig över att vår data samlas in eller av det faktum att vi inte vet någonting om de algoritmer som uttalar dom på oss.

Nivån på detaljer om våra liv och vanor som kan hämtas från de uppgifter vi lämnar bakom har diskuterats tidigare och blir friskare som en del av debatten kring Förenade kungarikets utkast Undersökningsrätt. Vi vet åtminstone något om vilka data som samlas in och hur lång tid det lagras för, av vilka vissa styrs av brittisk och europeisk lag.

I text i förslaget till proposition, till exempel vet vi att den brittiska regeringen "bara" kräver (obehörig) tillgång till kommunikationsmetadata, rubriker och ämnen i e-post och telefonsamtal. Men vi vet också hur avslöjande metadata ensam kan vara: ta en titt på MIT Media Labs Immersion-projekt för ett kraftfullt exempel på hur mycket detalj det kan fastställas från det. Det är säkert inte alls jämförbar med en specificerad telefonräkning, som påstås.

Så för bättre eller sämre, vi, allmänheten, har lite aning om vad som spelas in. Men vi har absolut ingen aning om vilka analytiska verktyg och tekniker som tillämpas på dessa data - och betydelsen av detta bör inte underskattas.

Vad knyter siffrorna?

Vi kan göra utbildade gissningar. Nationella säkerhetsbyråer använder förmodligen våra metadata för att skapa sociala nätverk mellan människor och platser, bland annat länka oss ihop. Dessa relationsnät analyseras sedan för att avgöra om vi är intresserade, bestämda av hur ni jämför med andra intressanta och hur ni ansluter till befintliga personer av intresse eller relaterade till dem.

Forskare som använder dessa tekniker förstår sina begränsningar och att de algoritmer som driver dem kan innehålla fel eller underliggande antaganden som har en djupgående effekt på deras produktion. I det här fallet kan det betyda om du är märkt en terrorist eller inte, eller om du kvalificerar dig för ett lån eller inteckning.

Det är också inte exakt klart var i samband med fuzzy gränsområden är förekomsten av relation definierad. Håller du bara på samma webbplats som en terrorist innebär gemensamma värderingar, eller kör samma bussrutt varje dag, föreslår att du regelbundet talar med terrorister? Det är ganska möjligt att besöka webbplatser som besöks av kända terrorister av många legitima skäl. Om du får nyheter från samma webbplatser som terrorister är du mer sannolikt att bli terrorist? Diskriminering och fördomar kan införas vid datainsamlingspunkten, och sedan igen när beslut fattas om hur man analyserar den data. Algoritmer kan också diskriminera.

Suddiga gränser

Möjligheten att algoritmer introducerar oönskad bias är en mycket riktig. Till exempel utbildas de som används av säkerhetstjänsten på dataset av kända terrorister och kända icke-terrorister. Betyder detta att som mest kända terrorister är män i åldern 20-30, är du mer sannolikt att bli klassad som en terrorist för att bara vara man och åldras ungefär 20-30, oavsett dina andra attribut? Om så är fallet, har detta en betydande inverkan på hur data används?

Problemet härrör från det faktum att jag och andra akademiska forskare som använder komplexa nätverksanalyser, maskininlärning, mönstermatchning eller artificiell intelligenssteknik använder vår teknik för att utvärdera styrkan i teknikerna och giltigheten av slutsatserna. statens säkerhetstjänster och organisationer inom den privata sektorn gör det inte. Vi har ingen aning om kvaliteten på deras metoder och hur de använder dem. Finns det en lösning på detta?

De från ett annat säkerhetsområde, kryptografi, lärde mig för länge sedan att det bästa sättet att förbättra kvaliteten och därmed säkerheten i dess algoritmer var att göra dem offentliga. Kryptografiska implementeringar och cifrar publiceras, och forskare uppmanas att försöka hitta fel eller brister, vilket förbättrar säkerheten för alla som använder dem. Dessutom är all implementering av kryptogafiska algoritmer med sluten källa (icke-offentlig) generellt betraktas med misstankar. Om de ska uttala livsförändrande domar på oss - oavsett om vi är märkta som terrorister eller ekonomiskt ovärderliga - bör samma modell tillämpas på säkerhetsalgoritmer.

Ett argument mot ett sådant drag är att öppna och transparenta algoritmer kan leda terrorister att modifiera deras verkliga beteenden för att undvika att detekteras. Detta skulle innebära att saker som växelverkan, sammanslutningar, surfvanor och potentiella rörelser förändras. Men detta, om algoritmerna fungerar korrekt, skulle innebära att de i huvudsak upphör att agera som terrorister. Om vår framtida säkerhet, frihet och säkerhet kommer att vara beroende av dessa algoritmer måste vi vara säkra på exakt hur - och det - de arbetar.

Om författaren

Philip Garnett, föreläsare, University of York.

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

Relaterade Bok:

at

Tack för besöket InnerSelf.com, där det finns 20,000+ livsförändrande artiklar som främjar "Nya attityder och nya möjligheter." Alla artiklar är översatta till 30+ språk. Prenumerera till InnerSelf Magazine, som publiceras varje vecka, och Marie T Russells Daily Inspiration. InnerSelf Magazine har publicerats sedan 1985.