1956, under en årslång resa till London och i hans tidiga 20-årsåldern, besökte matematikern och teoretiske biologen Jack D. Cowan Wilfred Taylor och hans märkliga nya ”inlärningsmaskin”. Vid sin ankomst blev han förbryllad av den "stora bank av apparater" som konfronterade honom. Cowan kunde bara stå bredvid och se "maskinen göra sitt". Det som det verkade göra var att utföra ett "associativt minnesschema" - det verkade kunna lära sig hur man hittar anslutningar och hämtar data.
Det kan ha sett ut som otympliga kretsar, sammanlödda för hand i en massa ledningar och lådor, men vad Cowan bevittnade var en tidig analog form av ett neuralt nätverk – en föregångare till dagens mest avancerade artificiella intelligens, inklusive mycket diskuterat ChatGPT med dess förmåga att generera skrivet innehåll som svar på nästan alla kommandon. ChatGPT:s underliggande teknologi är ett neuralt nätverk.
När Cowan och Taylor stod och såg maskinen arbeta, hade de verkligen ingen aning om exakt hur den klarade av att utföra denna uppgift. Svaret på Taylors mysteriemaskinhjärna kan hittas någonstans i dess "analoga neuroner", i de associationer som skapas av dess maskinminne och, viktigast av allt, i det faktum att dess automatiserade funktion inte riktigt kunde förklaras fullt ut. Det skulle ta årtionden för dessa system att hitta sitt syfte och för den kraften att låsas upp.
Termen neurala nätverk innefattar ett brett utbud av system, men centralt, enligt IBM, dessa "neurala nätverk - även kända som artificiella neurala nätverk (ANN) eller simulerade neurala nätverk (SNN) - är en delmängd av maskininlärning och är hjärtat av algoritmer för djupinlärning". Avgörande är att själva termen och deras form och "struktur är inspirerad av den mänskliga hjärnan, som efterliknar det sätt som biologiska neuroner signalerar till varandra".
Det kan ha funnits några återstående tvivel om deras värde i dess inledande skeden, men allt eftersom åren har gått har AI-moden svängt starkt mot neurala nätverk. De anses nu ofta vara framtiden för AI. De har stora konsekvenser för oss och för vad det innebär att vara människa. Vi har hört ekon av dessa farhågor nyligen med uppmaningar att pausa nya AI-utvecklingar under en sexmånadersperiod för att säkerställa förtroende för deras implikationer.
Det skulle verkligen vara ett misstag att avfärda det neurala nätverket som att det enbart handlar om glänsande, iögonfallande nya prylar. De är redan väl etablerade i våra liv. Vissa är kraftfulla i sin praktiska funktion. Så långt tillbaka som 1989 använde ett team under ledning av Yann LeCun vid AT&T Bell Laboratories tekniker för bakåtförökning för att träna ett system för att känna igen handskrivna postnummer. Den senaste tiden tillkännagivande från Microsoft att Bing-sökningar kommer att drivas av AI, vilket gör det till din "copilot för webben", illustrerar hur de saker vi upptäcker och hur vi förstår dem i allt högre grad kommer att vara en produkt av denna typ av automatisering.
Att dra på stora data för att hitta mönster AI kan på liknande sätt tränas för att göra saker som bildigenkänning i snabb takt – vilket resulterar i att de integreras i ansiktsigenkänning, till exempel. Denna förmåga att identifiera mönster har lett till många andra tillämpningar, som t.ex förutsäga aktiemarknaderna.
Neurala nätverk förändrar också hur vi tolkar och kommunicerar. Utvecklad av den intressanta titeln Google Brain Team, Google Translate är en annan framträdande tillämpning av ett neuralt nätverk.
Du skulle inte vilja spela schack eller Shogi med en heller. Deras grepp om regler och deras återkallande av strategier och alla inspelade drag betyder att de är exceptionellt bra på spel (även om ChatGPT verkar vara kämpa med Wordle). Systemen som stör mänskliga Go-spelare (Go är ett notoriskt knepigt strategibrädspel) och schackstormästare, är gjorda av neurala nätverk.
Men deras räckvidd går långt utöver dessa fall och fortsätter att expandera. En sökning av patent som endast är begränsad till omnämnanden av den exakta frasen "neurala nätverk" ger 135,828 XNUMX resultat. Med denna snabba och pågående expansion kan chansen att vi till fullo kan förklara AI:s inflytande bli allt tunnare. Det är dessa frågor jag har undersökt i min forskning och min nya bok om algoritmiskt tänkande.
Mystiska lager av "okännbarhet"
Att titta tillbaka på historien om neurala nätverk säger oss något viktigt om de automatiserade beslut som definierar vår nutid eller de som kommer att ha en möjligen mer djupgående inverkan i framtiden. Deras närvaro säger oss också att vi sannolikt kommer att förstå besluten och effekterna av AI ännu mindre med tiden. Dessa system är inte bara svarta lådor, de är inte bara dolda delar av ett system som inte kan ses eller förstås.
Det är något annat, något som är förankrat i syftena och utformningen av dessa system själva. Det finns en långvarig jakt på det oförklarliga. Ju mer ogenomskinlig, desto mer autentisk och avancerat anses systemet vara. Det handlar inte bara om att systemen blir mer komplexa eller att kontroll av immateriella rättigheter begränsar åtkomsten (även om dessa är en del av det). Det är istället att säga att den etos som driver dem har ett särskilt och inbäddat intresse för "okännbarhet". Mysteriet är till och med kodat i själva formen och diskursen i det neurala nätverket. De kommer med djupt staplade lager – därav frasen djupinlärning – och inom dessa djup finns de ännu mer mystiska klingande "dolda lagren". Mysterierna med dessa system finns djupt under ytan.
Det finns en god chans att ju större inverkan som artificiell intelligens kommer att få i våra liv desto mindre kommer vi att förstå hur eller varför. Idag finns det en stark push för AI som är förklarlig. Vi vill veta hur det fungerar och hur det kommer fram till beslut och resultat. EU är så bekymrat över de potentiellt "oacceptabla riskerna" och till och med "farliga" ansökningar att det för närvarande går framåt en ny AI-lag avsedd att sätta en "global standard" för "utveckling av säker, pålitlig och etisk artificiell intelligens".
De nya lagarna kommer att baseras på ett behov av förklaring, kräver det "För högrisk-AI-system är kraven på högkvalitativ data, dokumentation och spårbarhet, transparens, mänsklig tillsyn, noggrannhet och robusthet absolut nödvändiga för att mildra riskerna för grundläggande rättigheter och säkerhet som AI innebär." Det här handlar inte bara om saker som självkörande bilar (även om system som säkerställer säkerhet faller inom EU:s kategori av högrisk AI), det är också en oro för att det kommer att dyka upp system i framtiden som kommer att få konsekvenser för mänskliga rättigheter.
Detta är en del av bredare krav på transparens inom AI så att dess aktiviteter kan kontrolleras, granskas och utvärderas. Ett annat exempel skulle vara Royal Societys policyinformation om förklarlig AI där de påpekar att "politiska debatter över hela världen ser alltmer krav på någon form av AI-förklarbarhet, som en del av ansträngningarna att införliva etiska principer i design och distribution av AI-aktiverade system".
Men historien om neurala nätverk säger oss att vi sannolikt kommer längre bort från det målet i framtiden, snarare än närmare det.
Inspirerad av den mänskliga hjärnan
Dessa neurala nätverk kan vara komplexa system men de har vissa kärnprinciper. Inspirerade av den mänskliga hjärnan försöker de kopiera eller simulera former av biologiskt och mänskligt tänkande. När det gäller struktur och design är de, som IBM förklarar också, som består av "nodlager, som innehåller ett indatalager, ett eller flera dolda lager och ett utdatalager". Inom detta ansluter "varje nod, eller artificiell neuron, till en annan". Eftersom de kräver indata och information för att skapa utdata "förlitar de sig på träningsdata för att lära sig och förbättra sin noggrannhet över tiden". Dessa tekniska detaljer spelar roll, men det gör också önskan att modellera dessa system utifrån den mänskliga hjärnans komplexitet.
Att förstå ambitionen bakom dessa system är avgörande för att förstå vad dessa tekniska detaljer har kommit att innebära i praktiken. I en 1993 intervju, drog neurala nätverksforskaren Teuvo Kohonen slutsatsen att ett "självorganiserande" system "är min dröm", som fungerar "något liknande vad vårt nervsystem gör instinktivt". Som ett exempel föreställde Kohonen hur ett "självorganiserande" system, ett system som övervakade och skötte sig självt, "kunde användas som en övervakningspanel för vilken maskin som helst ... i varje flygplan, jetplan eller varje kärnkraftverk, eller varje bil". Detta, trodde han, skulle innebära att man i framtiden "omedelbart kunde se vilket skick systemet är i".
Det övergripande målet var att ha ett system som kunde anpassa sig till sin omgivning. Det skulle vara omedelbart och autonomt och fungera i stil med nervsystemet. Det var drömmen, att ha system som kunde hantera sig själva utan behov av mycket mänsklig inblandning. Hjärnans, nervsystemets och den verkliga världens komplexitet och okända saker skulle snart komma att informera om utvecklingen och designen av neurala nätverk.
"Något skumt med det"
Men om vi hoppade tillbaka till 1956 och den där märkliga inlärningsmaskinen, var det det praktiska tillvägagångssätt som Taylor hade tagit när han byggde den som omedelbart fångade Cowans uppmärksamhet. Han hade tydligt svettats över monteringen av bitarna. Taylor, Cowan observerade under en intervju av sin egen del i berättelsen om dessa system, "gjorde det inte i teorin, och han gjorde det inte på en dator". Istället, med verktyg i handen, "byggde han faktiskt hårdvaran". Det var en materiell sak, en kombination av delar, kanske till och med en grej. Och det var "allt gjort med analoga kretsar" som tog Taylor, konstaterar Cowan, "flera år att bygga den och leka med den". Ett fall av försök och misstag.
Cowan ville förståeligt ta tag i det han såg. Han försökte få Taylor att förklara denna inlärningsmaskin för honom. Förtydligandena kom inte. Cowan kunde inte få Taylor att beskriva för honom hur saken fungerade. De analoga neuronerna förblev ett mysterium. Det mer överraskande problemet, tyckte Cowan, var att Taylor "inte riktigt förstod själv vad som pågick". Detta var inte bara ett tillfälligt sammanbrott i kommunikationen mellan de två forskarna med olika specialiteter, det var mer än så.
I ett intervju från mitten av 1990-taletNär han tänker tillbaka på Taylors maskin, avslöjade Cowan att "till denna dag i publicerade tidningar kan du inte riktigt förstå hur det fungerar". Denna slutsats tyder på hur det okända är djupt inbäddat i neurala nätverk. Det oförklarliga hos dessa neurala system har funnits till och med från de grundläggande och utvecklingsstadierna som går tillbaka nästan sju decennier.
Detta mysterium finns kvar idag och återfinns inom avancerade former av AI. Den outgrundliga funktionen hos de associationer som gjorts av Taylors maskin fick Cowan att undra om det var "något skumt med det".
Långa och trassliga rötter
Cowan hänvisade tillbaka till sitt korta besök med Taylor när han fick frågan om mottagandet av hans eget arbete några år senare. In på 1960-talet var människor, reflekterade Cowan, "lite långsamma med att se poängen med ett analogt neuralt nätverk". Detta trots, minns Cowan, Taylors 1950-talsarbete med "associativt minne" var baserat på "analoga neuroner". Den Nobelprisbelönta experten på neurala system, Leon N. Cooper, avslutade att utvecklingen kring tillämpningen av hjärnmodellen på 1960-talet ansågs "som bland de djupa mysterierna". På grund av denna osäkerhet kvarstod en skepsis om vad ett neuralt nätverk skulle kunna åstadkomma. Men saker och ting började sakta förändras.
För cirka 30 år sedan neuroforskaren Walter J. Freeman, som blev överraskad av ”anmärkningsvärd” en rad applikationer som hade hittats för neurala nätverk, kommenterade redan det faktum att han inte såg dem som ”en fundamentalt ny typ av maskin”. De var en långsam bränning, med tekniken som kom först och sedan efterföljande applikationer hittas för den. Detta tog tid. För att hitta rötterna till neural nätverksteknik kan vi faktiskt gå tillbaka ännu längre än Cowans besök på Taylors mystiska maskin.
Neuralnätforskaren James Anderson och vetenskapsjournalisten Edward Rosenfeld har noterat att bakgrunden till neurala nätverk går tillbaka till 1940-talet och några tidiga försök att, som de beskriver, "förstå de mänskliga nervsystemen och att bygga konstgjorda system som agerar som vi gör, åtminstone lite". Så på 1940-talet blev det mänskliga nervsystemets mysterier också beräkningstänkandets och artificiell intelligenss mysterier.
Sammanfattning av denna långa historia, datavetenskapsförfattaren Larry Hardesty har påpekat att djupinlärning i form av neurala nätverk "har gått in och ut ur modet i mer än 70 år". Mer specifikt, tillägger han, dessa "neurala nätverk föreslogs först 1944 av Warren McCulloch och Walter Pitts, två forskare vid University of Chicago som flyttade till MIT 1952 som grundare av det som ibland kallas den första kognitiva vetenskapsavdelningen".
Någon annanstans, 1943 är ibland det givna datumet som det första året för tekniken. Hur som helst, i ungefär 70 år tyder redovisningar på att neurala nätverk har flyttat in och ut ur modet, ofta försummat men sedan ibland tagit grepp och flyttat in i mer vanliga tillämpningar och debatter. Osäkerheten höll i sig. Dessa tidiga utvecklare beskriver ofta vikten av sin forskning som förbisedd, tills den fann sitt syfte ofta år och ibland decennier senare.
Från 1960-talet till slutet av 1970-talet kan vi hitta ytterligare berättelser om de okända egenskaperna hos dessa system. Redan då, efter tre decennier, var det neurala nätverket fortfarande att finna en känsla av syfte. David Rumelhart, som hade en bakgrund inom psykologi och var medförfattare till en uppsättning böcker som publicerades 1986 och som senare skulle driva uppmärksamheten tillbaka mot neurala nätverk, fann sig själv samarbeta kring utvecklingen av neurala nätverk med sin kollega Jay McClelland.
Förutom att de var kollegor hade de också nyligen stött på varandra vid en konferens i Minnesota där Rumelharts tal om "berättelseförståelse" hade väckt en del diskussion bland delegaterna.
Efter den konferensen återkom McClelland med en tanke om hur man utvecklar ett neuralt nätverk som kan kombinera modeller för att bli mer interaktiva. Det som spelar roll här är Rumelharts minne av "timmar och timmar och timmar av mixtrande på datorn".
Vi satte oss ner och gjorde allt detta i datorn och byggde dessa datormodeller, och vi förstod dem bara inte. Vi förstod inte varför de fungerade eller varför de inte fungerade eller vad som var kritiskt med dem.
Liksom Taylor fann Rumelhart att han mixtrade med systemet. De skapade också ett fungerande neuralt nätverk och, avgörande, de var inte heller säkra på hur eller varför det fungerade på det sätt som det gjorde, och lärde till synes av data och hittade associationer.
Efterliknar hjärnan - lager efter lager
Du kanske redan har märkt att när man diskuterar ursprunget till neurala nätverk är bilden av hjärnan och den komplexitet detta framkallar aldrig långt borta. Den mänskliga hjärnan fungerade som en sorts mall för dessa system. I de tidiga stadierna blev i synnerhet hjärnan – fortfarande en av de stora okända – en modell för hur det neurala nätverket skulle kunna fungera.
Så dessa experimentella nya system var modellerade på något vars funktion i sig själv till stor del var okänd. Neurodataingenjören Carver Mead har talat avslöjande av föreställningen om ett "kognitivt isberg" som han hade funnit särskilt tilltalande. Det är bara toppen av medvetandets isberg som vi är medvetna om och som är synliga. Restens skala och form är fortfarande okänd under ytan.
1998, James Anderson, som hade arbetat en tid med neurala nätverk, noterade att när det kom till forskning om hjärnan "tycks vår stora upptäckt vara en medvetenhet om att vi verkligen inte vet vad som händer".
I en detaljerad redogörelse i Financial Times 2018, noterade teknikjournalisten Richard Waters hur neurala nätverk "modelleras på en teori om hur den mänskliga hjärnan fungerar och skickar data genom lager av artificiella neuroner tills ett identifierbart mönster uppstår". Detta skapar ett knock-on problem, föreslog Waters, eftersom "till skillnad från de logiska kretsarna som används i ett traditionellt program, finns det inget sätt att spåra denna process för att identifiera exakt varför en dator kommer med ett visst svar". Waters slutsats är att dessa resultat inte kan väljas bort. Tillämpningen av denna typ av modell av hjärnan, som tar data genom många lager, gör att svaret inte lätt kan spåras. Flera lager är en bra del av anledningen till detta.
Hårdhet observerade också att dessa system är "löst modellerade på den mänskliga hjärnan". Detta medför en iver att bygga in allt mer bearbetningskomplexitet för att försöka matcha hjärnan. Resultatet av detta mål är ett neuralt nät som "består av tusentals eller till och med miljontals enkla bearbetningsnoder som är tätt sammankopplade". Data rör sig genom dessa noder i endast en riktning. Hardesty observerade att en "enskild nod kan vara ansluten till flera noder i lagret under den, från vilka den tar emot data, och flera noder i lagret ovanför den, till vilken den skickar data".
Modeller av den mänskliga hjärnan var en del av hur dessa neurala nätverk skapades och designades från början. Detta är särskilt intressant när vi betänker att hjärnan själv var ett mysterium för tiden (och på många sätt fortfarande är det).
"Anpassning är hela spelet"
Forskare som Mead och Kohonen ville skapa ett system som verkligen kunde anpassa sig till den värld där det befann sig. Den skulle svara på sina villkor. Mead var tydlig med att värdet i neurala nätverk var att de kunde underlätta denna typ av anpassning. På den tiden, och reflekterar över denna ambition, Mjöd tillsatt att producera anpassning "är hela spelet". Denna anpassning behövs, tänkte han, "på grund av den verkliga världens natur", som han drog slutsatsen är "för varierande för att göra något absolut".
Detta problem behövde räknas med särskilt som, han trodde, detta var något "nervsystemet räknat ut för länge sedan". Dessa innovatörer arbetade inte bara med en bild av hjärnan och dess okända, de kombinerade detta med en vision av den "verkliga världen" och de osäkerheter, okända och variationer som detta medför. Systemen, tyckte Mead, behövde kunna reagera och anpassa sig till omständigheterna utan instruktion.
Ungefär samtidigt på 1990-talet, Stephen Grossberg – en expert på kognitiva system som arbetar med matematik, psykologi och biomedicinsk teknik – hävdade också det anpassningen skulle bli det viktiga steget på längre sikt. Grossberg, när han arbetade med modellering av neurala nätverk, tänkte för sig själv att allt handlar "om hur biologiska mät- och kontrollsystem är utformade för att snabbt och stabilt anpassa sig i realtid till en snabbt fluktuerande värld". Som vi såg tidigare med Kohonens "dröm" om ett "självorganiserande" system, blir en föreställning om den "verkliga världen" det sammanhang där respons och anpassning kodas in i dessa system. Hur den verkliga världen förstås och föreställs formar utan tvekan hur dessa system är utformade för att anpassa sig.
Dolda lager
I takt med att lagren förökade sig, kom djupinlärning till nya djup. Det neurala nätverket tränas med hjälp av träningsdata som, Hardesty förklarade, "matas till det undre lagret – ingångslagret – och det passerar genom de efterföljande lagren, multipliceras och läggs ihop på komplexa sätt, tills det slutligen anländer, radikalt omvandlat, till utlagret". Ju fler lager, desto större transformation och desto större avstånd från input till output. Utvecklingen av Graphics Processing Units (GPUs), till exempel inom spel, tillade Hardesty, "möjliggjorde 1960-talets enskiktsnätverk och 1980-talets två till treskiktsnätverk att blomma ut i tio, 15 eller till och med 50 -lagernätverk av idag”.
Neurala nätverk blir djupare. Det är faktiskt detta tillägg av lager, enligt Hardesty, som är "vad "djupet" i "djupt lärande" refererar till". Detta är viktigt, föreslår han, eftersom "för närvarande är djupinlärning ansvarig för de bäst presterande systemen inom nästan alla områden av forskning om artificiell intelligens".
Men mysteriet blir ännu djupare. När lagren av neurala nätverk har hopats högre har deras komplexitet vuxit. Det har också lett till tillväxten i vad som kallas "dolda lager" inom dessa djup. Diskussionen om det optimala antalet dolda lager i ett neuralt nätverk pågår. Medieteoretikern Beatrice Fazi har skrivit att "på grund av hur ett djupt neuralt nätverk fungerar, som förlitar sig på dolda neurala lager inklämda mellan det första lagret av neuroner (indatalagret) och det sista lagret (outputlagret), är djupinlärningstekniker ofta ogenomskinliga eller oläsliga även för programmerare som ursprungligen satte upp dem”.
När lagren ökar (inklusive de dolda lagren) blir de ännu mindre förklarliga – även, som det visar sig, igen, för dem som skapar dem. En liknande poäng, den framstående och tvärvetenskapliga nya medietänkaren Katherine Hayles noterade också att det finns gränser för "hur mycket vi kan veta om systemet, ett resultat som är relevant för det 'dolda lagret' i neurala nät- och djupinlärningsalgoritmer".
Att jaga det oförklarliga
Sammantaget är dessa långa utvecklingar en del av tekniksociologen Taina Bucher har kallat "det okändas problematik". Utvidgar sin inflytelserika forskning om vetenskaplig kunskap till området AI, Harry Collins har påpekat det Målet med neurala nät är att de kan produceras av en människa, åtminstone initialt, men "när det väl är skrivet lever programmet sitt eget liv, så att säga; utan stor ansträngning kan exakt hur programmet fungerar förbli mystiskt”. Detta har ekon av dessa långvariga drömmar om ett självorganiserande system.
Jag skulle lägga till detta att det okända och kanske till och med det okända har eftersträvats som en grundläggande del av dessa system från deras tidigaste stadier. Det finns en god chans att ju större inverkan som artificiell intelligens kommer att få i våra liv desto mindre kommer vi att förstå hur eller varför.
Men det passar inte många i dag. Vi vill veta hur AI fungerar och hur den kommer fram till de beslut och resultat som påverkar oss. När utvecklingen inom AI fortsätter att forma vår kunskap och förståelse av världen, vad vi upptäcker, hur vi behandlas, hur vi lär oss, konsumerar och interagerar, kommer denna impuls att förstå att växa. När det kommer till förklarlig och transparent AI, berättar historien om neurala nätverk för oss att vi sannolikt kommer längre bort från det målet i framtiden, snarare än närmare det.
David Beer, Professor i sociologi, University of York
Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.
