Napoleon kunde ha lärt sig av det förflutna. målning av Adolph Northen/wikipedia

Det är en klyscha att inte känna till historien får en att upprepa den. Som många också har påpekat är det enda vi lär oss av historien att vi sällan lär oss något av historien. Människor engagerar sig landkrig i Asien om och om. De upprepar också samma dejtingmisstag, om och om igen. Men varför händer detta? Och kommer tekniken att sätta stopp för det?

En fråga är glömska och "myopi”: vi ser inte hur tidigare händelser är relevanta för nuvarande, med utsikt över det utspelade mönstret. Napoleon borde ha lagt märke till likheterna mellan hans marsch mot Moskva och den svenske kungen Karl XII:s misslyckade försök att göra likadant ungefär ett sekel före honom.

Vi är också dålig på att lära sig när saker går fel. Istället för att avgöra varför ett beslut var fel och hur vi ska undvika att det någonsin händer igen, försöker vi ofta ignorera den pinsamma händelseutvecklingen. Det betyder att nästa gång en liknande situation uppstår ser vi inte likheten – och upprepar misstaget.

Båda avslöjar problem med information. I det första fallet kommer vi inte ihåg personlig eller historisk information. I det andra misslyckas vi med att koda information när den är tillgänglig.

Som sagt, vi gör också misstag när vi inte effektivt kan härleda vad som kommer att hända. Kanske är situationen för komplex eller för tidskrävande att tänka på. Eller så är vi partiska att misstolka vad som pågår.

Teknikens irriterande kraft

Men visst kan tekniken hjälpa oss? Vi kan nu lagra information utanför våra hjärnor och använda datorer för att hämta den. Det borde göra det lätt att lära och komma ihåg, eller hur?

Att lagra information är användbart när det går bra att hämta. Men att komma ihåg är inte samma sak som att hämta en fil från en känd plats eller ett känt datum. Att minnas innebär att upptäcka likheter och föra tankarna till saker.

En artificiell intelligens (AI) behöver också spontant kunna skapa likheter i vårt sinne – ofta ovälkomna likheter. Men om den är bra på att märka eventuella likheter (trots allt kan den söka på hela internet och alla våra personuppgifter) kommer den också ofta att märka falska sådana.

För misslyckade dejter kan det noteras att de alla involverade middag. Men det var aldrig maten som var problemet. Och det var en ren slump att det låg tulpaner på bordet – ingen anledning att undvika dem. Vi upprepar ofta dejtingmisstag. 

Det betyder att den kommer att varna oss för saker vi inte bryr oss om, möjligen på ett irriterande sätt. Att sänka känsligheten ökar risken för att inte få en varning när det behövs.

Detta är ett grundläggande problem och gäller lika mycket för alla rådgivare: den försiktige rådgivaren kommer att gråta varg för ofta, den optimistiske rådgivaren missar risker.

En bra rådgivare är någon vi litar på. De är ungefär lika försiktiga som vi, och vi vet att de vet vad vi vill. Detta är svårt att hitta hos en mänsklig rådgivare, och ännu mer i en AI.

Var stoppar tekniken misstag? Idiotsäkring fungerar. Skärmaskiner kräver att du håller ned knapparna och håller händerna borta från knivarna. En "dödmansbrytare" stoppar en maskin om operatören blir arbetsoförmögen.

Mikrovågsugnar stänger av strålningen när dörren öppnas. För att avfyra missiler måste två personer vrida om nycklarna samtidigt över ett rum. Här gör noggrann design misstag svåra att göra. Men vi bryr oss inte tillräckligt om mindre viktiga situationer, vilket gör designen där mycket mindre idiotsäker.

När tekniken fungerar bra litar vi ofta för mycket på den. Flygbolagspiloter har färre verkliga flygtimmar idag än tidigare på grund av autopilotsystemens fantastiska effektivitet. Detta är dåliga nyheter när autopiloten misslyckas, och piloten har mindre erfarenhet att gå på för att rätta till situationen.

Den första av en ny ras av oljeplattform (Sleipnir A) sjönk eftersom ingenjörer litade på mjukvaruberäkningen av krafterna som verkar på den. Modellen var fel, men den presenterade resultaten på ett så övertygande sätt att de såg tillförlitliga ut.

Mycket av vår teknik är otroligt tillförlitlig. Vi märker till exempel inte hur förlorade datapaket på internet ständigt hittas bakom kulisserna, hur felkorrigerande koder tar bort brus eller hur säkringar och redundans gör apparater säkra.

Men när vi staplar på nivå efter nivå av komplexitet ser det väldigt opålitligt ut. Vi märker när Zoom-videon släpar, AI-programmet svarar fel eller datorn kraschar. Men fråga alla som använde en dator eller bil för 50 år sedan hur de faktiskt fungerade, och du kommer att märka att de var både mindre kapabla och mindre pålitliga.

Vi gör tekniken mer komplex tills den blir för irriterande eller osäker att använda. I takt med att delarna blir bättre och mer tillförlitliga väljer vi ofta att lägga till nya spännande och användbara funktioner istället för att hålla fast vid det som fungerar. Detta gör i slutändan tekniken mindre tillförlitlig än den skulle kunna vara.

Misstag kommer att göras

Det är också därför AI är ett tveeggat svärd för att undvika misstag. Automatisering gör ofta saker säkrare och effektivare när det fungerar, men när det misslyckas gör det problemet mycket större. Autonomi innebär att smart mjukvara kan komplettera vårt tänkande och avlasta oss, men när den inte tänker som vi vill att den ska, kan den missköta sig.

Ju mer komplext det är, desto mer fantastiska kan misstagen bli. Alla som har handlat med mycket intelligenta forskare vet hur väl de kan stöka till saker med stor uppfinningsrikedom när deras sunda förnuft sviker dem – och AI har väldigt lite mänskligt sunt förnuft.

Detta är också en djupgående anledning att oroa sig för AI som vägleder beslutsfattande: de gör nya typer av misstag. Vi människor känner till mänskliga misstag, vilket betyder att vi kan se upp för dem. Men smarta maskiner kan göra misstag som vi aldrig kunde föreställa oss.

Dessutom är AI-system programmerade och tränade av människor. Och det finns massor av exempel på sådana system blir partisk och till och med trångsynt. De härmar fördomarna och upprepar misstagen från den mänskliga världen, även när de inblandade uttryckligen försöker undvika dem.

I slutändan kommer misstag att fortsätta hända. Det finns grundläggande skäl till varför vi har fel om världen, varför vi inte kommer ihåg allt vi borde och varför vår teknik inte kan hjälpa oss att undvika problem.

Men vi kan arbeta för att minska konsekvenserna av misstag. Ångra-knappen och autospara har sparat otaliga dokument på våra datorer. Monumentet i London, tsunami stenar i Japan och andra monument agerar för att påminna oss om vissa risker. God designpraxis gör våra liv säkrare.

I slutändan är det möjligt att lära sig något av historien. Vårt mål bör vara att överleva och lära av våra misstag, inte hindra dem från att någonsin hända. Tekniken kan hjälpa oss med detta, men vi måste tänka noga på vad vi faktiskt vill ha av den – och designa därefter.

Om författaren

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute & Oxford Martin School, University of Oxford

Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.