Vi lever i en värld som både blir allt mer komplex och automatiserad. Så precis som vi måste hantera mer komplexa problem, leder automatisering till en atrofi av mänskliga färdigheter som kan göra oss mer sårbara när vi reagerar på oväntade situationer eller när saker går fel.

Överväga sista minuterna av Air France Flight 447, som kraschade i Atlanten i maj 2009 efter att ha lämnat Rio de Janeiro, Brasilien, för Paris, Frankrike.

Dess flygmätare avslöjade fullkomlig förvirring i sittbrunnen. Planet lutade uppåt i 15º med en automatisk röst som upprepade gånger kallade "stall, stall". Ändå rullade piloterna, en utropade: "[...] vi förstår ingenting."

Det här är inte platsen att gå in på den olycksdrabbade flygningen, annat än att notera att alla system som utformats för att hantera oförutsedda händelser, större delen av tiden, lämnar en försämrad kompetensbas för den minoritet av situationer som designerna inte kunde förutse.

Tala till FÅFÄNGANS MARKNAD, minns Nadine Sarter, en industriingenjör vid University of Michigan, ett samtal med fem ingenjörer som var involverade i att bygga ett speciellt flygplan.

Jag började fråga: 'Ja, hur fungerar det eller det?' Och de kunde inte enas om svaren. Så jag tänkte, om dessa fem ingenjörer inte kan komma överens, den stackars piloten, om han någonsin råkar ut för den speciella situationen … ja, lycka till.

I själva verket har komplexiteten i att klokt flyga mycket intrikata högteknologiska flygplan lagts ut på en robot, med flygingenjörer i alla avseenden borta från cockpits. Endast äldre piloter och ex flygvapenpiloter behåller dessa detaljerade färdigheter.

Tillbaka på terra firma, i en värld av autonom körning kan det finnas hela framtida generationer utan någon som helst praktisk erfarenhet av körning och navigering ett fordon.

Vi ser redan en indikation på vad kan gå fel när människor lämnar kontrollen till autonoma system.

En undersökning av dödsolycka av en Tesla Model S med autopilot noterade att företaget lämnade information om "systembegränsningar" till förare. I så fall är det fortfarande upp till förarna att vara uppmärksamma.

Men vilken chans skulle en person ha att ta över eventuella kontroller om saker och ting skulle börja gå fel i framtiden helt autonomt fordon. Skulle de ens veta hur man upptäcker de tidiga tecknen på annalkande katastrof?

Tappa vägen?

Att driva detta är en teknisk determinism som tror att all innovation är i sig bra. Även om framväxande teknologier ännu kan definiera vad det är att vara människa, är utmaningen att inse risken och vad man ska göra för att se till att det inte går fel.

Det blir svårare eftersom vi har ökat komplexiteten, särskilt med autonom körning av förortståg, flyg taxibilar och leveransdronor.

Systemdesigners har byggt större och mer sammanflätade system för att dela datorbearbetningsbelastning även om detta gör deras skapelser till de främsta kandidaterna för sammanbrott. De förbiser det faktum att när allt väl är uppkopplat kan problem spridas lika lätt som lösningar, ibland mer.

Den växande och enorma komplexiteten i en automatiserad värld utgör liknande risker.

Faropunkter

Så här i efterhand, vad som behövs är en förmåga att klippa nätverk fria när det finns felpunkter, eller åtminstone att stänga av delar av ett enskilt nätverk när det finns felpunkter någon annanstans inom det.

Denna "ö" är en egenskap hos smarta elnät som ger utrymme för att dela upp nätverket i fragment som själv kan upprätthålla sitt interna strömbehov. Modellering har visat det färre anslutningar kan leda till mer säkerhet.

Kan framväxande komplexitetsvetenskap hjälpa till att peka ut var faropunkterna kan ligga i starkt sammanlänkade nätverk? Mårten Scheffer och kollegor trodde det. Han hade sett likheter mellan beteendet hos (hans) naturliga system och ekonomiska och finansiella system.

Hans tidigare arbete på sjöar, korallrev, hav, skogar och gräsmarker, fann att miljöer utsatta för gradvisa förändringar som klimat, näringsbelastning och förlust av livsmiljöer kan nå tipppunkter som vänder dem till ett ibland oåterkalleligt lägre tillstånd.

Kan bankirer och ekonomer som brottas med stabiliteten på finansmarknaderna lära sig av forskare inom ekologi, epidemiologi och klimatologi för att utveckla markörer för närheten till kritiska trösklar och systemnedbrytning?

I februari 2016 samlades allt detta i form av en uppsats om komplexitetsteori och finansiell reglering medförfattare av ett brett spektrum av experter inklusive en ekonom, bankir, fysiker, klimatolog, ekolog, zoolog, veterinär och epidemiolog.

De rekommenderade en onlineintegrering av data, metoder och indikatorer, vilket ingick i stresstester för globala socioekonomiska och finansiella system i nästan realtid. Det förra liknar det som har uppnåtts när det gäller att hantera andra komplexa system som vädret.

Vi kan börja se hur vårt exempel på en autonom körvärld viks över i frågor om nätverksstabilitet. Föreställ dig ett starkt sammankopplat nätverk av autonoma fordon.

Det finns ett tydligt behov av att veta hur man upptäcker och isolerar eventuella felpunkter i ett sådant nätverk, innan det går fel med potentiellt tragiska konsekvenser. Detta är mer än att bara skydda förare och passagerare från alla systemfel i ett enda autonomt fordon.

Det är dags att fundera över hur vi kan använda dessa multidisciplinära framsteg för att förstå stabiliteten i sådana storskaliga nätverk för att undvika drastiska konsekvenser.

Om författaren

Peter Fisher, adjungerad professor, globala, urbana och samhällsstudier, RMIT University

Den här artikeln publicerades ursprungligen den Avlyssningen. Läs ursprungliga artikeln.

relaterade böcker

at InnerSelf Market och Amazon