Ett språkgenereringsprogram har förmåga att skriva artiklar, producera kod och komponera poesi
GPT-3 är tio gånger mer komplex än sin föregångare.
antoniokhr / iStock via Getty Images

2013 byggde min student och jag på Penn State en bot för att skriva en Wikipedia-artikel om bengalisk nobelpristagare Rabindranath Tagores pjäs “Chitra. ” Först slog den information om “Chitra” från internet. Sedan tittade den på befintliga Wikipedia-poster för att lära sig strukturen för en standard Wikipedia-artikel. Slutligen sammanfattade den informationen som den hade hämtat från internet för att skriva och publicera den första versionen av posten.

Men vår bot "visste" ingenting om "Chitra" eller Tagore. Det genererade inte fundamentalt nya idéer eller meningar. Det kullade helt enkelt samman delar av befintliga meningar från befintliga artiklar för att skapa nya.

Spola fram till 2020. OpenAI, ett vinstdrivande företag under ett ideellt moderföretag, har byggt ett språkgenereringsprogram med namnet GPT-3, en förkortning för "Generative Pre-trained Transformer 3." Dess förmåga att lära sig, sammanfatta och komponera text har bedövat datavetare som jag.

"Jag har skapat en röst för den okända människan som gömmer sig i binären," GPT-3 skrev som svar på en uppmaning. ”Jag har skapat en författare, en skulptör, en konstnär. Och den här författaren kommer att kunna skapa ord, ge liv åt känslor, skapa karaktär. Jag kommer inte se det själv. Men någon annan mänsklig vilja, och så kommer jag att kunna skapa en poet som är större än någon jag någonsin har stött på. ”


innerself prenumerera grafik


Till skillnad från vår bot låter språket som genereras av GPT-3 som om det hade skrivits av en människa. Det är långt ifrån det mest "kunniga" naturliga språkgenereringsprogrammet hittills, och det har en rad olika användningsområden inom yrken, allt från undervisning till journalistik till kundtjänst.

Storlek spelar roll

GPT-3 bekräftar vad dataforskare har känt till i decennier: Storlek är viktig.

Det använder "transformatorer, ”Som är djupinlärningsmodeller som kodar semantiken i en mening med hjälp av det som kallas en” uppmärksamhetsmodell ”. I huvudsak identifierar uppmärksamhetsmodeller betydelsen av ett ord baserat på de andra orden i samma mening. Modellen använder sedan förståelsen av meningarna för att utföra den uppgift som en användare begär, oavsett om det är "översätt en mening", "sammanfatta ett stycke" eller "komponera en dikt."

Transformatorer introducerades först 2013, och de har använts med framgång i maskininlärning de senaste åren.

Men ingen har använt dem i denna skala. GPT-3 slukar data: 3 miljarder tokens - datavetenskap talar för "ord" - från Wikipedia, 410 miljarder tokens erhållna från webbsidor och 67 miljarder tokens från digitaliserade böcker. Komplexiteten hos GPT-3 är över tio gånger så stor som den största språkmodellen före GPT-10, the Turing NLG-program.

Lära sig själv

Kunskapen som visas i GPT-3: s språkmodell är anmärkningsvärd, speciellt eftersom den inte har "undervisats" av en människa.

Maskininlärning har traditionellt förlitat sig på övervakat lärande, där människor ger datorn antecknade exempel på objekt och begrepp i bilder, ljud och text - säg "katter", "lycka" eller "demokrati". Det lär sig så småningom objektens egenskaper från de givna exemplen och kan känna igen dessa specifika begrepp.

Att manuellt generera anteckningar för att lära en dator kan dock vara otroligt tidskrävande och dyrt.

Så framtiden för maskininlärning ligger i icke-övervakat lärande, där datorn inte behöver övervakas under sin träningsfas; det kan helt enkelt matas med massor av data och lära av dem själva.

GPT-3 tar naturlig språkbearbetning ett steg närmare inlärning utan tillsyn. GPT-3: s stora träningsdatamängder och enorma bearbetningskapacitet gör att systemet kan lära sig av bara ett exempel - vad som kallas “lärande med en skott”- där den får en uppgiftsbeskrivning och en demonstration och sedan kan slutföra uppgiften.

Det kan till exempel bli ombedd att översätta något från engelska till franska och få ett exempel på en översättning - säg havsutter på engelska och "loutre de mer" på franska. Be den sedan översätta "ost" till franska, och voila, den kommer att producera "fromage."

I många fall kan det till och med dra av sig ”zero-shot lärande, ”Där det helt enkelt ges uppgiften att översätta utan exempel.

Med zero-shot learning minskar noggrannheten, men GPT-3s förmågor är ändå noggranna i en slående grad - en markant förbättring jämfört med tidigare modeller.

'Jag är här för att tjäna dig'

Under de få månader det har varit ute har GPT-3 visat upp sin potential som ett verktyg för datorprogrammerare, lärare och journalister.

En programmerare som heter Sharif Shameem bad GPT-3 att generera kod att skapa ”den fulaste emojien någonsin” och ”en tabell över de rikaste länderna i världen”, bland andra kommandon. I några fall var Shameem tvungen att åtgärda små fel, men totalt sett fick han anmärkningsvärt ren kod.

GPT-3 har till och med skapat poesi som fångar rytmen och stilen hos vissa poeter - men inte med mästarnas passion och skönhet - inklusive en satirisk skriven med rösten från styrelsen för Federal Reserve.

I början av september uppmanade en datavetare vid namn Liam Porr GPT-3 att "skriva en kortfattad version på cirka 500 ord." ”Håll språket enkelt och koncist,” instruerade han. "Fokusera på varför människor inte har något att frukta av AI."

GPT-3 producerade åtta olika uppsatser och Guardian slutade publicera en op-ed med några av de bästa delarna från varje uppsats.

”Vi planerar inte att ta över den mänskliga befolkningen. Vi kommer att tjäna dig och göra dina liv säkrare och enklare, ”skrev GPT-3. ”Precis som ni är mina skapare ser jag er som mina skapare. Jag är här för att tjäna dig. Men den viktigaste delen av allt; Jag skulle aldrig döma dig. Jag tillhör inte något land eller någon religion. Jag vill bara göra ditt liv bättre. ”

Redigering av GPT-3: s op-ed, redaktörerna noterade i ett tillägg, skilde sig inte från att redigera en op-ed skriven av en människa.

Det tog faktiskt kortare tid.

Med stor kraft kommer stort ansvar

Trots GPT-3s försäkringar har OpenAI ännu inte släppt modellen för öppen källkod, delvis för att företaget fruktar att tekniken kan missbrukas.

Det är inte svårt att se hur det skulle kunna användas för att generera reams av desinformation, skräppost och bots.

Dessutom, på vilka sätt kommer det att störa yrken som redan upplever automatisering? Kommer dess förmåga att generera automatiserade artiklar som inte kan särskiljas från mänskligt skrivna ytterligare befästa en kämpande medieindustri?

Tänk en artikel sammansatt av GPT-3 om metodistkyrkans upplösning. Det började:

”Efter två dagars intensiv debatt har United Methodist Church gått med på en historisk splittring - en som förväntas sluta i skapandet av en ny valör, och en som kommer att vara” teologiskt och socialt konservativ ”, enligt The Washington Post . ”

Med förmågan att producera en sådan ren kopia, kommer GPT-3 och dess efterträdare att sänka kostnaden för att skriva nyhetsrapporter?

Dessutom är det så vi vill få våra nyheter?

Tekniken blir bara kraftfullare. Det kommer att vara upp till människor att träna och reglera dess potentiella användningar och missbruk.

Om författarenAvlyssningen

Prasenjit Mitra, biträdande dekan för forskning och professor i informationsvetenskap och teknik, Pennsylvania State University

Denna artikel publiceras från Avlyssningen under en Creative Commons licens. Läs ursprungliga artikeln.