fågelapp 12 31

(Kredit: Drew Weber / Cornell Lab of Ornithology)

Merlin Bird Photo ID mobilapp kan identifiera hundratals nordamerikanska arter som det ser "på bilder" tack vare maskininlärningsteknik.

När den har laddats ner på en mobilenhet kan appen gå någonstans, till och med platser utan mobiltelefon eller Wi-Fi.

"När du öppnar Merlin Bird Photo ID-appen blir du frågad om du vill ta en bild med din smartphone eller dra in en bild från din digitalkamera, säger Merlin-projektledaren Jessie Barry vid Cornell Lab of Ornithology. "Du zoomar in på fågeln, bekräftar datum och plats, och Merlin kommer visa dig de bästa valen för en match bland de 650 nordamerikanska arter som den vet."

Vingar, näbb och klor

Caltech och Cornell Tech datavetenskapare utbildade Merlin att känna igen fåglar genom att visa det nästan 1 miljoner bilder som samlades in och kommenterades av birders och volontärer som mobiliserades av Cornell Lab. Anteckningar inkluderar fågelens arter samt viktiga punkter som identifierar fysiska element som vingar, näbben och klor.

När en användare av appen presenterar den med en fågel att identifiera, väljer Merlin arter som nära matchar dessa egenskaper. Precis som någon bra birder anser systemet att det finns sådana som skulle hittas vid den specifika tiden på året och på den platsen med hjälp av information från eBird, en online fågelresurs som samlar in och registrerar ett genomsnitt av 7 miljoner fågelobservationsrekord varje månad från hela världen .


innerself prenumerera grafik


"Vid byggandet av Merlin Bird Photo ID var vi särskilt bekymrade över kvaliteten och organisationen av data", säger Serge Belongie, professor i datavetenskap vid Cornell Tech. Tillsammans med Pietro Perona från California Institute of Technology (Caltech) är han grundare av Visipedia, det Google-finansierade paraplyprojektet som använder framsteg i maskininlärning och datorsyn för att hjälpa till att klassificera objekt i fotografier.

"I slutändan vill vi skapa en öppen plattform som alla samhällen kan använda för att skapa ett visuellt klassificeringsverktyg för fjärilar, grodor, växter eller vad de behöver", säger Belongie.

"Den här appen är kulminationen på sju år av våra elevernas hårda arbete och drivs av de enorma framsteg som datasyn och maskinlärande forskare gör runt om i världen", säger Perona, professor i elteknik i Caltechs division of engineering och tillämpad vetenskap. "En maskin som känner igen objekt i bilder, som människor gör, var en avlägsen dröm när jag var en doktorand och nu är det äntligen händer."

Bra bilder, bra matcher

Hur bra är Merlin Bird Photo ID? "Noggrannhet ligger runt 90 procent om användarens foto är av god kvalitet. Skicka in en fuzzy bild eller en där fågeln är liten eller delvis täckt av löv och oddsen att få en exakt match går ner ", säger Steve Branson, senior postdoktor i elteknik vid Caltech.

Trots de högteknologiska framstegen är människor fortfarande en viktig del av processen. "Vi behöver eBird-data från fågelskådare tillsammans med experter som kan märka bilderna som används för att träna Merlin", säger Caltech-studenten Grant Van Horn. "Du behöver lärare att lära ut maskinen vad den behöver göra. Vårt system kombinerar kompetensen hos hundratals fågelskådare och ornitologer. "Van Horn och Branson är båda en del av Visipedia-teamet och utvecklade algoritmerna som gör det möjligt för Merlin att lära känna igen fåglarna.

Global täckning att komma

Strax runt hörnet finns en Merlin Bird Photo ID-frisättning på spanska för fåglar i Mexiko. På vägen kommer Merlin-laget att producera versioner för Sydamerika, Europa, Asien, Afrika och Australien - så småningom expandera för att täcka världen.

"Det underbara med projektet är samarbetet med Visipedia-laget", säger Barry. "Vi har en produkt som verkligen fungerar för att den stöds av fantastisk forskning och är utmärkt för fågeldemenskapen eftersom det är byggt för fågelskådare av fågelskådare."

Det uppdaterade Merlin Bird Photo ID är gratis för iOS eller Android-system från Apple iTunes och Google Play app butiker. Det är ett par med den ursprungliga Merlin-appen, släppt i 2014, som använder några korta frågor för att hjälpa användarna att begränsa identiteten hos en ny fågel.

Merlin Bird Photo ID drivs av Visipedia med stöd från Google, Jacobs Technion-Cornell Institute och National Science Foundation.

källa: Caltech

Relaterade böcker:

at InnerSelf Market och Amazon