päivitetty viimeksi 5.heinäkuuta 2019

kasvojentunnistuksen ongelmana on tunnistaa ja todentaa valokuvassa olevat ihmiset heidän kasvojensa perusteella.

se on tehtävä, jota ihmiset triviaalisti suorittavat, jopa vaihtelevassa valossa ja kun kasvot muuttuvat iän mukaan tai tukistuvat asusteilla ja kasvojen karvoituksella. Kuitenkin, se on pysynyt haastava tietokoneen visio ongelma vuosikymmeniä viime aikoihin asti.

Syväoppimismenetelmillä pystytään hyödyntämään hyvin suuria tietokokonaisuuksia kasvoista ja oppimaan runsaita ja kompakteja kuvauksia kasvoista, jolloin nykyaikaiset mallit pystyvät ensin suoriutumaan ja myöhemmin päihittämään ihmisten kasvojentunnistuskyvyt.

tässä postauksessa selviää kasvojentunnistuksen ongelma ja se, miten syväoppimismenetelmillä voidaan saavuttaa yli-inhimillinen suorituskyky.

tämän postauksen luettuasi tiedät:

• kasvojentunnistus on laaja ongelma ihmisten tunnistamisessa tai todentamisessa valokuvista ja videoista.
• kasvojentunnistus on prosessi, joka koostuu tunnistuksesta, kohdistuksesta, piirteiden poistosta ja tunnistustehtävästä
• Syväoppimismallit lähestyivät ensin ja ylittivät sitten ihmisen suorituskyvyn kasvojentunnistustehtävissä.

Kick-start your project with my new book Deep Learning for Computer Vision, including step-by-step tutorials and the Python source code files for all examples.

aloitetaan.

yleiskatsaus

Tämä opetusohjelma on jaettu viiteen osaan; ne ovat:

1. kasvot valokuvissa
2. Automaattinen Kasvojentunnistustehtävä
3. Kasvojentunnistustehtävät
4. Kasvojentunnistustehtävät
5. Syväoppiminen kasvojentunnistusta varten

kasvot valokuvissa

usein on tarpeen automaattisesti tunnistaa henkilöt valokuvassa.

on monia syitä, miksi ihminen halutaan tunnistaa automaattisesti valokuvasta.

esimerkiksi:

• haluamme ehkä rajoittaa resurssin käytön yhteen henkilöön, jota kutsutaan kasvotunnistukseksi.
• haluamme ehkä vahvistaa, että henkilö vastaa heidän henkilöllisyystodistustaan, jota kutsutaan kasvotarkastukseksi.
• haluamme ehkä antaa kasvoille nimen, jota kutsutaan kasvotunnistukseksi.

yleisesti tätä kutsutaan automaattisen ”kasvojentunnistuksen” ongelmaksi, ja se voi koskea sekä still-valokuvia että kasvoja videovirrassa.

ihmiset suoriutuvat tästä tehtävästä hyvin helposti.

voimme löytää kasvot kuvasta ja kommentoida, keitä ihmiset ovat, jos heidät tunnetaan. Voimme tehdä tämän erittäin hyvin, esimerkiksi kun ihmiset ovat ikääntyneet, heillä on aurinkolasit, heillä on eriväriset hiukset, he katsovat eri suuntiin ja niin edelleen. Voimme tehdä tämän niin hyvin, että löydämme kasvoja sieltä, missä niitä ei ole, kuten pilvistä.

Tämä on kuitenkin edelleen vaikea ongelma suoriutua automaattisesti ohjelmistoilla, jopa yli 60 vuoden tutkimuksen jälkeen. Ehkä aivan viime aikoihin asti.

esimerkiksi ulkoilmassa otettujen kasvokuvien tunnistaminen valaistuksessa ja / tai asennossa tapahtuvine muutoksineen on edelleen suurelta osin ratkaisematon ongelma. Toisin sanoen nykyiset järjestelmät ovat vielä kaukana ihmisen havaintojärjestelmän kyvystä.

— Face Recognition: A Literature Survey, 2003.

Haluatko syväoppimisen tuloksia Tietokonenäköön?

ota ilmainen 7 päivän sähköpostin pikakurssi nyt (näytekoodilla).

klikkaa ilmoittautuaksesi ja saat myös ilmaisen PDF Ebook-version kurssista.

lataa ilmainen Minikurssi

Automaattinen Kasvojentunnistusprosessi

kasvojentunnistuksessa on ongelmana kasvojen tunnistaminen tai todentaminen valokuvassa.

yleinen toteamus kasvojen koneellisen tunnistamisen ongelmasta voidaan muotoilla seuraavasti: jos kohtauksesta otetaan still— tai videokuvaa, tunnistetaan tai todennetaan yksi tai useampi kohtauksessa oleva henkilö käyttäen kasvoista tallennettua tietokantaa

– Face Recognition: A Literature Survey, 2003.

kasvojentunnistus kuvataan usein prosessina, joka käsittää ensin neljä vaihetta; ne ovat: kasvojentunnistus, kasvojen kohdistus, piirteiden poisto ja lopuksi kasvojentunnistus.

1. kasvojentunnistus. Etsi kuvasta yksi tai useampi Tahko ja merkitse rajauslaatikolla.
2. kasvojen linjaus. Normalisoida Kasvot yhdenmukaisiksi tietokannan kanssa, kuten geometria ja fotometriikka.
3. Feature Extraction. Pura kasvoista ominaisuuksia, joita voidaan käyttää tunnistustehtävässä.
4. kasvojentunnistus. Suorita kasvojen sovittaminen yhteen tai useampaan tunnettuun kasvoon valmiissa tietokannassa.

tietyssä järjestelmässä voi olla erillinen moduuli tai ohjelma jokaista vaihetta varten, kuten perinteisesti on tehty, tai se voi yhdistää osan tai kaikki vaiheet yhdeksi prosessiksi.

hyödyllinen yleiskatsaus tästä prosessista on alla olevassa kirjassa ”Handbook of Face Recognition”:

Kasvojentunnistustehtävä

Kasvojentunnistustehtävä on ei-triviaali ensimmäinen vaihe kasvojentunnistuksessa.

se on objektintunnistuksen ongelma, joka edellyttää, että sekä jokaisen kuvan kasvojen sijainti tunnistetaan (esim.sijainti) että kasvojen laajuus paikallistetaan (esim. rajauslaatikolla). Objektintunnistus itsessään on haastava ongelma, joskin tässä tapauksessa se on samankaltainen, sillä lokalisoitavia objekteja on vain yhdenlaisia, esimerkiksi kasvoja, joskin kasvot voivat vaihdella rajusti.

ihmiskasvo on dynaaminen esine ja sen ulkonäkö vaihtelee suuresti, mikä tekee kasvojen tunnistamisesta vaikean ongelman tietokoneen näkökyvyssä.

— Face Detection: a Survey, 2001.

edelleen, koska se on ensimmäinen askel laajemmassa kasvojentunnistusjärjestelmässä, kasvojentunnistuksen on oltava vankkaa. Esimerkiksi kasvoja ei voi tunnistaa, jos niitä ei voi ensin havaita. Se tarkoittaa, että Kasvot täytyy havaita kaikenlaisilla suuntauksilla, kulmilla, valotasoilla, kampauksilla, hatuilla, silmälaseilla, kasvokarvoilla, meikeillä, iillä ja niin edelleen.

visuaalisena etupään prosessorina myös kasvojentunnistusjärjestelmän pitäisi pystyä tehtävään valaistuksesta, suunnasta ja kameran etäisyydestä riippumatta

-Face Detection: a Survey, 2001.

vuonna 2001 julkaistussa julkaisussa ”Face Detection: a Survey” esitetään kasvojentunnistusmenetelmien taksonomia, joka voidaan jakaa karkeasti kahteen pääryhmään:

• Ominaisuuspohjaiseen.
• kuvapohjainen.

ominaisuuteen perustuvassa kasvojentunnistuksessa käytetään käsityönä tehtyjä suodattimia, jotka etsivät ja paikantavat kasvoja valokuvista verkkotunnuksen syvällisen tuntemuksen perusteella. Ne voivat olla erittäin nopeita ja tehokkaita, kun Suodattimet täsmäävät, vaikka ne voivat epäonnistua dramaattisesti, kun ne eivät täsmää, esim.tehden niistä hieman hauraita.

… käytä eksplisiittisesti kasvojen tuntemusta ja noudata klassista detektiomenetelmää, jossa matalan tason piirteet johdetaan ennen tietoon perustuvaa analyysia. Kasvojen näennäisiä ominaisuuksia, kuten ihonväriä ja kasvojen geometriaa, hyödynnetään järjestelmän eri tasoilla.

— Face Detection: a Survey, 2001.

vuorotellen kuvapohjainen kasvojentunnistus on kokonaisvaltaista ja oppii automaattisesti paikantamaan ja poimimaan Kasvot koko kuvasta. Neuroverkot sopivat tähän menetelmäluokkaan.

… osoitekasvojen tunnistus yleisenä tunnistusongelmana. Kuvapohjaiset kasvojen esitykset, esimerkiksi 2D-intensiteettimatriiseissa, luokitellaan suoraan kasvoryhmään harjoitusalgoritmien avulla ilman ominaisuuksien derivointia ja analysointia. nämä suhteellisen uudet tekniikat sisällyttävät kasvotiedon implisiittisesti järjestelmään kartoitus-ja koulutusohjelmien kautta.

— Face Detection: a Survey, 2001.

ehkä hallitseva kasvojentunnistusmenetelmä, jota käytettiin monien vuosien ajan (ja jota käytettiin monissa kameroissa), kuvattiin vuonna 2004 julkaistussa julkaisussa ”Robust Real-time Object Detection”, jota kutsutaan ilmaisimen kaskadiksi tai yksinkertaisesti ”kaskadiksi.”

heidän detektorinsa, jota kutsutaan detektorikaskadiksi, koostuu yksinkertaisista monimutkaisiin kasvoluokittajiin kuuluvasta sarjasta, ja se on herättänyt laajaa tutkimustyötä. Lisäksi detector cascade on otettu käyttöön monissa kaupallisissa tuotteissa, kuten älypuhelimissa ja digitaalikameroissa. Vaikka kaskadinpaljastimet pystyvät tarkasti löytämään näkyvät pystysuorat kasvot, ne eivät useinkaan pysty havaitsemaan eri kulmista tulevia kasvoja, esimerkiksi sivunäkymiä tai osittain peitettyjä kasvoja.

— Multi-view Face Detection Using Deep Convolutional Neural Networks, 2015.

syväoppimisen opetusohjelma kasvojentunnistukseen katso:

• miten kasvojen tunnistus suoritetaan syväoppimisen kanssa Kerasissa

Kasvojentunnistustehtävät

kasvojentunnistuksen tehtävä on laaja ja se voidaan räätälöidä ennustusongelman erityistarpeisiin.

esimerkiksi vuonna 1995 julkaistussa artikkelissa ”Human and machine recognition of faces: a survey” kirjoittajat kuvailevat kolmea kasvojentunnistustehtävää:

• Kasvojentunnistustehtävää: Etsi Paras vastine annetuille kasvoille.
• kasvojen samankaltaisuus: Etsi kasvot, jotka muistuttavat eniten annettuja kasvoja.
• Kasvomuunnos: luo uusia kasvoja, jotka muistuttavat annettuja kasvoja.

he tiivistävät nämä kolme erillistä tehtävää seuraavasti:

Matching edellyttää, että kasvokuvaa vastaava ehdokas on jossakin järjestelmän valitsemassa kasvokuvajoukossa. Samankaltaisuuden toteaminen edellyttää sen lisäksi, että löydetään kuvia kasvoista, jotka muistuttavat muistettuja kasvoja, tämä edellyttää, että tunnistusjärjestelmän käyttämä samankaltaisuuden mitta vastaa läheisesti ihmisten Muuntumissovellusten käyttämiä samankaltaisuuden mittareita, mikä edellyttää, että järjestelmän luomat uudet kuvat ovat samanlaisia kuin ihmisten muistikuvat kasvoista.

— Human and machine recognition of faces: a survey, 1995.

vuonna 2011 ilmestynyt kasvojentunnistusta käsittelevä kirja nimeltä ”Handbook of Face Recognition” kuvaa kahta kasvojentunnistuksen päätapaa seuraavasti:

• kasvojen verifiointi. Kahdenkeskinen kartoitus annetuista kasvoista tunnettua identiteettiä vastaan (esim. onko tämä henkilö?).
• kasvojen tunnistus. Yksi-monta kartoitus tietyn Kasvot tietokantaa vastaan tunnettuja kasvoja (esim. kuka tämä henkilö on?).

kasvojentunnistusjärjestelmän odotetaan tunnistavan kuvissa ja videoissa esiintyvät kasvot automaattisesti. Se voi toimia joko tai molemmat kaksi tilaa: (1) face verification (tai authentication), ja (2) face identification (tai tunnistaminen).

— Page 1, Handbook of Face Recognition. 2011.

voimme kuvata kasvojentunnistuksen ongelmaa valvotuksi ennakoivaksi mallinnustehtäväksi, jota koulutetaan näytteillä, joissa on panoksia ja ulostuloja.

kaikissa tehtävissä syöte on kuva, joka sisältää vähintään yhden kasvot, todennäköisimmin havaitun kasvot, jotka ovat myös saattaneet olla linjassa.

tuloste vaihtelee tehtävän edellyttämän ennustetyypin mukaan; esimerkiksi:

• se voi tällöin olla binääriluokan merkki tai binääriluokan todennäköisyys, jos kyseessä on kasvotarkastustehtävä.
• se voi olla kategorinen luokkamerkintä tai joukko todennäköisyyksiä kasvojen tunnistustehtävälle.
• se voi olla samankaltaisuusmittari, jos kyseessä on samankaltaisuustyyppinen tehtävä.

kasvojentunnistuksen Syväoppiminen

kasvojentunnistus on pysynyt aktiivisena tutkimusalueena tietokonenäössä.

ehkä yksi laajemmin tunnetuista ja hyväksytyistä ”koneoppimisen” menetelmistä kasvojentunnistukseen kuvattiin vuonna 1991 julkaistussa julkaisussa ”kasvojentunnistus Eigenfacesin avulla.”Heidän menetelmänsä, nimeltään yksinkertaisesti ”Eigenfaces”, oli virstanpylväs, sillä se saavutti vaikuttavia tuloksia ja osoitti yksinkertaisten kokonaisvaltaisten lähestymistapojen kyvyn.

kasvokuvat projisoidaan ominaisuusavaruuteen (”kasvoavaruus”), joka parhaiten koodaa tunnettujen kasvokuvien vaihtelua. Kasvoavaruuden määrittelevät” eigenfaces”, jotka ovat tahkojen joukon eigenvektoreita; ne eivät välttämättä vastaa yksittäisiä ominaisuuksia, kuten silmiä, korvia ja neniä

— Kasvontunnistus Eigenfaces-menetelmällä, 1991.

vuoden 2018 paperi nimeltä ”Deep Face Recognition: A Survey” tarjoaa hyödyllisen yhteenvedon kasvojentunnistustutkimuksen tilasta viimeisten lähes 30 vuoden ajalta, korostaen laajaa suuntausta holistisista oppimismenetelmistä (kuten Eigenfaces) paikallisiin käsityönä tehtyihin ominaisuuksien tunnistamiseen, pinnallisiin oppimismenetelmiin ja lopuksi syväoppimismenetelmiin, jotka ovat tällä hetkellä uusinta tekniikkaa.

kokonaisvaltaiset lähestymistavat hallitsivat kasvojentunnistusyhteisöä 1990-luvulla. 2000-luvun alussa yleistyivät käsityönä tehdyt paikalliskuvaukset, ja 2000-luvun lopulla otettiin käyttöön paikallinen ominaisuusoppimisen lähestymistapa. suorituskyky paranee tasaisesti noin 60%: sta yli 90%: iin, kun taas syväoppiminen nostaa suorituskyvyn 99,80%: iin vain kolmessa vuodessa.

— Deep Face Recognition: A Survey, 2018.

koska AlexNet teki läpimurron vuonna 2012 yksinkertaisemman kuvanluokitusongelman vuoksi, vuosina 2014 ja 2015 ilmestyi runsaasti tutkimuksia ja julkaisuja kasvojentunnistuksen syväoppimismenetelmistä. Ominaisuudet nopeasti saavutettu lähes ihmisen tason suorituskykyä, sitten ylitti ihmisen tason suorituskykyä standardin kasvojentunnistuksen dataset kolmen vuoden aikana, mikä on hämmästyttävä määrä parannusta, kun otetaan huomioon aikaisempien vuosikymmenten vaivaa.

on olemassa ehkä neljä Milestone-järjestelmää, jotka edistivät syväoppimista kasvojentunnistukseen; ne ovat: DeepFace, DeepID-järjestelmäsarja, VGGFace ja FaceNet. Katsotaanpa lyhyesti kunkin.

DeepFace on järjestelmä, joka perustuu Yaniv Taigmanin, et al. Facebookista TEKOÄLYTUTKIMUKSESTA ja Tel Avivista. Se kuvattiin vuonna 2014 julkaistussa artikkelissa ”DeepFace: Closing the Gap to Human-Level Performance in Face Verification.”Se oli ehkä ensimmäinen suuri harppaus eteenpäin käyttämällä syväoppimista kasvojentunnistukseen, saavuttaen lähes inhimillisen tason suorituskyvyn standardoidulla vertailuaineistolla.

menetelmämme saavuttaa 97,35%: n tarkkuuden merkityillä Faces in the Wild (LFW)-tietojoukolla, vähentäen nykyteknologian virhettä yli 27%, lähestyen tarkasti ihmisen tasoa.

— DeepFace: Closing the Gap to Human-Level Performance in Face Verification, 2014.

DeepID eli ”Deep hidden IDentity features” on joukko järjestelmiä (esimerkiksi DeepID, DeepID2 jne.), jonka kuvasi ensimmäisenä Yi Sun, et al. heidän 2014 paperi otsikolla ” Deep Learning Face Representation from Predicting 10,000 Classes.”Heidän järjestelmäänsä kuvailtiin aluksi paljon Deepfacen kaltaiseksi, joskin sitä laajennettiin myöhemmissä julkaisuissa tukemaan sekä tunnistus-että todentamistehtäviä harjoittelemalla kontrapunktisen häviön kautta.

kasvojentunnistuksen keskeisenä haasteena on kehittää tehokkaita ominaisuusesityksiä, joilla voidaan vähentää persoonan sisäisiä variaatioita samalla kun laajennetaan persoonien välisiä eroja. Kasvontunnistustehtävä lisää persoonien välisiä variaatioita piirtämällä eri identiteeteistä erotetut DeepID2-ominaisuudet erilleen, kun taas kasvontunnistustehtävä vähentää persoonan sisäisiä variaatioita vetämällä samasta identiteetistä erotetut DeepID2-ominaisuudet yhteen, jotka molemmat ovat olennaisia kasvontunnistuksen kannalta.

— Deep Learning Face Representation by Joint Identification-Verification, 2014.

DeepID-järjestelmät olivat ensimmäisiä syväoppimismalleja, joilla saavutettiin ihmistä parempi suorituskyky tehtävässä, esimerkiksi DeepID2 saavutti 99,15% merkityillä Faces in the Wild (LFW)-tietojoukolla, mikä on parempi kuin ihmisen suorituskyky 97,53%. Myöhemmät järjestelmät, kuten FaceNet ja VGGFace, paransivat näitä tuloksia.

Facenetin kuvasi Florian Schroff ym. klo Google niiden 2015 paperi otsikolla ” FaceNet: Yhtenäinen Upotus kasvojentunnistukseen ja ryhmittelyyn.”Heidän järjestelmänsä saavutti tuolloin huipputeknisiä tuloksia ja esitteli innovaation nimeltä ”triplet loss”, joka mahdollisti kuvien koodaamisen tehokkaasti ominaisuusvektoreina, jotka mahdollistivat nopean samankaltaisuuden laskemisen ja sovittamisen etäisyyslaskennan avulla.

FaceNet, joka suoraan oppii kartoituksen kasvokuvista kompaktiin Euklidiseen avaruuteen, jossa etäisyydet vastaavat suoraan jotakin kasvojen samankaltaisuuden mittaa. Menetelmässämme käytetään syvää convolutionaalista verkostoa, joka on koulutettu optimoimaan itse upottaminen suoraan, eikä välivaiheen pullonkaulakerrosta, kuten aiemmissa syväoppimisen lähestymistavoissa. Harjoitteluun käytämme kolmosia, joissa on karkeasti linjassa olevat vastaavat / ei-yhteensopivat kasvot, jotka on luotu uudella Online-tripletin louhintamenetelmällä

— FaceNet: a Unified Embedding for Face Recognition and Clustering, 2015.

opetusohjelma Facenetissä, katso:

• miten Kasvojentunnistusjärjestelmä kehitetään Facenetin avulla Kerasissa

Vggfacen (paremman nimen puutteessa) kehitti Omkar Parkhi, et al. from The Visual Geometry Group (VGG) at Oxford ja kuvattiin niiden 2015 paperi otsikolla ”Deep Face Recognition.”Paremmin viritetyn mallin lisäksi heidän työnsä painopiste oli siinä, miten kerätä erittäin suuri koulutusaineisto ja käyttää sitä hyvin syvän CNN-mallin kouluttamiseen kasvojentunnistusta varten, jonka avulla he pystyivät saavuttamaan huipputeknisiä tuloksia standardiaineistoilla.

… näytämme, miten hyvin suuren mittakaavan aineiston (2,6 M kuvaa, yli 2,6 K ihmistä) voi koota automaation ja ihmisen yhdistelmällä silmukkaan

— Deep Face Recognition, 2015.

vggfacen opetusohjelma, katso:

• miten kasvojentunnistus suoritetaan VGGFace2: lla Kerasissa

vaikka nämä saattavat olla keskeisiä varhaisia virstanpylväitä tietokonenäön syväoppimisen alalla, edistys on jatkunut, ja paljon innovaatiota on keskittynyt häviöfunktioihin mallien tehokkaaksi kouluttamiseksi.

erinomaisen ajantasaisen yhteenvedon saat vuoden 2018 lehdestä ”Deep Face Recognition: A Survey.”

lisätietoja

Tämä osio tarjoaa lisää resursseja aiheeseen, jos haluat mennä syvemmälle.

Kirjat

• Handbook of Face Recognition, toinen painos, 2011.

Face Recognition Papers

• Face Recognition: A Literature Survey, 2003.
• Face Detection: a Survey, 2001.
• Human and machine recognition of faces: a survey, 1995.
• Robust Real-time Object Detection, 2004.
• kasvojentunnistus käyttäen Eigenfacesia, 1991.

Deep Learning Face Recognition Papers

• Deep Face Recognition: A Survey, 2018.
• Deep face recognition, 2015.
• FaceNet: a Unified Embedding for Face Recognition and Clustering, 2015.
• DeepFace: Closing the Gap to Human-Level Performance in Face Verification, 2014.
• Deep Learning Face Representation by Joint Identification-Verification, 2014.
• Deep Learning Face Representation from Predicting 10 000 Classes, 2014.
• Multi-view Face Detection Using Deep Convolutional Neural Networks, 2015.
• From Facial Parts Responses to Face Detection: a Deep Learning Approach, 2015.
• Surpaching Human-Level Face Verification Performance on LFW with GaussianFace, 2014.

Artikkelit

• Kasvojentunnistusjärjestelmä, Wikipedia.
• kasvojentunnistus, Wikipedia.
• kasvojentunnistus, Wikipedia.
• merkityt Kasvot villissä aineistossa

Yhteenveto

tässä viestissä huomasit kasvojentunnistuksen ongelman ja sen, miten syväoppimismenetelmillä voidaan saavuttaa yli-inhimillinen suorituskyky.

erityisesti opit:

• kasvojentunnistus on laaja ongelma ihmisten tunnistamisessa tai todentamisessa valokuvista ja videoista.
• kasvojentunnistus on prosessi, joka koostuu tunnistuksesta, kohdistuksesta, piirteiden poistosta ja tunnistustehtävästä
• Syväoppimismallit lähestyivät ensin ja ylittivät sitten ihmisen suorituskyvyn kasvojentunnistustehtävissä.

onko sinulla kysyttävää?
kysy kysymyksesi alla olevissa kommenteissa ja teen parhaani vastatakseni.