Süvaõpe automaatseks tekstitöötluseks. Kuidas sügavad närvivõrgud välja näevad ja miks nad nii palju mälu vajavad

Tehisnärvivõrkudest räägitakse ja kirjutatakse tänapäeval palju nii suurandmete ja masinõppe kontekstis kui ka väljaspool seda. Selles artiklis tuletame meelde selle kontseptsiooni tähendust, kirjeldame veel kord selle rakendusala ja räägime ka olulisest lähenemisviisist, mis on seotud närvivõrkudega - sügava õppimisega, kirjeldame selle kontseptsiooni ja eeliseid. ja puudused konkreetsetel kasutusjuhtudel.

Mis on närvivõrk?

Nagu teate, pärineb närvivõrgu (NN) mõiste bioloogiast ja see on inimese aju struktuuri mõnevõrra lihtsustatud mudel. Kuid ärgem süvenegem loodusteaduste metsikusse – kõige lihtsam on kujutada neuronit (ka tehislikku) omamoodi musta kastina, millel on palju sisendauke ja üks väljund.

Matemaatiliselt teisendab tehisneuron sisendsignaalide (löökide) vektori X väljundsignaalide Y vektoriks, kasutades funktsiooni, mida nimetatakse aktiveerimisfunktsiooniks. Ühenduse (kunstlik närvivõrk - ANN) sees toimivad kolme tüüpi neuronid: sisend (välismaailmast teabe vastuvõtmine - meid huvitavate muutujate väärtused), väljund (soovitavate muutujate tagastamine - näiteks prognoosid või juhtsignaalid), aga ka vahepealsed neuronid, mis täidavad teatud sisemisi ("peidetud") funktsioone. Klassikaline ANN koosneb seega kolmest või enamast neuronite kihist ning teises ja järgnevates kihtides (“peidetud” ja väljund) on iga element ühendatud kõigi eelmise kihi elementidega.

Oluline on kontseptsiooni meeles pidada tagasisidet, mis määrab ANN-struktuuri tüübi: signaali otseedastus (signaalid lähevad järjestikku sisendkihist läbi peidetud kihi ja sisenevad väljundkihti) ja korduv struktuur, kui võrk sisaldab ühendusi, mis lähevad tagasi, kaugematest neuronitest lähematesse neuronitesse). Kõik need mõisted moodustavad vajaliku miinimumteabe, et liikuda ANN-i mõistmise järgmisele tasemele - närvivõrgu koolitamine, selle meetodite klassifitseerimine ja igaühe tööpõhimõtete mõistmine.

Närvivõrgu koolitus

Ei maksa unustada, miks selliseid kategooriaid üldiselt kasutatakse – vastasel juhul on oht abstraktsesse matemaatikasse takerduda. Tegelikult tähendavad kunstlikud närvivõrgud meetodite klassi teatud lahendamiseks praktilisi probleeme, millest peamisteks on mustrite tuvastamise, otsuste tegemise, lähendamise ja andmete tihendamise probleemid, aga ka meie jaoks huvitavamad klasteranalüüsi ja prognoosimise probleemid.

Laskumata teise äärmusse ja laskumata ANN-i meetodite toimimise üksikasjadesse igal konkreetsel juhul, tuletagem meelde, et igal juhul on tegemist närvivõrgu õppimisvõimega (koos õpetajaga või "ise"). ) see on võtmepunkt kasutades seda praktiliste probleemide lahendamiseks.

Üldiselt on ANN-i koolitamine järgmine:

1. sisendneuronid saavad väliskeskkonnast muutujaid (“stiimuleid”);
2. vastavalt saadud informatsioonile muutuvad närvivõrgu vabad parameetrid (töötavad neuronite vahekihid);
3. Närvivõrgu struktuuri muutuste tulemusena “reageerib” võrk informatsioonile teistmoodi.

Niimoodi üldine algoritm närvivõrgu treenimine (meenutagem Pavlovi koera – jah, just see on konditsioneeritud refleksi moodustumise sisemine mehhanism – ja unustagem kohe: meie kontekst hõlmab ju opereerimist tehnilised kontseptsioonid ja näited).

On selge, et universaalset õppimisalgoritmi ei eksisteeri ega saagi suure tõenäosusega eksisteerida; Kontseptuaalselt jagunevad lähenemisviisid õppimisele juhendatud õppimiseks ja juhendamata õppimiseks. Esimene algoritm eeldab, et iga sisendi (“õppimis”) vektori jaoks on vajalik väljundi (“siht”) vektori väärtus - seega moodustavad need kaks väärtust treeningpaari ja kogu selliste paaride komplekt on treeningkomplekt. Juhendajata õppimise korral koosneb treeningkomplekt ainult sisendvektoritest – ja see olukord on reaalse elu seisukohalt usutavam.

Sügav õppimine

Süvaõppe mõiste viitab erinevale klassifikatsioonile ja tähistab lähenemist niinimetatud süvastruktuuride treenimisele, mis hõlmavad mitmetasandilisi närvivõrke. Lihtne näide pildituvastuse valdkonnast: masin on vaja õpetada tuvastama üha abstraktsemaid tunnuseid muudest aspektidest. abstraktsed omadused st määrata matemaatiliselt suhe kogu näo, silmade ja suu väljenduse ning lõpuks ka värviliste pikslite kobarate vahel. Seega on sügavas närvivõrgus igal tunnuste tasemel oma kiht; On selge, et sellise “kolossi” väljaõpe nõuab teadlaste vastavat kogemust ja riistvara taset. Tingimused kujunesid sügava närviõppe kasuks välja alles 2006. aastaks – ja kaheksa aastat hiljem võime rääkida revolutsioonist, mille see lähenemine masinõppes on toonud.

Nii et esiteks tasub meie artikli kontekstis tähele panna järgmist: süvaõpet enamikul juhtudel inimene ei juhenda. See tähendab, et see lähenemisviis hõlmab närvivõrgu koolitamist ilma õpetajata. See on "sügava" lähenemisviisi peamine eelis: juhendatud masinõpe, eriti süvastruktuuride puhul, nõuab tohutuid aja- ja tööjõukulusid. Süvaõpe on seevastu lähenemine, mis pigem modelleerib (või vähemalt üritab lähendada) inimese abstraktset mõtlemist, mitte ei kasuta seda.

Idee, nagu ikka, on imeline, kuid lähenemise viisis kerkivad esile üsna loomulikud probleemid – ennekõike juurdunud selle pretensioonidest universaalsusele. Tegelikult, kuigi süvaõppe lähenemisviisid on pildituvastuse valdkonnas saavutanud märkimisväärset edu, tekitab sama loomuliku keele töötlemine siiski palju rohkem küsimusi kui vastuseid. On ilmne, et järgmise n aasta jooksul on ebatõenäoline, et on võimalik luua "kunstlikku Leonardo Da Vincit" või isegi - vähemalt! - kunstlik homo sapiens.

Tehisintellekti uurijad seisavad aga juba silmitsi eetikaküsimusega: hirmud, mida väljendatakse igas endast lugupidavas ulmefilmis, alates “Terminaatorist” kuni “Transformeriteni”, ei tundu enam naljakad (tänapäevaseid keerulisi närvivõrke võib pidada juba usutavaks modelleerivad putuka aju tööd!), kuid on praegu selgelt ebavajalikud.

Ideaalne tehnoloogiline tulevik näib meile ajastuna, mil inimene saab delegeerida suurema osa oma volitustest masinale – või vähemalt võimaldada sellel hõlbustada olulist osa oma intellektuaalsest tööst. Süvaõppe kontseptsioon on üks samm selle unistuse poole. Tee on pikk, kuid juba praegu on selge, et närvivõrgud ja nendega seotud aina arenevad lähenemised on võimelised ulmekirjanike püüdlusi aja jooksul ellu viima.

Ja osaliselt on see juhend mõeldud kõigile, kes on huvitatud masinõppest, kuid ei tea, kust alustada. Artiklite sisu on mõeldud laiale publikule ja jääb üsna pealiskaudseks. Aga kas kedagi tõesti huvitab? Kuidas rohkem inimesi masinõppe vastu huvi tundma, seda parem.

Objekti tuvastamine süvaõppe abil

Võib-olla olete seda kuulsat xkcd-koomiksit juba näinud. Nali on selles, et iga 3-aastane tunneb linnufoto ära, kuid arvuti hankimine võttis parimatel arvutiteadlastel aega üle 50 aasta. Viimastel aastatel oleme lõpuks leidnud hea lähenemise objektile äratundmise kasutamine sügavad konvolutsioonilised närvivõrgud. See kõlab nagu hunnik väljamõeldud sõnu fantaasiaromaan William Gibson, aga kõik selgub siis, kui võtame need ükshaaval.. Nii, teeme ära – kirjuta programm, mis linnud ära tunneb!

Alustame lihtsast

Enne kui õpime linnupilte ära tundma, õpime ära tundma midagi palju lihtsamat – käsitsi kirjutatud numbrit "8".

Artiklist saate teada, mis on süvaõpe. Artikkel sisaldab ka palju ressursse, mida saate selle ala valdamiseks kasutada.

IN kaasaegne maailm Alates tervishoiust kuni tootmiseni kasutatakse süvaõpet kõikjal. Ettevõtted pöörduvad selle tehnoloogia poole, et lahendada keerulisi probleeme, nagu kõne- ja objektituvastus, masintõlge jne.

Selle aasta üks muljetavaldavamaid saavutusi oli AlphaGo võitmine maailma parimast Go mängijast. Lisaks Go-le on masinad võitnud inimesi ka teistes mängudes: kabes, males, reversis ja Jeopardys.

Võimalik, et võit Lauamäng tundub tegelike probleemide lahendamisel sobimatu, kuid see pole sugugi tõsi. Go loodi tehisintellekti jaoks ületamatuks. Selleks oleks tal vaja õppida selle mängu jaoks üks oluline asi – inimese intuitsiooni. Nüüd on selle arenduse abil võimalik lahendada palju probleeme, mis varem olid arvutile kättesaamatud.

Ilmselgelt pole süvaõpe veel kaugel täiuslikkusest, kuid see on juba lähedal ärilisele kasulikkusele. Näiteks need isejuhtivad autod. Tuntud ettevõtted nagu Google, Tesla ja Uber üritavad juba praegu linnatänavatel autonoomseid autosid kasutusele võtta.

Ford ennustab isejuhtimise osakaalu märkimisväärset kasvu Sõiduk aastaks 2021. USA valitsusel õnnestus ka nende jaoks välja töötada ohutusreeglid.

Mis on süvaõpe?

Sellele küsimusele vastamiseks peate mõistma, kuidas see suhtleb masinõppe, närvivõrkude ja tehisintellektiga. Selleks kasutame visualiseerimismeetodit kontsentriliste ringide abil:

Välisringiks on tehisintellekt üldiselt (nt arvutid). Veidi kaugemal on masinõpe ja otse keskmes on süvaõpe ja tehisnärvivõrgud.

Jämedalt öeldes on süvaõpe tehisnärvivõrkude jaoks lihtsalt mugavam nimi. "Sügav" viitab selles fraasis närvivõrgu keerukusastmele (sügavusele), mis võib sageli olla üsna pealiskaudne.

Esimese närvivõrgu loojad said inspiratsiooni ajukoore struktuurist. Põhitase võrk, pertseptron, on sisuliselt bioloogilise neuroni matemaatiline analoog. Ja nagu ajus, võivad üksteisega ristuvad pertseptronid ilmuda närvivõrku.

Närvivõrgu esimest kihti nimetatakse sisendkihiks. Iga selle kihi sõlm saab sisendiks teatud teabe ja edastab selle järgmistele sõlmedele teistes kihtides. Kõige sagedamini puuduvad ühe kihi sõlmede vahel ühendused ja ahela viimane sõlm väljastab närvivõrgu tulemuse.

Keskel olevaid sõlme nimetatakse peidetud sõlmedeks, kuna neil pole ühendusi välismaailm, väljund- ja sisendsõlmedena. Neid kutsutakse ainult siis, kui eelmised kihid on aktiveeritud.

Süvaõpe on oma olemuselt närvivõrgu koolitustehnika, mis kasutab keeruliste probleemide (nt kõnetuvastus) lahendamiseks mustrite abil palju kihte. Kaheksakümnendatel oli enamik närvivõrke kõrge hinna ja piiratud andmesidevõimaluste tõttu ühekihilised.

Kui käsitleme masinõpet tehisintellekti haruna või variandina, siis süvaõpe on sellise haru spetsialiseerunud tüüp.

Masinõpe kasutab arvuti intelligentsust, mis ei anna kohe vastust. Selle asemel töötab kood testiandmetel ja kohandab selle edenemist vastavalt tulemuste õigsusele. Selle protsessi õnnestumiseks kasutatakse tavaliselt mitmesuguseid tehnikaid, spetsiaalseid tarkvara ja arvutiteadus, mis kirjeldab staatilisi meetodeid ja lineaaralgebrat.

Süvaõppe meetodid

Süvaõppe meetodid jagunevad kahte põhitüüpi:

• Juhendaja koolitus
• Järelevalveta õppimine

Esimene meetod kasutab soovitud tulemuse saavutamiseks spetsiaalselt valitud andmeid. See nõuab üsna palju inimese sekkumist, sest andmeid tuleb käsitsi valida. Siiski on see kasulik klassifitseerimiseks ja regressiooniks.

Kujutage ette, et olete ettevõtte omanik ja soovite määrata boonuste mõju oma alluvate lepingute pikkusele. Eelkogutud andmetega oleks juhendatud õppemeetod asendamatu ja väga tõhus.

Teine meetod ei eelda eelnevalt ettevalmistatud vastuseid ja tööalgoritme. Selle eesmärk on tuvastada andmetes peidetud mustrid. Tavaliselt kasutatakse seda rühmitamiseks ja seostamiseks, näiteks klientide rühmitamiseks käitumise järgi. "Nad valivad ka sellega" Amazonis on seostamisülesande variant.

Kui juhendatud õppemeetod on sageli üsna mugav, on keerulisem versioon siiski parem. Süvaõpe on end tõestanud närvivõrguna, mis ei vaja inimese järelevalvet.

Sügava õppimise tähtsus

Arvutid on pikka aega kasutanud tehnoloogiat, et tuvastada pildil teatud funktsioone. Tulemused polnud aga kaugeltki edukad. Arvutinägemine on sügavale õppimisele avaldanud uskumatut mõju. Need on need kaks tehnikat Sel hetkel lahendada kõik äratundmisprobleemid.

Eelkõige on Facebookil õnnestunud sügava õppimise abil fotodel nägusid ära tunda. See ei ole lihtne tehnoloogia täiustamine, vaid pöördepunkt, mis muudab kõiki varasemaid uskumusi: „Inimene saab 97,53% tõenäosusega kindlaks teha, kas sama isik on esindatud kahel. erinevad fotod. Facebooki meeskonna poolt välja töötatud programm suudab seda teha 97,25% tõenäosusega, olenemata valgustusest või sellest, kas inimene vaatab otse kaamerasse või on selle poole pööratud.

Ka kõnetuvastus on läbi teinud olulisi muutusi. Hiina ühe juhtiva otsingumootori Baidu meeskond on välja töötanud kõnetuvastussüsteemi, mis on suutnud ingliskeelse teksti kirjutamise kiiruse ja täpsuse poolest inimesi edestada. mobiilseadmed. Inglise ja mandariini keeles.

Eriti huvitav on see, et kahe täiesti erineva keele jaoks ühise närvivõrgu kirjutamine ei nõudnud palju tööd: "Ajalooliselt nägid inimesed hiina ja inglise keelt täiesti kahena. erinevaid keeli, seetõttu tuli igaühele neist erinev lähenemine,” räägib ülemus uurimiskeskus Baidu, Andrew Ng. "Õppimisalgoritmid on nüüd nii üldistatud, et saate Lihtsaltõppida."

Google kasutab ettevõtte andmekeskustes energia haldamiseks süvaõpet. Nad suutsid vähendada jahutusressursside kulusid 40%. See tähendab umbes 15% energiatõhususe paranemist ja miljonite dollarite säästmist.

Süvaõppe mikroteenused

Siin lühike ülevaade süvaõppega seotud teenused.

Illustratsiooni sildistaja. Illustration2Vec täiustatud teenus võimaldab teil märkida pilte reitinguga "kaitstud", "küsitav", "ohtlik", "autoriõigus" või "üldine", et pildi sisust eelnevalt aru saada.

• Google'i Theano lisandmoodul
• Redigeeritav Pythonis ja Numpys
• Sageli kasutatakse teatud probleemide lahendamiseks

• Ei ole üldine eesmärk. Keskenduge masinnägemisele
• Redigeeritud C++ keeles
• Pythonis on liides

Veebikursused süvaõppe kohta

Google ja Udacity tegid koostööd, et luua tasuta süvaõppe kursus, mis on osa Udacity masinõppekursusest. Seda programmi juhivad kogenud arendajad, kes soovivad arendada masinõppe ja eelkõige süvaõppe valdkonda.

Teine populaarne valik on Andrew Ngi masinõppekursus, mida toetavad Coursera ja Stanford.

1. Masinaõpe – Stanford, Andrew Ng, Coursera (2010–2014)
2. Masinõpe – Yaser Abu-Mostafa Caltech (2012–2014)
3. Masinõpe – Carnegie Mellon autor Tom Mitchell (kevad 2011)
4. Närvivõrgud masinõppeks – Geoffrey Hinton Courseras (2012)
5. Närvivõrkude klass– Hugo Larochelle Sherbrooke’i ülikoolist (2013)

Raamatud süvaõppe kohta

Kui eelmises jaotises olevad ressursid tuginevad üsna ulatuslikule teadmistebaasile, siis Grokking Deep Learning on seevastu suunatud algajatele. Nagu autorid ütlevad: "Kui olete lõpetanud 11. klassi ja teil on ligikaudne arusaam Pythoni kirjutamisest, õpetame teile sügavat õppimist."

Selle raamatu populaarne alternatiiv on raamat, mille pealkiri on iseenesestmõistetav Deep Learning Book. See on eriti hea, sest see hõlmab kogu matemaatikat, mida vajate selle alaga tegelemiseks.

1. Yoshua Bengio, Ian Goodfellow ja Aaron Courville "Deep Learning" (2015)
2. Michael Nielseni "Närvivõrgud ja sügav õppimine" (2014)
3. Microsoft Researchi "sügav õppimine" (2013)
4. „Süvaõppe õpetused” Montreali ülikooli LISA laborist (2015)
5. Andrej Karpathy "neuraltalk".
6. "Sissejuhatus geneetilistesse algoritmidesse"
7. "Kaasaegne lähenemine tehisintellektile"
8. "Ülevaade süvaõppest ja närvivõrkudest"

Videod ja loengud

Deep Learning Simplified on suurepärane YouTube'i kanal. Siin on nende esimene video:

Nutikate robotite eelseisvat revolutsiooni on ennustatud igal kümnendil alates 1950. aastatest. Siiski ei juhtunud seda kunagi. Edusammud valdkonnas tehisintellekt toimus ebakindlalt, kohati igavalt, tuues paljudele entusiastidele pettumuse. Nähtavad edusammud – 1990. aastate keskel IBMi loodud Deep Blue arvuti, mis 1997. aastal malemängus Garri Kasparovit võitis, või elektroonilise tõlgi ilmumine 1990. aastate lõpus – olid tõenäolisemalt “jämedate” arvutuste tulemus kui inimese tajumehhanismide ülekandmine arvutiprotsessidesse.arvutused.

Kuid pettumuse ja ebaõnnestumise lugu on nüüd dramaatiliselt muutumas. Vaid kümme aastat tagasi suutsid arvutinägemise ja objektituvastusalgoritmid tuvastada kera või rööptahuka. lihtne taust. Nüüd suudavad nad eristada inimeste nägusid nii hästi kui inimesed, isegi keerulisel loomulikul taustal. Kuus kuud tagasi andis Google välja nutitelefonidele mõeldud rakenduse, mis suudab tõlkida teksti enam kui 20-st võõrkeeled lugedes sõnu fotodelt, liiklusmärkidelt või käsitsi kirjutatud tekstilt!

Kõik see sai võimalikuks pärast seda, kui selgus, et mõned vanad ideed valdkonnas närvivõrgud, kui neid veidi muudetakse, lisades “elu”, st. inimeste ja loomade tajumise üksikasjade projitseerimine võib anda vapustava tulemuse, mida keegi ei oodanud. Seekord tundub tehisintellekti revolutsioon tõeliselt reaalne.

Närvivõrkude uurimine masinõppe valdkonnas on enamasti alati olnud pühendatud uute tuvastustehnikate otsimisele erinevat tüüpi andmeid. Seega peab kaameraga ühendatud arvuti pildituvastusalgoritmi kasutades suutma halva kvaliteediga pildil eristada inimese nägu, tass teed või koer. Ajalooliselt on aga närvivõrkude kasutamisega neil eesmärkidel kaasnenud märkimisväärseid raskusi. Isegi väike edu nõudis inimese sekkumist – inimesed aitasid programmil kindlaks teha olulised omadused pilte, nagu pildiäärised või lihtsad geomeetrilised kujundid. Olemasolevad algoritmid ei saanud seda ise tegema õppida.

Olukord on kardinaalselt muutunud tänu nn sügava õppimisega närvivõrgud, mis suudab nüüd pilti analüüsida peaaegu sama tõhusalt kui inimene. Sellised närvivõrgud kasutage esimese taseme neuronite sisendina halva kvaliteediga pilti, mis seejärel edastab "pildi" mittelineaarsete ühenduste kaudu järgmise taseme neuronitele. Pärast teatud treeningut on "neuroneid" rohkem kõrgel tasemel oskab äratundmiseks kasutada pildi abstraktsemaid aspekte. Näiteks saavad nad kasutada selliseid detaile nagu pildi äärised või selle ruumis asukoha omadused. Hämmastav on see, et sellised võrgustikud võivad õppida hindama pildi kõige olulisemaid omadusi ilma inimese abita!

Suurepärane näide süvaõppe närvivõrkude kasutamisest on erinevate nurkade alt või pildistatud identsete objektide äratundmine. erinevad poosid(Kui me räägime inimese või looma kohta). Algoritmid, mis kasutavad pikslite kaupa skannimist, "arvavad", et nad vaatavad kahte erinevat pilti, samas kui "nutikad" närvivõrgud "mõistvad", et nad vaatavad sama objekti. Ja vastupidi – kahe erinevat tõugu koera pilte, mis on pildistatud samas poosis, võisid varasemad algoritmid tajuda sama koera fotodena. Närvivõrgud sügava õppimisega suudab tuvastada piltidel üksikasju, mis aitavad loomi eristada.

Süvaõppe tehnikate, kõrgetasemeliste neuroteaduste teadmiste ja jõu ühendamine kaasaegsed arvutid avab tehisintellekti väljavaateid, mida me ei oska veel hinnatagi. Tõde on juba ilmne, et mõistusel võib olla mitte ainult bioloogiline olemus.