User Tools

Site Tools


cogsci:ui

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
cogsci:ui [2009/06/19 01:29]
vlatko_dz
cogsci:ui [2009/06/23 23:02] (current)
Line 298: Line 298:
  
 vyhodnocovacia funkcia f(u) = g(u) + h(u)  vyhodnocovacia funkcia f(u) = g(u) + h(u) 
 +
 g(u) - cena cesty g(u) - cena cesty
 +
 h(u) - odhad vzdialenosti k cielu h(u) - odhad vzdialenosti k cielu
  
Line 1290: Line 1292:
  
 materialy: kniha UvodDoNS: {{:​cogsci:​chapter_07.pdf|}};​ Farkasove slidy: {{:​cogsci:​som.4x.pdf|}};​ na Wikipedii si to snad najdete sami :)) materialy: kniha UvodDoNS: {{:​cogsci:​chapter_07.pdf|}};​ Farkasove slidy: {{:​cogsci:​som.4x.pdf|}};​ na Wikipedii si to snad najdete sami :))
- 
 ==== 13. Rekurentné neurónové siete, architektúry,​ spôsoby učenia, úlohy s časovým kontextom (klasifikácia ​  ​sekvencií,​ predikcia) ==== ==== 13. Rekurentné neurónové siete, architektúry,​ spôsoby učenia, úlohy s časovým kontextom (klasifikácia ​  ​sekvencií,​ predikcia) ====
 +
 +**Motivácia**:​ k jednému vstupu viacero výstupov, v závislosti od  časového kontextu. Viacvrstvová sieť by mala byť rozšírená o možnosť reprezentovať ​ časový kontext, aby tak mohla na základe predloženého vstupu lepšie rozhodnúť o výstupe. ​
 +
 +Príklad – paralela: **Mealyho automat** ​
 +  * generuje postupnosti znakov z množ. {α, β}
 +  * nedá sa simulovať normálnymi doprednými ANN 
 +  * V informatice se pojmem Mealyho stroj označuje konečný automat s výstupem. Výstup je generován na základě vstupu a stavu, ve kterém se automat nachází. To znamená, že stavový diagram automatu bude pro každý přechod obsahovat výstupní signál.
 +  * [[http://​en.wikipedia.org/​wiki/​Finite_state_machine|viac o konečných automatoch]] alebo [[http://​cs.wikipedia.org/​wiki/​Mealyho_automat|stručne v češtine]] ​
 +
 +{{:​cogsci:​rnn1.png|}} ​
 +
 +
 +**Riešenie**:​ pridáme do siete tzv. kontextovú vrstvu, ktorá si „pamätá“ výstup z predošlého času, ktorý sa dá chápať ako akási vnútorná pamäť siete (v Mealyho automate: info o stave, na obr. 1,​2,​3). ​
 +
 +
 +=== Architektúry ===
 +
 +**Elmanova sieť**
 +  * najznámejšia a najjednoduchšia architektúra
 +  * kontextová vrstva = skrytá vrstva z predošlého kroku: t-1
 +  * rozpoznávanie sekvencií, predikcia, dopĺňanie krátkych sekvencií ​
 +
 +{{:​cogsci:​elman.png|}}
 +
 +
 +
 +**Jordan**
 +
 +{{:​cogsci:​jordan.png|}}
 +
 +  * ak pridáme **decay units** – pre obsah kontext. vrstvz v t+1 zoberieme časť obsahu kontextovej vrstvy z t-1: C<​sub>​i</​sub>​(t+1) = y<​sub>​i</​sub>​(t) + αC<​sub>​i</​sub>​(t-1) ​
 +  * schopnosť nie len rozpoznávať sekvencie ale aj generovať sekvencie rôznej dĺžky
 +  * možnosť: **teacher forcing** = pri učení nahradíme kontextovú vrstvu žiadaným výstupom v t-1
 +
 +
 +
 +**Bengio**
 +
 +{{:​cogsci:​bengio.png|}}
 +
 +
 + 
 +**Williams a Zipser**
 +
 +{{:​cogsci:​williams+zipser.png|}}
 +
 +  * plne prepojená rekurentná NS
 +
 +
 +**Mozer a Stornetta**
 +
 +{{:​cogsci:​mozer+stornetta.png|}} ​
 +
 +  * lokálna rekurzia = neurón je rekurentne spojený iba sám so sebou, tzv. local-recurrent-global-feedforward networks.
 +
 +
 +
 +=== Učenie ===
 +
 +**Backpropagation through time**
 +  * učenie spätným šírením chyby v čase
 +  * rozvinutie rekurentnej siete v čase do potenciálne mnohovrstvovej doprednej siete a použití klasického backpropu
 +
 +{{:​cogsci:​bptt.png|}} ​
 +
 +  * v praxi stačí rozvinúť len niekoľko krokov do minulosti (veľkosť okna)
 +  * vzorec: ​
 +{{:​cogsci:​rnn3.png|}} kde x<​sub>​i</​sub>​ je aktivita na i-tom neuróne v čase t-1, delta<​sub>​i</​sub>​ je chyba výstupu (očakávaný – skutočný) a alfa je rýchlosť učenia a 
 +{{:​cogsci:​rnn4.png|}}
 +
 +  * problém pri sekvenciách neurčenej dĺžky, pretože treba mať veľké okno (sieť potrebuje vidieť ďaleko do minulosti) ​
 +
 +
 +
 +
 +**Real time recurrent learning**
 +  * rekurentné učenie v reálnom čase
 +
 +{{:​cogsci:​rnn5.png|}} ​
 +
 +{{:​cogsci:​rnn6.png|}}
 +
 +  * **Ludove intuitívne vysvetlenie**:​ pre každú váhu si pamätáme jej **vplyv na aktivitu každého neurónu**. Vplyv váhy //ij// (z neurónu //j// do //i//) na neurón k počítame ako váhovanú sumu vplyvov váhy //ij// na neuróny, ktoré kŕmia neurón //k//. V prípade, že //k// = //i// , pripočítame aktivitu neurónu //j// v čase t-1 (člen delta<​sup>​kr</​sup>​…). Celé to vynásobíme deriváciou aktivačnej funkcie. Váhu //ij// upravujeme ako sumu chýb na výstupných neurónoch e<​sub>​k</​sub>​ násobenú vplyvom váhy //ij// na tieto neuróny ∂s<​sub>​k</​sub>​(t)/​∂w<​sub>​ij</​sub>​.
 +  * výpočtovo veľmi náročné: zložitosť **O(n^4)**, kde n je počet neurónov
 +
 +
 +=== Úlohy pre RNN ===
 +  * **rozpoznávanie postupností**:​ na vstup prichádzajú znaky, sieť naučená na nejaký automat (gramatiku) signalizuje pozitívne (1) ak znak ešte patrí do postupnosti generovanej automatom a negatívne (0) ak znak už nemôže patriť do postupnosti
 +  * podobne: **dopĺňanie** postupností,​ **predikcia** ďalších znakov, **generovanie** nových postupností
 +  * simulovanie konečno-stavových automatov – formálnych automatov a jazykov – akéhokoľvek turingovho stroja (výpočtová sila)
 +  * **lingvistické úlohy**: predikcia ďalšieho znaku v slove alebo vete, slova vo vete a pod.
 +
 +
 +===Literatúra:​===
 +
 +  * Umelá inteligencia a kogntívna veda I (Kvasnička et. al.)
 +  * Úvod do NS: {{:​cogsci:​chapter_06.pdf|}}
 +  * Farkašove slajdy: {{:​cogsci:​rnn.4x.pdf|}}
 +  * TEXT: {{:​cogsci:​13_rekurentneNS.doc|}},​ {{:​cogsci:​13_rekurentneNS.pdf|}}
  
 ==== 14. Evolučné algoritmy: základné koncepty a mechanizmy, využitie v UI ==== ==== 14. Evolučné algoritmy: základné koncepty a mechanizmy, využitie v UI ====
Line 1299: Line 1399:
  
 Typy evolučných algoritmov Typy evolučných algoritmov
-  * Genetické algoritmy +  * Genetické algoritmy ​-- toto rozpisem 
-  * Genetické programovanie +  * Genetické programovanie ​-- toto je take ze namiesto cisielok tie chromozomy predstavuju normalne ze zdrojovy kod programu (reprezentovany ako strom) 
-  * Evolučné programovanie +  * Evolučné programovanie ​-- toto je to iste ako GP, len v dajakych blbostiach ine .. 
-  * Evolučné stratégie+  * Evolučné stratégie ​-- toto moze byt fakt hocico co abstahuje od evolucie.. ​
  
 === Genetické algoritmy === === Genetické algoritmy ===
  
-najpopulárnejší typ EA, využívaný pri riešení problémov a optimalizácií+Najpopulárnejší typ EA, využívaný pri riešení problémov a optimalizácií. V skratke a kusok vulgarne ide o to, ze mame nejaku populaciu rieseni, a robime umelu evoluciu na rieseniach s cielom najst lepsie riesenia. Riesenia je mozne chapat aj ako stavy/body vo fazovom priestore. Stav/​riesenie sa označuje pojmom chromozóm, a je reprezentovaný retazcom v binarnom formate. Vacsinou maju vsetky riesenia rovnaku dlzku n, je to preto aby sa nam lepsie krizili.
  
-každý stav sa označuje pojmom chromozóm, je reprezentovaný binárnym reťazcom x dĺžky N +Nejakym sposobom si teda zvolime dlzku n chromozomuvacsinou ​je to tradeoff medzi jemnostou "​rozlisenia"​ a tym aby nam to nebezalo moc pomaly ked budeme narabat ​chromozomami o velkosti stoviek bajtovOkrem dlzky potrebujeme este aj fitness ​funkciu - sposob akym dokazeme povedat ako dobre riesenie predstavuje dany chromozom. Ked mame fitness funkciutak mozme zacat varit:
-pracujeme ​populáciou P, ktorá obsahuje M chromozómovdĺžka chromozómu je konštantná pre všetky chromozómy v populácii +
-každému chromozómu x ktorý patrí do P sa priraďuje funkcia ​fitness ​f(x)ktorá je vyjadrením úspešnosti daného stavu +
-podstatou genetického algoritmu je nájsť globálne maximum fitness+
  
-riešenie problému prebieha pomocou simulovanej evolúcie +  * Zvolime si nejaku velkost populacie P (povedzme 100) 
-čas t je diskrétna premenná označujúca epochu, alebo generáciu +  * Nahodne inicializujeme populaciu ​(teda vytvorime 100 nahodnych chromozomov) 
-P<​sub>​t</​sub>​ označuje populáciu v čase t, chromozómy v P<​sub>​0</​sub>​ sa vygenerujú náhodne+  * Spustime algoritmus
  
-=== Postup reprodukcie=== +Algoritmus:
-== Selekcia == +
-do procesu reprodukcie vstupujú dvojice chromozómov x, x' patriace do P +
-existuje viacero selekčných metód pre výber populácie určenej na reprodukciu +
-  * náhodne +
-  * v závislosti od úspešnosti,​ veľkosti fitness funkcie; používa sa pravidlo rulety, ide o kvázináhodný výber, pri ktorom veľkosť fitness zodpovedá veľkosti príslušného chlievika na rulete+
  
-== Kríženie == +**1.** Ohodnot pomocou fitness funkcie populaciu P\\ 
-proces, pri ktorom si vybraté chromozómy vymieňajú rovnako dlhé podúseky svojich binárnych reťazcovindex i, ktorý určuje poradie bitu, 0 =< I =< N, sa volí rovnomerne náhodne+**2.** Z populacie P vyber pomocou nejakej metody selekcie jedincov ktori sa budu rozmnozovat\\ 
-skrížením dostaneme dva nové chromozómy.+**3.** Rozmnoz jedincov pomocou krizenia a mutacie\\ 
 +**4.** Novych jedincov pridaj do populacie P\\ 
 +**5.** Ak hotovo tak hotovo, ak nie tak chod na 1.\\
  
-<​code>​ +=== 1. Fitness funkcia ===
-i=+
-x  ​000[00111] +
-x' ​000[11001]+
  
-z  = 00011001 +Fitness funkcia je mrte dolezita, bez dobrej fitness nevieme porovnavat medzi roznymi rieseniami a vybrat to silnejsie. Neexistuje ziadna vseobecna fitness funkcia - vzdy nejaku vymyslime pre dany problem. Vacsinou je fitness funkcia nejake daco co chromozomu priradi nejake cislo - povedzme cim vyssie cislo, tym lepsi chromozom.
-z' = 00000111 +
-</​code>​+
  
 +=== 2. Metody selekcie ===
  
-Okrem popísaného jednobodového kríženia existujú aj iné typy (dvoj- či viac- bodové)+Najpouzivanejsie su Ruleta a Tournament. ​
  
-== Mutácia == 
-pri mutácií sa preklopia dvom chromozómom (pozn. podľa mna nie je nutné, aby dvom, opravte ma ak sa mylim) náhodne vybraté bity z reťazca, tj 0->1, alebo 1->​0. ​ 
-Pravdepodobnosť mutácie by mala byť dosť malá, približne 10<​sup>​-4 .. -5</​sup>​ 
-dôvodom pre vytvorenie možnosti mutácie je snaha vyhnúť sa uviaznutiu v lokálnom extréme 
  
-kríženie ​mutácia sú **genetické operátory**+Ruleta funguje ako ruleta :) Ked uz mame ohodnotene chromozomy pomocou fitness funkcie, tak im (zjednodusene) pridelime policka rulety v zavislosti od toho ako silne su dane chromozomy. Priklad: mame v populacii jeden chromozom A so silou 0.6 styri chromozomy B,C,D,E so silou 0.1. Najprv si urcime "​velkost"​ rulety. Mame: 0.6 + 0.1 + 0.1 + 0.1 + 0.1 = 1 ==> toto cislo je celkova dlzka rulety. Ruletu rozdelime takto: <​0,​0.6>​ patri najsilnejsiemu chromozomu - A , (0.6,​0.7>​ patri chromozomu B, (0.7,​0.8>​ patri chromozomu C, (0.8, 0.9> patri D, (0.9, 1.0> patri E. Teraz si proste vygenerujeme nahodne cislo z intervalu 0 az 1 (teda nahodne cislo z intervalu nula az velkost rulety). Toto je metaforicke hodenie gulickou. Do akeho intervalu toto cislo spadne, ten chromozom bude vybrany na rozmnozovanie. Kedze chromozom A ma pre seba interval <0, 0.6> je mrte pravdepodobne ze do rozmnozovania vyberieme prave jeho. Takto je zarucene ze sa najviacej mnozia najlepsie chromozomy/​riesenia. Rovnako sa ale zachovava geneticka diverzita tym ze existuje sanca ze sa rozmnozovat pojdu aj slabe riesenia. ​
  
-proces reprodukcie ​sa končí ak: +Tournament funguje tak ze si vyberieme k nahodnych chromozomov,​ a najsilnejsie z nich nechame ​sa mnozit. Tournament ​sa to vola preto lebo originale tie chromozomy este niesu ohodnotene cez fitness a az priamo v tournamente sa ohodnotia - to je akokeby "​suboj"​ medzi nimize ktory bude lepsi
-  * sa našlo riešenie ktoré uspokojuje kritéria +
-  * bol prekročený stanovený počet generácií +
-  * uviazli sme lokálnom extrémealebo na plošine (viďcyklické prehľadávanie v 3)+
  
 +=== 3. Krizenie a mutacia ===
  
-===Zdroje: === +Procespri ktorom si do rozmnozovania vybraté chromozómy vymieňajú podúseky svojich binárnych reťazcovSkrížením dostaneme dva nové chromozómyKrizenie moze byt single point crossover alebo multiple point crossover. 
-NávratPa kol., Umelá inteligencia,​ STU BA, 2006+Single point crossover je jednoducho urcenie si miesta i na chromozomekde sa chromozomy "​rozdelia"​ a vymenia si svoje polovicky:
  
 +<​code>​
 +i=4
 +A  = 000[00111]
 +B  = 010[11001]
  
 +Decko 1  = 00011001
 +Decko 2  = 01000111
 +</​code>​
  
 +Multiple point crossover je take, ze tych bodov je viacej a povedzme sa vymienaju len useky medzi dvoma bodmi .. 
  
 +Mutacia je jednoducho pravdepodobnost s ktorou sa nejaky bit chromozomu preklopi. Teda jednotka na nulku alebo nulka na jednotku. Vacsinou byva mutacia malinke cislo, nieco ako 0.02 (teda dva pripady zo sto). Vyssia mutacia prinasa viacej novosti do populacie ale rovnako dokaze nicit dobre riesenia. Ako pri vsetkych parametroch - ide najdenie tej spravnej hodnoty pre danu aplikaciu.
  
 +=== 4. Pridavanie novych jedincov do populacie ===
  
 +Tuna existuje zase mrte moznosti, ale najbeznejsia je ze rodicov zmazeme a pridame naspat ich deti. Takto zostane zachovana velkost populacie P. 
 +Ine metody su take, ze deti ohodnotime cez fitness funkciu a vyberieme len tych najsilnejsich spomedzi deti & rodicov a to tiez tak aby zostala zachovana velkost P.
  
 +=== 5. Kedy koniec ===
  
 +GA skonci ked:
 +  * sa našlo riešenie ktoré uspokojuje dopredu zadefinovane kritéria
 +  * bol prekročený stanovený počet epoch (kazdy navrat ku 1. je akoby nova epocha)
 +  * uviazli sme v lokálnom extréme, alebo na plošine (viď. cyklické prehľadávanie v 3) -- toto sa tazko detekuje ale napriklad ak sme sa pocas x epoch nikam nepohli a najsilnejsie chromozomy maju stale rovnaku fitness
  
 +=== Dajake poznamky ===
  
 +Keby sa Markosova pytala ako sa zvoli optimalna dlzka chromozomu - to zavysi od aplikacie. Kedze chromozomy su vacsinou vlastne prirodzene cisla zapisane v binarnom kode, tak ak mame nejaky spojity priestor ktory chceme prehladavat tak by sme mali dlzku n zvolit tak aby tento priestor chromozomy rozdelili na dostatocne jemny pocet casti. Priklad: mame hladat maximum nejakej sialenej funkcie na <​0,​1>​. Povedzme ze si urcime dlzku chromozom na 7 - tym padom to su cisla od 0 po 127 - teda akoby sme si ten interval <0,1> delili na 128 casti. Moze ale aj nemusi stacit. ​
  
 +Keby sa Markosova pytala na Hamiltonovu barieru. Mame povedzme chromozomy velkosti n=3. Povedzme ze uz sme nasli riesenie 011 (3) - z tohto riesenia sa ale krizenim a mutaciou strasne tazko dostaneme ku najblizsiemu rieseniu 100 kedze to by si ziadalo sucasnu mutaciu na vsetkych troch bitoch. Toto sa vola Hamiltonova bariera. Ze riesenia ktore lezia vedla seba je tazke dosiahnut pomocou krizenia a mutacie. Niekedy je potrebne aby nam GA vedel takto jemne chodit po stupienkoch - teda lahko prechadzat medzi hodnotami rieseni. V takom pripade pouzijeme Grayovo kodovanie. To je taka funkcia ktora nam spravi taky specialny binarny zapis ze cisla ktore sa lisia o jednotku sa budu v grayovom binarnom zapise lisit len o jeden bit.
 +
 +A tak...
 +
 +===Zdroje: ===
 +Návrat, P. a kol., Umelá inteligencia,​ STU BA, 2006
 +Gonda z hlavy a z wikipedie.
cogsci/ui.1245367757.txt.gz · Last modified: 2009/06/18 23:29 (external edit)