DokuWiki

User Tools

Site Tools

Trace:
cogsci:ui

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
Next revision Both sides next revision
cogsci:ui [2009/06/21 21:10]
kik 		cogsci:ui [2009/06/22 17:14]
breakk
Line 298: Line 298:
  
 vyhodnocovacia funkcia f(u) = g(u) + h(u)  vyhodnocovacia funkcia f(u) = g(u) + h(u) 
 +
 g(u) - cena cesty g(u) - cena cesty
 +
 h(u) - odhad vzdialenosti k cielu h(u) - odhad vzdialenosti k cielu
  
Line 1291: Line 1293:
 materialy: kniha UvodDoNS: {{:cogsci:chapter_07.pdf|}}; Farkasove slidy: {{:cogsci:som.4x.pdf|}}; na Wikipedii si to snad najdete sami :)) materialy: kniha UvodDoNS: {{:cogsci:chapter_07.pdf|}}; Farkasove slidy: {{:cogsci:som.4x.pdf|}}; na Wikipedii si to snad najdete sami :))
 ==== 13. Rekurentné neurónové siete, architektúry, spôsoby učenia, úlohy s časovým kontextom (klasifikácia   sekvencií, predikcia) ==== ==== 13. Rekurentné neurónové siete, architektúry, spôsoby učenia, úlohy s časovým kontextom (klasifikácia   sekvencií, predikcia) ====
-Motivácia: k jednému vstupu viacero výstupov, v závislosti od  časového kontextu. Viacvrstvová sieť by mala byť rozšírená o možnosť reprezentovať  časový kontext, aby tak mohla na základe predloženého vstupu lepšie rozhodnúť o výstupe. + 
 +**Motivácia**: k jednému vstupu viacero výstupov, v závislosti od  časového kontextu. Viacvrstvová sieť by mala byť rozšírená o možnosť reprezentovať  časový kontext, aby tak mohla na základe predloženého vstupu lepšie rozhodnúť o výstupe. 
  
 Príklad – paralela: **Mealyho automat**  Príklad – paralela: **Mealyho automat** 
Line 1297: Line 1300:
   * nedá sa simulovať normálnymi doprednými ANN    * nedá sa simulovať normálnymi doprednými ANN 
   * V informatice se pojmem Mealyho stroj označuje konečný automat s výstupem. Výstup je generován na základě vstupu a stavu, ve kterém se automat nachází. To znamená, že stavový diagram automatu bude pro každý přechod obsahovat výstupní signál.   * V informatice se pojmem Mealyho stroj označuje konečný automat s výstupem. Výstup je generován na základě vstupu a stavu, ve kterém se automat nachází. To znamená, že stavový diagram automatu bude pro každý přechod obsahovat výstupní signál.
-  * viac o konečných automatoch: http://en.wikipedia.org/wiki/Finite_state_machine alebo stručne v češtine: http://cs.wikipedia.org/wiki/Mealyho_automat +  * [[http://en.wikipedia.org/wiki/Finite_state_machine|viac o konečných automatoch]] alebo [[http://cs.wikipedia.org/wiki/Mealyho_automat|stručne v češtine]] 
  
 {{:cogsci:rnn1.png|}}  {{:cogsci:rnn1.png|}} 
  
  
-Riešenie: pridáme do siete tzv. kontextovú vrstvu, ktorá si „pamätá“ výstup z predošlého času, ktorý sa dá chápať ako akási vnútorná pamäť siete (v Mealyho automate: info o stave, na obr. 1,2,3). +**Riešenie**: pridáme do siete tzv. kontextovú vrstvu, ktorá si „pamätá“ výstup z predošlého času, ktorý sa dá chápať ako akási vnútorná pamäť siete (v Mealyho automate: info o stave, na obr. 1,2,3). 
  
  
-== Architektúry ==+=== Architektúry ===
  
 **Elmanova sieť** **Elmanova sieť**
Line 1313: Line 1316:
  
 {{:cogsci:elman.png|}} {{:cogsci:elman.png|}}
- 
  
  
Line 1328: Line 1330:
  
 **Bengio** **Bengio**
 +
 {{:cogsci:bengio.png|}} {{:cogsci:bengio.png|}}
  
Line 1347: Line 1350:
  
  
-== Učenie ==+=== Učenie === 
 **Backpropagation through time** **Backpropagation through time**
   * učenie spätným šírením chyby v čase   * učenie spätným šírením chyby v čase
Line 1360: Line 1364:
  
   * problém pri sekvenciách neurčenej dĺžky, pretože treba mať veľké okno (sieť potrebuje vidieť ďaleko do minulosti)    * problém pri sekvenciách neurčenej dĺžky, pretože treba mať veľké okno (sieť potrebuje vidieť ďaleko do minulosti) 
 +
  
  
Line 1370: Line 1375:
 {{:cogsci:rnn6.png|}} {{:cogsci:rnn6.png|}}
  
-  * **Ludove intuitívne vysvetlenie**: pre každú váhu si pamätáme jej **vplyv na aktivitu každého neurónu**. Vplyv váhy ij (z neurónu j do i) na neurón k počítame ako váhovanú sumu vplyvov váhy ij na neuróny, ktoré kŕmia neurón k. V prípade, že k = i , pripočítame aktivitu neurónu j v čase t-1 (člen delta<sup>kr</sup>…). Celé to vynásobíme deriváciou aktivačnej funkcie. Váhu ij upravujeme ako sumu chýb na výstupných neurónoch ek násobenú vplyvom váhy ij na tieto neuróny ∂s<sub>k</sub>(t)/∂w<sub>ij</sub>.+  * **Ludove intuitívne vysvetlenie**: pre každú váhu si pamätáme jej **vplyv na aktivitu každého neurónu**. Vplyv váhy //ij// (z neurónu //j// do //i//) na neurón k počítame ako váhovanú sumu vplyvov váhy //ij// na neuróny, ktoré kŕmia neurón //k//. V prípade, že //k// = //i// , pripočítame aktivitu neurónu //j// v čase t-1 (člen delta<sup>kr</sup>…). Celé to vynásobíme deriváciou aktivačnej funkcie. Váhu //ij// upravujeme ako sumu chýb na výstupných neurónoch e<sub>k</sub> násobenú vplyvom váhy //ij// na tieto neuróny ∂s<sub>k</sub>(t)/∂w<sub>ij</sub>.
   * výpočtovo veľmi náročné: zložitosť **O(n^4)**, kde n je počet neurónov   * výpočtovo veľmi náročné: zložitosť **O(n^4)**, kde n je počet neurónov
  
  
- +=== Úlohy pre RNN ===
-== Úlohy pre RNN ==+
   * **rozpoznávanie postupností**: na vstup prichádzajú znaky, sieť naučená na nejaký automat (gramatiku) signalizuje pozitívne (1) ak znak ešte patrí do postupnosti generovanej automatom a negatívne (0) ak znak už nemôže patriť do postupnosti   * **rozpoznávanie postupností**: na vstup prichádzajú znaky, sieť naučená na nejaký automat (gramatiku) signalizuje pozitívne (1) ak znak ešte patrí do postupnosti generovanej automatom a negatívne (0) ak znak už nemôže patriť do postupnosti
   * podobne: **dopĺňanie** postupností, **predikcia** ďalších znakov, **generovanie** nových postupností   * podobne: **dopĺňanie** postupností, **predikcia** ďalších znakov, **generovanie** nových postupností
-  * … simulovanie konečno-stavových automatov – formálnych automatov a jazykov – akéhokoľvek turingovho stroja (výpočtová sila)+  * simulovanie konečno-stavových automatov – formálnych automatov a jazykov – akéhokoľvek turingovho stroja (výpočtová sila)
   * **lingvistické úlohy**: predikcia ďalšieho znaku v slove alebo vete, slova vo vete a pod.   * **lingvistické úlohy**: predikcia ďalšieho znaku v slove alebo vete, slova vo vete a pod.
  
  
-**Referencie:** +===Literatúra:===
-* Umelá inteligencia a kogntívna veda I (Kvasnička et. al.) +
-* Úvod do NS: {{:cogsci:chapter_06.pdf|}} +
-* Farkašove slajdy: {{:cogsci:rnn.4x.pdf|}}+
  
 +  * Umelá inteligencia a kogntívna veda I (Kvasnička et. al.)
 +  * Úvod do NS: {{:cogsci:chapter_06.pdf|}}
 +  * Farkašove slajdy: {{:cogsci:rnn.4x.pdf|}}
 +  * TEXT: {{:cogsci:13_rekurentneNS.doc|}}, {{:cogsci:13_rekurentneNS.pdf|}}
  
 ==== 14. Evolučné algoritmy: základné koncepty a mechanizmy, využitie v UI ==== ==== 14. Evolučné algoritmy: základné koncepty a mechanizmy, využitie v UI ====
cogsci/ui.txt · Last modified: 2009/06/23 23:02 (external edit)

Page Tools

Except where otherwise noted, content on this wiki is licensed under the following license: CC Attribution-Noncommercial-Share Alike 4.0 International
CC Attribution-Noncommercial-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki