This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision | ||
gnd:ann [2007/05/27 22:34] gnd |
gnd:ann [2007/05/28 02:20] |
||
---|---|---|---|
Line 1: | Line 1: | ||
- | ==== Uvod do Neuronovych Sieti ==== | ||
- | |||
- | [[http:// | ||
- | [[http:// | ||
- | |||
- | |||
- | |||
- | ==== 14. RNS - Time Delayed Neural Network ==== | ||
- | |||
- | === Recurent Neural Networks === | ||
- | |||
- | Klasicke modely NN maju problem rozlisit casovy kontext a naslednost vstupov. Ich pamat je obmedzena len pre sucasny vstup, a vystup nezavysi od sekvencie poslednych vstupov (kontextu). Aplikacie v ktorych sa vyzaduje takato funkcnost su viacere: rozpoznavanie reci, predpovedanie casovych radov, rozpoznavanie casovych radov a podobne. \\ | ||
- | \\ | ||
- | Prve taketo modely NN boli len ciastocne rekurentne. Pouzivali vrstvu " | ||
- | * Elmanov model: kontextova vrstva dostava feedback od skrytej vrstvy | ||
- | * Jordanov model: kontextova vrstva dostava feedback od vystupnej vrstvy. Pouzitie "decay units": | ||
- | * Stornettov model: kontextova vrstva dostava decay loop na vstupe ( c(i+1) = ALFA*(c(i)) + x(i) ), podobne ako IIR filtre | ||
- | * Mozerov model: plne prepojenie medzi kontextovymi a vstupnymi neuronmi, ucenie odlisne od backpropu | ||
- | |||
- | === Time Delayed Neural Network === | ||
- | Z toho co som pochopil sa jedna klasicku feeforward neuronovu siet, v ktorej ale existuje delay. S delayom sa pracuje tak, ze ak sa sieti prezentuje nejaka sekvencia, tato sekvencia sa po jej prezentacii vlozi do delay fronty s dlzkou n. Po n cykloch z fronty vypadne. Kazdy neuron si teda svoju aktivaciu rata nie cez net input ale cez delayovany net input. Delayovany net input je tiez vazeny. Teda ak mame dlzku delay fronty rovnu n, potom net input bude: \\ | ||
- | \\ | ||
- | net = a0x(0) + a1x(1) + ... + anx(n), kde x(n) je vstupny vektor pred casom n. Akurati si niesom isty ci vahy a0 az an su rovnake alebo nie.\\ | ||
- | \\ | ||
- | Pokial som pochopil spravne z netu, siet sa trenuje rovnako ako obycajna feeforward. Predpokladam ze asi su vsetky vahy ku delayovanym inputom rovnake, alebo sa spravi average vah a potom sa kazda z nich updatne rovnakym dielom. \\ | ||
- | \\ | ||
- | Vyuzitia su speech recognition, | ||
- | |||
- | |||
- | |||
- | ==== 15. RNS - Back Propagation Through Time ==== | ||
- | |||
- | Rozsirenie feedforward sieti o casovu dimenziu. Podobne ako TDNN. Do delay fronty sa ale uklada vystup neuronu v case x. Fronta ma opat dlzku n. Vstupom do input layeru je sekvencia dlzky n. Neuron v case x+1 dostane na vstup: vystupy od neuronov v case x, x+1 cast sekvencie, a svoj vystup v case x. Vsetky tieto vstupy maju rovnake vahy.\\ | ||
- | |||
- | === Trening === | ||
- | Trenovanie sa deje po " | ||
- | |||
- | {{gnd: | ||
- | |||
- | Nevyhody podobne ako u TDNN - dlzka sekvencie je fixna. | ||
- | |||
- | |||
- | |||
- | [[http:// | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | ==== 16. RNS - Real Time Recurrent Learnig ==== | ||
- | |||
- | Kompletne prepojena rekurentna neuronova siet. (alebo aspon minimalne sa tvari ze "we now make network connectivity very very unconstrained" | ||
- | |||
- | {{gnd: | ||
- | |||
- | ktory: | ||
- | |||
- | < | ||
- | The key to understanding RTRL is to appreciate what this factor expresses. It is essentially a measure of the sensitivity of the value of the output of unit k at time t to a small change in the value of wij, taking into account the effect of such a change in the weight over the entire network trajectory from t0 to t. Note that wij does not have to be connected to unit k. **Thus this algorithm is non-local, in that we need to consider the effect of a change at one place in the network on the values computed at an entirely different place.** | ||
- | </ | ||
- | |||
- | Pouziva sa aj technika " | ||
- | |||
- | |||
- | === Chyba & Vahy === | ||
- | |||
- | {{gnd: | ||
- | |||
- | [[http:// | ||
- | |||
- | |||
- | ==== 17. Hopfieldov model, Deterministicka verzia ==== | ||
- | |||
- | Hoppfieldov model bol popisany Johnom Hopfieldom v aprili 1982. Jedna sa o jedinu vrstvu kompletne poprepajanych neuronov. Vystupy jednotlivych neuronov su zapojene do vstupov ostatnych neuronov. Kazdy neuron ma aj externy vstup. Jedna sa o formu rekurentnej siete.\\ | ||
- | \\ | ||
- | * Neurony su binarne, stavy bud -1 a 1, alebo 0 a 1, takto Hopfieldov model pripomina celularne automaty | ||
- | * Neurony niesu napojene same na seba. | ||
- | * Vahy medzi neuronmi su symetricke | ||
- | |||
- | === Pravidlo aktivacie === | ||
- | |||
- | {{gnd: | ||
- | |||
- | === Zmena stavu === | ||
- | |||
- | Aktivacnou funkciou (napr. sgn()) prezenieme net (pravidlo aktivacie) od ktoreho odcitame treshold.. | ||
- | |||
- | === Energia === | ||
- | |||
- | Hopfieldov system ma prisudenu energiu, ktora vyjadruje jeho stav vo fazovom priestore: | ||
- | |||
- | {{gnd: | ||
- | |||
- | |||
- | === Princip === | ||
- | |||
- | Hopfieldov model je vlastne dynamicky system. Energeticka rovnica popisuje fazovy priestor. Siet ako autoasociativna pamat. Sieti sa ponukne utrzok dat a siet si ich po istej chvili konvergovania vo fazovom priestore cele zrekonstruuje. Funguje to tak ze zapamatane data predstavuju vo fazovom priestore globalne minima, a vlastne su to atraktory, ktore pritahuju tie ci one vzorky, ktore sa sieti poskytnu. Z napisaneho vyplyva ze aktivacna rovnica sluzi na minimalizaciu energie. | ||
- | |||
- | * Synchronny model (vahy sa updatuju naraz) | ||
- | * Asynchronny model (vyberie sa nahodny neuron a vahy sa updatnu) | ||
- | * Hybridny model | ||
- | |||
- | |||
- | |||
- | |||
- | ==== 18. Hopfieldov model, stochasticka verzia ==== | ||
- | |||
- | Pracuje sa s terminom T " | ||
- | |||
- | === Rovnice === | ||
- | |||
- | {{gnd: | ||
- | |||
- | Dovysvetlenie: | ||
- | |||