Robotics Intelligence Lab, Jaume I University,
Campus de Riu-Sec E-12071
Castellon de la Plana, Spain / Grzegorz M. Wójcik
Institute of Computer Science, Division of Complex Systems and Nurodynamics,
Maria Curie-Sklodowska University, ul. Zana 11/26,
20-601 Lublin, Poland / Wiesław A. Kamiński
Institute of Computer Science, Division of Complex Systems and Nurodynamics,
Maria Curie-Sklodowska University, ul. Zana 11/26,
20-601 Lublin, Poland
The Choice of the Model of Neuron and its Influence on the Properties and Computational Efficiency of LiquidState Machine
Abstract
The part of a simple mammalian visual system consisting of one hypercolumn was examined. The system was stimulated by two different input patterns.For such microcircuit so-called state distance of Liquid State Machine was calculated. It was shown that the separation ability and computational efficiency of the Liquid State Machine depends on the choice of the neuron model and connections densityarranged inside the hypercolumn.
Keywords:Liquid State Machine, separation ability, model of neuron
Introduction
The human brain and its cortex are probably the most complex systems known. A structure built of about one hundred billions interacting neural cells is always a hard object for simulation, even for the fastest super-computers. A new idea of brain modelling was suggested by Maass [1] and since then it has been called Liquid State Machine (LSM). In general, the brain (or its fragment) is treated as a liquid. The cortex is built of neurons organised in microcircuits which form columns and the function of each column depends on its location in the brain. Cortical microcircuits turn out to be very good żliquidsż for computing on perturbations. Applying ideas of liquid computing allows to decrease the number of neurons in the constructed model. In addition, the simulation time can be dramatically shortened using cluster-based parallelised simulations of groups of microcircuits.
Till now the liquid computing efficiency was investigated with the use of the simplest model of the Integrate-and-fire neuron [1]. Some experiments were also conducted for the sophisticated and numerically complicated Hodgkin-Huxley cells [2]. The aim of this contribution was to make the systematic analysis of LSM computational abilities when they are built of the neurons modelled in different ways. So the Integrate-and-fire, Resonate and fire, FitzHugh-Nagumo, Morris-Lecar, both versions of Hindmarsh-Rose and Izikevich's models of neurons were examined. Discussion and comparison of their properties in the LSM hypercolumn will be discussed to some extent.
LiquidState Machine in detail
As the illustration for the LSM approach a series of transient perturbations caused in an excitable medium (i.e., liquid)can be considered by a sequence of external disturbances (“inputsż) like sound, stones dropped intothe liquid or wind [3]. If the liquid is treated as an attractor neural network it has got the onlyone possible attractor – at its resting state. Nevertheless, the perturbed state of the liquid,during all this time, represents both present as well as past inputs and the informationcarried by it can be used for analysis of surrounding environment [1].Cortical microcircuits are characterised by the large diversity of their elements, neurons, synapses, the large variety of mechanisms and time constants characterising their interactions, involving recurrent connections on multiple spatial scales. Like the Turing machine, the model of LSM is based on a strict mathematical framework that guarantees, under ideal conditions, universal computational power [1,3].
The proposed neural network simulates a very simple mammalian visual system and consists of two modules. The Retina (input module) is build of four neurons put on a square shaped grid 2×2. Each neuron of the retina is connected with one cell of the LGN layer (the 1st layer of the hypercolumn). The LGN consists of 64 neurons put on a 1×8×8 grid. All other cells of the hypercolumn are positioned on the 15×8×8 grid (the substructure of 3×8×8 for each of 5 layers: L4, L3, L2, L5, L6). This makes 1024 neurons in the hypercolumn module and 4 input neurons in the Retina. Cells of each layer are connected with the neurons of its closest neighbourhood, in addition cells from L6 are recurrently connected with LGN (this also happens in the real visual system of mammals). Connections between two particular cells are arranged with probability calculated according to the rule:
,(1)
where D(A,B) stands for Euclidean distance between two cells A and B and is the desity of connections. Depending on the combination of the type of pre-synaptic and the post-synapticneurons, the exictatory (Ex) and inhibitory (Inh) cellsconstitute the C parameter as: CEx-Ex=0.3, CEx-Inh=0.2, CInh-Inh=0.1, CInh-Ex=0.4. Note that there are 80% of excitatory and 20% of inhibitory connections in the hypercolumn.
Methods of analysis
All simulations discussed in this contribution were conducted in CSIM package [10] developed for MATLAB environment. For tests the following models of neurons were chosen to construct the hypercolumn: Integrate-and-fire, Resonate-and-fire, FitzHugh-Nagumo, Morris-Lecar, Hindmarsch-Rose’84,Hindmarsch-Rose’85and Izikevich. Because of the relatively short space reserved for the article it’s not possible to describe the abovementionedmodels in a satisfactory detail. One should check for them in [4-9]. The input module (Retina) was built of so-called Input Spiking Neurons[4] toall of which two different and randomly chosen, varying in time stimuli S1 and S2 were given.
The Euclidean distance was used for measuring the hypercolumn difference of states that appeared after injecting the different stimuli S1 and S2. However, only the activity of the neurons belonging to the last sub-layer of layer L6 (1×8×8) was investigated. The Euclidean distance was calculated according to the following rule:
, (2)
where n stands for the number of observed neurons, and are the i-th neuron activity measured in time t after the injection of S1 and S2 stimuli respectively. The time of whole simulation T=1000 ms was divided into intervals ti=10 ms each. Note that the state of the hypercolumn (LSM) was characterised in each interval of time by 64-dimensional vector with coordinates equal to 1 for active and 0 for inactive neurons.
Results
In the Fig.1a the activity of the observed LSM’s Integrate-and-fire neurons is presented. The difference can be observed between both of them. In case of the second stimulation S2 the long absence of activity appears.
The difference in activity for the LSM built of Resonate-and-fire neurons cannot be noticed as clearly as in Fig.1a, however periodical behaviour can be observed in Fig.1b.
For the FitzHugh-Nagumo neurons there is 350 mslong period of silence preceding the high activity Fig.1c.
A clear difference of states can be observed for Morris-Lecar neurons, what is presented in Fig.1d.
Interesting behaviour can also be found in Hindmarsh-Rose neurons used to construct the hypercolumn. Note that completely different situation is noticed for the versions of the model from the year 1984 (Fig.1e) and 1985 (Fig.1f).
For the Izikevich model of neuron the difference of states is not visible at first sight, the periodical activity is mixed with the states of silence in a regular way (Fig.1g).
In Fig. 2 the Euclidean distance of LSM states is presented. The distance was measured for the and , which means the weaker ability of pattern separation for the Integrate-and-fire ensemble of neurons when the density of connections is high (Fig.2a).
In case of Resonate-and-fire neurons used for hypercolumn construction the separation ability is similar for both values of and oscillates around 5 (Fig.2b). That means that the density of connections has no influence on computational power ofthe LSM.
Totally different values of distance can be observed for the hypercolumn constructed of FitzHugh-Nagumo neurons. In case of the distance rapidly grows from 250 ms for about 100 ms and later it falls to zero suggesting synchronisation of the cells. Similar situation can be observed for , however after the fall occurring about 300 ms the state distance reaches thesmall, positive valuetill the end of the simulation (Fig.2c).
Good separation ability on a constant level of 6 for was observed in the column consisting of the Morris-Lecar neurons, however for the separation ability falls to the level of 1 (Fig.2d).
As far as Hindmarsh-Rose’84 neurons are concerned the separation ability for varies from 3 to 6 during the whole simulation and 5 to 6 for Hindmarsh-Rose’85. That’s why we conclude that the second version of the model has much better separation abilities (Fig.2e). When the both plots turn out to be very similar (Fig.2f). Poor separation ability characterised the Izikevich model of neuron (see. Fig.2g), usually its value is lower than 2-3.
Fig. 1. Liquid State Machine responses for two different stimuli S1 (Wzorzec 1) and S2 (Wzorzec 2) and different models of neuron used for the hypercolumn implementation.
Fig. 2. Euclidean distance of states for Liquid State Machines and different models of neuron used for the hypercolumn implementation, for and respectively.
Conclusions
The dynamics of the simulated neural hypercolumns was analysed. Wide variety ofneuron models were used for the cells implementation. Different input patterns shown to the simulated Retina usually resulted in different activities of the hypercolumn Only in the case of Izikevich model of neuron the separation ability was hard to be noted. Density of connections depending on the value of parameter hadthe influence of the observed distance of states. The bigger the was the more connections arranged in the system were and with the exception of Hindmarsh-Rose’84 model, the separation ability fell. For the separation ability was the best for the Morris-Lecar neurons, for the winner was Hindmarsh-Rose’84.
Acknowledgements
This work has been supported by the MariaCurie-SklodowskaUniversity, Lublin, Poland (under the grant of UMCS Vice President 2007) and Polish State Committee for Scientific Research under the grant number (N N519 403734).
Bibliography:
- Maass W., Natschlager T., Markram H.: Real-time Computing Without Stable States: A New Framework for Neural Computation Based on perturbations, Neural Computations. 14(11) (2002) 2531–2560 [in English]
- Hodgkin A., Huxley A.: Currents carried by sodium and potassium ions through the membrane of the giant axon of Loligio, J. Physiol., London 1952 [in English]
- Holden A.V., Tucker J.V., Thompson B.C.: Can excitable media be considered as computational systems?, Physica D, 49, 240-246, 1991 [in English]
- Gerstner W., Kistler W.M.:Spiking Neuron Models, Single Neurons, Populations, Plasticity, Cambridge 2002 [in English]
- Izhikevich E.M.:Which Model to Use for Cortical Spiking Neurons, IEEE Transactions on Neural Networks, Vol. 15, 2004, s. 1063-1070[in English]
- Izhikevich E.M.: Resonate-and-fire neurons, Neural Networks, Vol. 14, 2001, s. 883-804[in English]
- FitzHugh R.A.:Impulses and physiological states in theoretical models of nerve membrane, Biophysical Journal, Vol. 1, 1961, s. 445-466[in English]
- Izhikevich E.M.: Simple Model of Spiking Neurons, IEEE Transactions on Neural Networks, Vol. 14, 2003, s. 1569-1572[in English]
- Hindmarsh J., Cornelius P.:The development of the Hindmarsh-Rose model for bursting, http://www.ccs.neu.edu/home/kunkle/docs/pnn.pdf[in English]
- CSIM Simuator: English]
Beata J. Grzyb
Robotics Intelligence Lab, Jaume I University,
Castellon de la Plana, Spain / Grzegorz M. Wójcik
Institute of Computer Science, UMCS, Lublin, Poland / Wiesław A. Kamiński
Institute of Computer Science, UMCS, Lublin, Poland
Wybór modelu neuronu i jego wpływ na właściwości i zdolności obliczeniowe maszyn LSM
Streszczenie
Przebadano fragment prostego układu wzrokowego ssaka. Symulowany układ składał się zpojedynczej hiperkolumny. Dla tak zdefiniowanego mikroobwodu analizowano odległości stanów w teorii maszyny płynowej LSM. Wykazano, że zdolność separowalności maszyny płynowej zależy od wyboru modelu neuronu oraz gęstości połączeń występujących wmaszynie.
Słowa kluczowe: Liquid State Machine, zdolność separowalności, model neuronu
Wstęp
Kora mózgowa człowieka stanowi prawdopodobnie najbardziej skomplikowany układ wznanym Wszechświecie. Struktura zbudowana ze stu miliardów oddziałujących ze sobą komórek stanowi trudny obiekt symulacji. Nowa idea modelowania mózgu (lub przynajmniej jego fragmentów) została zaproponowana przez Maassa [1], przyjmując nazwę teorii obliczeń płynowych (ang. Liquid Computing). Według tej teorii mózg (lub jego fragment) traktowany jest jak płyn. Kora mózgowa zbudowana jest z mikroobwodów formujących kolumny. Funkcja każdej z kolumn zależy od miejsca, w którym dana kolumna się znajduje. Mikroobwody okazują się być bardzo dobrymi „maszynami płynowymi”. Obliczenia w tzw. maszynach LSM (ang. Liquid State Machine) dokonywane są na perturbacjach, amikroobwody posiadają wystarczającą ku temu liczbę synasps, neuronów, połączeń rekurencyjnych zwrotnych oraz stałych czasowych [1]. Podobnie do maszyny Turinga – maszyna LSM bazuje na ścisłym matematycznym modelu, który gwarantuje w idealnych warunkach nieskończoną moc obliczeniową [1,6]. Zastosowanie idei obliczeń płynowych wsymulacji może skutecznie zmniejszyć liczbę neuronów wymaganych do skonstruowania modelu oraz dramatycznie skrócić czas obliczeń [6].
Do tej pory zdolność obliczeniowa maszyn LSM była badana przy wykorzystaniu najprostszego modelu progowego neuronu [1]. Pewne eksperymenty zostały również przeprowadzone na bazie biologicznie realistycznych neuronów Hodgkina-Huxleya [2-5]. Celem badań prezentowanych w niniejszym artykule było przeprowadzenie systematycznej analizy zdolności obliczeniowej maszyny LSM zbudowanej z neuronów modelowanych innymi sposobami. Przebadano zatem następujące modele: Integrate-andfire, Resonate and fire, FitzHugh-Nagumo, Morris-Lecar, Hindmarsh-Rose oraz model Izikevicha [7-12]. Ich wpływ na właściwości maszyn LSM zostanie zaprezentowany w szczegółach w ramach przedkładanej analizy.
Model maszyny płynowej
Zaproponowana do badania właściwości maszyny płynowej architektura opiera się na uproszczonymmodelu układu wzrokowego. Architektura maszyny płynowej składa się zdwóch głównych modułów, tj. modułu wejściowego(siatkówki) oraz pojedynczej kolumny płynowej (hiperkolumny kory). Moduł wejściowy stanowiącztery neurony pobudzające ułożone na siatce o wymiarach1×2×2. Każdy neuron siatkówki połączony jest z każdym neuronem warstwy LGN. Warstwa LGN składa się z 64 neuronów rozłożonychna siatce owymiarach1×8×8.Każda z pozostałych warstw maszyny płynowej, tj. L4, L3, L3, L2, L5 oraz L6 rozłożona jest na siatce3 × 8 × 8.Warstwy zestawiane są tak, by połączenie zachodziłotylko pomiędzy neuronami z tylnej ścianki warstwy poprzedzającej i neuronami z przedniej ściankiwarstwy następującej. Dodatkowo, kolumna L6 została bezpośrednio połączona z kolumną LGN.Połączenia między neuronami wewnątrz warstw generowane są losowo z prawdopodobieństwempołączenia pomiędzy parą neuronów ustalanej następującą zależnością:
(1)
GdzieD(A, B)oznacza euklidesową odległość między neuronami A i B,zaś parametr λ określa gęstość połączeń. W zależności od tego, czy połączenie tworzone jest pomiędzy neuronami pobudzającymi (Ex) a hamującymi (Inh) współczynnik Cprzyjmuje następujące wartości:CEx−Ex=0,3,CEx−Inh=0,2, CInh−Inh=0,1 oraz CInh−Ex=0,4. Udział połączeń pobudzających w kolumniecieczowej wynosi 80%, hamujących zaś 20%.
Metody analizy
Wszystkie symulacje omawiane w niniejszym rozdziale przeprowadzone zostały przy użyciu symulatora układów neuronowych CSIM [13] w otoczeniu programistycznym MATLAB. Wdalszych rozważaniach nazwy neuronów i typów synaps będą użyte bezpośrednio ze środowiska
Do badania właściwościmaszyny płynowej wybrano następujące modele neuronów:
Integrate-and-fire, Resonate-and-fire, FitzHugh-Nagumo, Morrisa-Lecara, Hindmarsha-Rose’a w dwóch wersjach z 1984 i 1985 r.oraz Izhikevicha.
Moduł wejściowy maszyny płynowej złożony był z neuronów typu Input Spiking Neuron,na które podawane były dwa wzorce, wzorzec S1 oraz S2. Wzorzec stanowiły 4 losowo wygenerowaneciągi impulsów, każdy podawany na osobny neuron w części siatkówkowej.
W celu zbadania aktywności sieci powstałej w wyniku wprowadzenia do niej dwóch różnych wzorców została wykorzystana analiza odległości euklidesowej umożliwiająca określenie zdolnościasocjacyjnych nieuczonej sieci.Odległość euklidesowa definiowana jest jako liczba neuronów, których stan w danym kroku czasowym po wprowadzeniu wzorca S1 różni się od stanutych neuronów w przypadku pokazania wzorca S1, co zapisujemy jako:
(2)
gdzie n oznacza liczbę obserwowanych neuronów, S1 i S2 oznaczają stan i-tego neuronu wczasie po wprowadzeniu do sieci wzorca S1 odpowiednio S2. Obserwowanotylko stany neuronów z tylnej ścianki ostatniej warstwy hiperkolumny. Czas symulacji wynosił
T=1000 ms i podzielony został na przedziały ti=10 ms, w których liczona była odległość euklidesowa.Stan maszyny płynowej określałbinarny wektor o długości 64, w którym składowa '0' oznaczałanieaktywny neuron, zaś '1' neuron aktywny.
Rezultaty
Na Rys. 1a przedstawione zostały przebiegi stanów aktywności obserwowanych neuronów
maszyny płynowej złożonej z neuronów typu Integrate-and-fire w odpowiedzi na podane wzorce S1 i S2. Jak widać różnica pomiędzy obydwoma przebiegami jest znaczna. Dla wzorca S2 po krótkim przejawie aktywności na początku symulacji występuje długa przerwa w aktywnościneuronów.
Różnice w odpowiedziach maszyny płynowej złożonej z neuronów Resonate-and-fire na wprowadzane wzorce (Fig. 1b), nie są jużtak dobrze widoczne, jak w przypadku neuronów Integrate-and fire. Dodatkowo, jak można zaobserwować na Rys. 1b, odpowiedzi neuronów pokrywają dośćrównomiernie prawie całą przestrzeń wykresu tworząc przy tym charakterystyczny powtarzającysię wzór.
W przypadku maszyny płynowej składającej się z neuronów FitzHugh-Nagumo, różnice pomiędzy stanami sieci dla różnych wzorców nie są wyraźne. Na Rys. 1c można zauważyć,że przez pierwsze 350 ms występuje okres „ciszy”, po którym do końca symulacji obserwowaneneurony pozostają bardzo aktywne.
Różnice pomiędzy stanami obserwowanych neuronów Morrisa-Lecara, które widać na Rys. 1d są dobrze widoczne. Neurony charakteryzują się dużą aktywnością podczas całego czasutrwania symulacji. Podobnie jak w przypadku modelu FitzHugh-Nagumo, tu też występuje początkowy okres braku aktywności neuronów, po którym następuje wzmożona ich praca.
Porównując rysunki Rys. 1e i Rys. 1f , łatwo zauważyć, że stany neuronów Hindmarsha-Rose'84 układają się warstwowo, czyli po stanach aktywności następuje okres ich nieaktywności, co natomiast nie występuje w przypadku neuronów Hindmarsha-Rose'85. Różnica ta może być następstwem dużo większej aktywności neuronów wersji drugiej omawianego modelu.
Różnice w odpowiedziach maszyny neuronowej na podawany wzorzec w przypadku modeluIzikevicha nie są wyraźne. Stany układają się warstwowo, po krótkich okresach wzmożonejaktywności neuronów następuje dość długa przerwa w ich pracy.
Na Rys. 2a przedstawiono wykres odległości euklidesowej stanów maszyny płynowej składającej się z neuronów Integrate-and-fire.Odległość euklidesowa mierzona dla parametruλ=9jest znacznie mniejsza niż w przypadkuλ = 3, co oznacza słabsze zdolności separacji wzorców, gdyneurony są ze sobą gęsto połączone.
W przypadku modelu Resonate-and-fire (patrz Rys.2 b) dla obu wartości parametru λ odległościeuklidesowe są porównywalne i oscylują wokół wartości 5. Takie zachowanie może sugerować, że zwiększenie gęstości połączeń synaptycznych w kolumnach płynowych złożonych z neuronów Resonate-and-fire nie wpływa na zmianę zdolności separacyjnych maszyny LSM.Wartości odległości euklidesowych maszyny płynowej złożonej z neuronów FitzHugh-Nagumoróżnią się diametralnie dla obu wartościλ.W przypadku λ=9wartość odległości gwałtownie narasta począwszy od 250 ms symulacji przez około 100 ms, aż do osiągnięcia wartości maksymalnej,po czym równie gwałtownie spada do zera. Sugeruje to, że po tym czasie neurony synchronizują się, a różnica pomiędzy wprowadzonymi wzorcami nie jest widoczna. Inaczej jest w przypadku wartości λ = 3.Odległość euklidesowa gwałtownie wzrasta w około300 mssymulacji i szybko osiągaswoje maksimum. Następnie jej wartość obniża się, ale pozostaje dodatnia do końca symulacji.
(a) Integrate-andfire / (b) Resonate-and-fire(c) FitzHugh Nagumo / (d) Morris-Lecar
(e) Hindmarsh-Rose’84 / (f) Hindmarsh-Rose’85
(g) Izikevich
Rys. 1. Odpowiedzi maszyny płynowej złożonej z różnych modeli neuronów.
Jak widać na Rys. 2d wartość odległości euklidesowej dla przypadku λ=3utrzymujesię wokolicach 6, co świadczyćmoże o dobrej, w porównaniu do pozostałych modeli, zdolnościseparacji modelu Morrisa-Lecara. Dla wartości λ=9wartość odległości jest wysoka na początkusymulacji, po czym powoli, ale systematycznie zmniejsza się do 1.
(a) Integrate-andfire / (b) Resonate-and-fire(c) FitzHugh Nagumo / (d) Morris-Lecar
(e) Hindmarsh-Rose’84 / (f) Hindmarsh-Rose’85
(g) Izikevich
Rys. 2. Odległości euklidesowe stanów maszyny płynowej złożonej z różnych modeli neuronów.
Wykresy odległości euklidesowej odpowiedzi maszyn płynowych zbudowanych z neuronów typuHindmarsha-Rose'84 oraz z neuronów Hindmarsha-Rose'85 na podane wzorce S1 i S2 przedstawione zostały na rysunkach Rys. 2e oraz Rys. 2f. Łatwo widać, że wprzypadku, gdy parametrgęstości połączeń synaptycznych przyjął wartość 9, wykresy te nie różnią się znacznie. Inaczejjest w przypadku, gdy wartość gęstości wynosiła 3. Odległość euklidesowa dla maszyny płynowej złożonej z neuronów Hindmarsha-Rose'84 waha się wgranicach od 3 do 6 w trakcie prawie całegoprzebiegu symulacji. Natomiast wartość ta dla maszyny złożonej z neuronów Hindmarsha-Rose'85 jest generalnie wyższa i oscyluje między 5 a 6. Na tej podstawie można sugerować, że maszynapłynowa złożona z neuronów drugiej wersji modelu Hindmarsha-Rose ma lepsze właściwościseparowalności.
Przedstawione na Rys. 2g odległości euklidesowe stanów maszyny płynowej złożonejzneuronów Izhikevicha są niewielkie. Wartość ta przeważnie jest niższa od 2 dla parametruλ=9oraz 3 dla parametru λ = 3. Świadczy to o małych zdolnościach separacyjnych maszyny LSMzbudowanej z omawianego modelu neuronu.
Wnioski
Przedstawiono wyniki badańwłaściwości sieci neuronów biologicznych z wykorzystaniemwybranych metod takich jak analiza odległości euklidesowej. Do badania właściwości sieci wykorzystano uproszczony model układu wzrokowego. Stosując podejście Maassarozszerzono ideęmaszyny płynowej przez oparcie architektury układu na szeregu modeli neuronów.
Na podstawie przebiegów stanów aktywności obserwowanych neuronów uzyskanych w odpowiedzi na różne wzorce podawane siatkówce można domniemywać o jakości własności separowalności maszyny płynowej. Mało wyraźne zmiany w odpowiedziach maszyny płynowejna podawane wzorce, takie jak w przypadku modelu Izhikevicha, mogą świadczyćo słabej własności separowalności.
Współczynnik gęstości połączeń synaptycznychλ ma wpływ na zdolności separowalności. Zmiana współczynnikaλ w przypadku wszystkich modeli, oprócz modelu Hindmarsha-Rose'84z wartości 3 na 9 spowodowała pogorszenie właściwości maszyny płynowej. Przy gęstości połączeń synaptycznych równej 3 najlepsząwłaściwością separowalności charakteryzował się model Morrisa-Lecara, najgorszą natomiast model Izhikevicha. Przy wartościλ równej 9 najlepsząwłaściwość separowalności posiadał model Hindmarsha-Rose'84.
Podziękowania
Praca finansowana z grantu prorektora UMCS ds. Nauki 2007 oraz przez “Polish State Committee for Scientific Research under the grant number (N N519 403734)”.
Bibliografia:
- Maass W., Natschlager T., Markram H.: Real-time Computing Without Stable States: A New Framework for Neural Computation Based on perturbations, Neural Computations. 14(11) (2002) 2531–2560 [in English]
- Wójcik G.M., Kamiński W.A.: Large Scalable Simulations of Mammalian Visual Cortex, Lecture Notes in Computer Science (LNCS 3911), PPAM2005, Poznań 2005, 399-405 [in English]
- Wojcik G.M., Kaminski W.A.: Liquid Computing Efficiency as a Function of Neural Cell's Electrical Parameters, Modelling, Identification, and Control, Acta Press 2008, 78-82 [in English]
- Wójcik G.M., Kamiński W.A.: LiquidState Machine and its separation ability as function of electrical parameters of cell, Neurocomputing, 70, (2007), 2593-2697
[in English] - Hodgkin A., Huxley A.: Currents carried by sodium and potassium ions through the membrane of the giant axon of Loligio, J.