Aktuální vydání

celé číslo

03

2021

Digitální transformace, chytrá výroba, digitální dvojčata

Komunikační sítě, IIoT, kybernetická bezpečnost

celé číslo

Využití signálů z mozkové kůry k řízení pohybu robotu

číslo 2/2003

Využití signálů z mozkové kůry k řízení pohybu robotu

Pojem human-machine interface – HMI, rozhraní mezi člověkem a strojem, většina čtenářů asi zná. Brain-machine interface, zkráceně BMI, je rozhraní mezi mozkem a strojem. Co si pod tím představit? Že obsluha jen pomyslí na to, aby průmyslový manipulátor uchopil těžký a horký obrobek a přemístil jej z palety A na paletu B, a stroj pokyn vykoná? To zní jako sci-fi, ale přichází doba, kdy to skutečně bude možné.

K realizaci takového zařízení je třeba najít ty oblasti mozku, z nichž vycházejí vzruchy řídící pohyb, zkonstruovat vhodný snímač aktivity neuronů, navrhnout matematickou metodu, jak mozkové signály přetransformovat na povely pro akční členy manipulátoru, vytvořit řídicí algoritmus, implementovat jej do odpovídajícího hardwaru a spojit jej s řízeným manipulátorem.

Výzkum motorické oblasti mozkové kůry

Již koncem 19. století anatomové hledali v mozku centra odpovědná za motorické funkce. Byla nalezena oblast mozkové kůry, jejíž podráždění způsobuje pohyby určitých svalových skupin. Dostalo se jí názvu motorická kůra. V 19. století ovšem nebylo možné podrobně a dlouhodobě sledovat aktivitu jednotlivých nervových buněk. Teprve pokrok techniky umožnil počátkem osmdesátých let 20. století A. P. Georgopoulosovi sledovat aktivitu jednotlivých neuronů motorické kůry makaka pohybujícího pažemi. Zjistil, že určité buňky jsou při pohybu paží v jistém směru excitovány zvláště silně, při pohybu paže jiným směrem je nejsilnější excitace v jiné oblasti buněk motorické kůry. Vědci se zpočátku domnívali, že bude možné vytvořit mapu, která jednotlivým pohybům jednoznačně přiřadí skupiny buněk mozkové kůry, jejichž excitace tento pohyb vyvolává. Ale ukázalo se, že věc není tak jednoduchá – pohyb je totiž vyvolán současnou excitací různých oblastí mozkové kůry, které vzájemně spolupracují. Bylo tedy nutné vytvořit zařízení, které by umožňovalo sledovat činnost více nervových buněk najednou. Byly vyvinuty speciální ohebné elektrody, které bylo možné implantovat do mozku, aniž by neurony byly zničeny při sebemenším pohybu hlavy pokusného zvířete [3]. Pro vyhodnocení signálů z těchto elektrod se používá speciální mnohokanálový modul pro sběr a zpracování dat – MAP (Multichannel Acquisition Processor).

První experiment – rekonstrukce impulsu

V roce 1999 publikovali Miguel Nicolelis, John Chapin a jejich výzkumný tým působící na Hahnemanově (dnes Drexelově) lékařské univerzitě ve Filadelfii (USA) výsledky experimentů, při nichž sledovali aktivitu 46 neuronů v mozku laboratorního potkana, jenž přední končetinou ovládal tlačítko spouštějící mechanismus, který mu přisunul misku s vodou. Po určité době výzkumníci odpojili tlačítko a mechanismus bylo možné spustit tím, že potkan jen správně aktivoval příslušné neurony svého mozku. Po několika hodinách čtyři zvířata z šesti zjistila, že už nemusejí fyzicky ovládat tlačítko – naučila se spouštět mechanismus „myšlenkou“.

Obr. 1.

Rekonstrukce pohybu

V předchozím experimentu šlo jen o jediný impuls. Dalším krokem byla snaha rekonstruovat z nervových vzruchů složitější pohyb. V tomto případě výzkumníci použili mirikinu noční (obr. 1), půvabnou opici s „vykulenýma“ očima, které prozrazují noční způsob života. Pro výzkumníky byla spíše než půvabem přitažlivá tím, že její mozek je poměrně hladký a voperování elektrod je relativně snadné.

Výsledky pokusů jsou popsány v [1]. První mirikina měla implementováno 96 a druhá 32 mikroelektrod v různých oblastech mozkové kůry (v premotorické oblasti, primární motorické oblasti a v zadní temenní oblasti mozkové kůry).

V prvním pokusu vykonávaly mirikiny jen jednoduchý pohyb: na základě vizuálního podnětu pohybovaly ovládací pákou doprava nebo doleva, aby byly odměněny pamlskem. Druhý pokus byl složitější: opice měly uchopit malý kousek potravy, který se objevoval náhodně na jednom z šesti míst v dosahu jejich předních končetin.

Prokázalo se, že existuje určitá statistická závislost mezi aktivitou jednotlivých neuronů a vykonávaným pohybem, ale stupeň korelace pohybu a excitace jednotlivých neuronů je značně proměnlivý – pro spolehlivé předpovídání pohybu je nutné statisticky vyhodnocovat činnost více neuronů najednou.

V dalším postupu byla snímaná data použita k predikci pohybu končetiny. Jako nástroje predikce výzkumníci zvolili lineární model a umělou neuronovou síť. Lineární model měl obvyklý tvar:

Vztah 1.

kde Y(t) je pozice ruky v čase t (v prvním pokusu je to jednorozměrná veličina, v druhém trojrozměrná souřadnice bodu v prostoru), X vektor měřených dat – míry excitace neuronů, b regresní parametry, au váhové funkce, u zpoždění, e zbytková chyba.

Tento obecný model byl použit pro výpočet regresních parametrů a váhových funkcí; pro predikci pohybů byl poněkud zjednodušen.

Jako umělá neuronová síť se nejvíce osvědčila síť s patnácti až dvaceti neurony s lineárním výstupem, s jednou skrytou vrstvou, trénovaná Powellovým-Bealeovým algoritmem.

Data z neuronů byla nejprve přibližně deset minut zaznamenávána (s periodou 50 až 100 ms), potom byl proveden výpočet modelu a trénována neuronová síť a oba modely byly zavedeny zpět do výpočetního serveru. Ten na základě vytvořených modelů rekonstruoval, resp. predikoval pohyb končetin. Současně sbíral data pro nový výpočet modelu: nové modely se počítaly každých deset minut. Všechny výpočty probíhaly v Matlabu.

Obr. 2.

Vypočtené predikované hodnoty byly podrobeny matematické analýze a použity pro řízení dvou ramen robotů: jeden byl umístěn přímo v laboratoři experimentální psychologie Dukovy univerzity v Durhamu (USA), kde byl experiment uskutečňován, druhý ve spolupracující laboratoři MIT v Cambridgi (USA) (uspořádání pokusu je na obr. 2). Data byla přenášena prostřednictvím internetu protokolem TCP/IP – pro demonstrační účely takový přenos zcela vyhověl.

Přehledný popis výsledků včetně grafů je uveden např. v [1], zde se omezím na konstatování, že nebyl zaznamenán velký rozdíl v úspěšnosti predikce mezi oběma modely a že přepočítávání (adaptace) modelů po deseti minutách ve srovnání s použitím pouze prvního vypočítaného modelu predikci výrazně zpřesnilo.

U druhého pokusu, kde laboratorní opice sahala po ovoci umísťovaném v různých polohách kolem ní, byl také uskutečněn experiment, který dokázal, že pomocí modelů lze úspěšně předvídat i dosud nerealizované pohyby: při trénování modelu opice sahala pouze po třech z šesti cílů, zatímco při predikci jí výzkumníci kousky ovoce umísťovali i do cílů, na něž modely nebyly naučeny. I zde se ukázala poměrně dobrá korelace mezi skutečným pohybem opičí ruky a predikovanými hodnotami.

V dalším vyhodnocení experimentu byly analýze podrobeny příspěvky jednotlivých oblastí mozku k řízení pohybu. Výsledky potvrdily teorii, že nervové vzruchy ovládající pohybovou aktivitu vznikají současně ve velkých oblastech mozkové kůry, a teoreticky tedy lze pro predikci použít kteroukoliv z těchto oblastí. Rozdíly v aktivitě jednotlivých oblastí mozkové kůry mohou být způsobeny specializací těchto oblastí na zpracování např. vizuálního vjemu, hmatu, bolesti apod. a rovněž mohou být ovlivněny předchozí zkušeností a tréninkem. Oblasti zřejmě fungují do jisté míry redundantně: při poškození určité oblasti se motorické schopnosti dočasně zhorší, ale později se mozek naučí využívat jiné motorické oblasti a pohybové dovednosti se do značné míry obnoví. Tyto hypotézy je nutné experimentálně ověřit.

Závislost mezi počtem sledovaných neuronů a přesností predikce pohybu je přibližně hyperbolická. Při počtu asi 100 sledovaných neuronů byla přesnost predikce u prostorového pohybu přibližně 70 %. Extrapolací lze odhadnout, že k dosažení lepší přesnosti (90 %) by bylo nutné sledovat řádově stovky neuronů.

Vizuální zpětná vazba

V květnu 2001 byla na Dukově univerzitě zahájena další etapa experimentů [2]. Tentokrát byli použiti laboratorní makakové, elektrody i vyhodnocovací vícekanálový modul MAP byly stejné. Navíc tu však byla realizována vizuální zpětná vazba: opice pohybovaly ovládací pákou, jejíž pohyb byl svázán s pohybem kurzoru na panelu před nimi. Na panelu se v náhodném čase a pozici objevovala vždy na pět sekund cílová oblast. Když se makakovi podařilo umístit kurzor do cílové oblasti, byl odměněn pamlskem. Opice v tom brzy dosáhly značné šikovnosti a úspěšnosti. Během experimentu byla sledována jejich mozková aktivita a pohyb predikován stejně jako v předchozím případě. Po jisté době experimentátoři odpojili ovládací páku a pohyb kurzoru opice ovládaly jen prostřednictvím BMI. Jejich úspěšnost se zpočátku zhoršila, ale po čase se opět začala zlepšovat. Ačkoliv před sebou neustále měly teď již nefunkční ovládací páku a většinou s ní pohybovaly, v některých případech na ni zcela zapomněly a ovládaly pohyb kurzoru bez ní.

V současné době probíhá další experiment, kdy se jeden z makaků učí ovládat rameno manipulátoru, přičemž má nejen vizuální kontrolu, ale i speciální hmatový senzor, který mu dává informaci o tom, jak těžký předmět uchopil. Experimentátoři se pokoušejí najít odpověď na otázku, zda se podaří, aby makakův mozek přijal rameno robotu jako součást vlastního těla.

Neuroprotézy

Jaké bude použití BMI v praxi? Podaří-li se vyřešit otázku dlouhodobé funkčnosti elektrod implantovaných v mozku – prozatím po zhruba dvou letech, kdy jsou elektrody implantovány v mozku pokusné opice, odumřelo přibližně 30 % sledovaných neuronů – a problém (nejlépe bezdrátového) přenosu signálů z mozku do procesorové jednotky MAP, mohla by to být šance především pro pacienty s poraněním míchy, kteří by tak mohli ovládat např. funkce svého vozíku. V současné době se zkoušejí i neuroprotézy – zařízení, která umožňují paraplegikům ovládat některé svaly jejich elektrickou stimulací (Functional Electrical Stimulation, FES). Ovládání neuroprotéz prostřednictvím BMI je lákavá šance, jak těmto lidem usnadnit život.

Ing. Petr Bartošík

Inzerce zpět