Rekonstrukce zrakových signálů
Profesor Jack Gallant se na kalifornské univerzitě v Berkeley snaží zachytit a dekódovat, jak mozek reaguje na zrakové vjemy, a na základě toho pak rekonstruovat, co člověk vykazující určitou mozkovou aktivitu viděl. Věří, že má tato metoda, ačkoliv je zatím teprve v plenkách, velký potenciál pro klinické využití mimo jiné i při analyzování snů.
Poznámka:
fMRI je zkratka pro zobrazovací metodu funkční magnetické rezonance.
Přepis titulků
Jsem Jack Gallant, profesor psychologie a neurovědy na UC Berkeley. Zabývám se zrakem. Soustředíme se na zrakový systém. Zkoumání zraku je důležité, protože lidé jsou velmi vizuální tvorové. Když má člověk poškozený zrak, je skoro bezmocný. Běžné zrakové vnímání se podobá sledování videa. My se tedy snažíme vytvořit model, který ukáže, jak mozek reaguje na video. Jestliže vidíte reálný svět jako určité video, chceme vytvořit jakýsi slovník, se kterým předpovíme, jakou aktivitu v mozku takové video vyvolá.
A až uvidíme mozkovou aktivitu, chceme zrekonstruovat video, které ji vyvolalo. Vlevo máme video, co jsme ukázali člověku v fMRI, a vpravo mozek, na kterém je znázorněna aktivita. Jenže mozek je v lebce zmačkaný, těžko se to zobrazuje. Tak jsme ho nafoukli a rozprostřeli. Díky tomu vidíme plochou mapu celého mozku při sledování videa.
My se snažíme překládat mezi tím videem a vzorcem mozkové aktivity, kterou vyvolá. Ve studii, kterou jsme publikovali, jsme modelovali jen malou část mozku, primární zrakový kortex. Tato část mozku reaguje na lokální znaky videa. Okraje, barvy, fáze pohybu nebo texturu. Tato část mozku netuší, co je ve videu za předměty. Nejprve jsme položili lidi na pár hodin do fMRI, ukázali videa a vytvořili model.
Ve 2. části jsme jim pustili nová videa, měřili mozkovou aktivitu a tuto aktivitu jsme dekódovali, abychom video zrekonstruovali. Vlevo je video, které jsme ukazovali, a vpravo naše rekonstrukce. Když je ve videu běžná věc, třeba osoba, rekonstrukce je poměrně přesná. Když je video zvláštnější, třeba abstraktní jako tady, sedí naše rekonstrukce jen zhruba. Tato technologie by se dala využít ke komunikaci s lidmi, kteří nemluví, třeba lidé s neurologickým onemocněním.
Možná by se to dalo použít pro psychoterapii nebo analýzu snů. Podle mě to má mnoho potenciálních klinických využití. Když ten model fungoval, měli jsme radost, překvapilo nás to. Mozek fotíme asi každou 1 nebo 2 vteřiny, ta rekonstrukce videa probíhá ve stejné rychlosti jako video. To je mnohem rychlejší. Není důvod si myslet, že to bude fungovat. Většina kolegů říkala, že to fungovat nebude.
Bylo to překvapení, ale i zadostiučinění, když to fungovalo. Překlad: jesterka www.videacesky.cz
A až uvidíme mozkovou aktivitu, chceme zrekonstruovat video, které ji vyvolalo. Vlevo máme video, co jsme ukázali člověku v fMRI, a vpravo mozek, na kterém je znázorněna aktivita. Jenže mozek je v lebce zmačkaný, těžko se to zobrazuje. Tak jsme ho nafoukli a rozprostřeli. Díky tomu vidíme plochou mapu celého mozku při sledování videa.
My se snažíme překládat mezi tím videem a vzorcem mozkové aktivity, kterou vyvolá. Ve studii, kterou jsme publikovali, jsme modelovali jen malou část mozku, primární zrakový kortex. Tato část mozku reaguje na lokální znaky videa. Okraje, barvy, fáze pohybu nebo texturu. Tato část mozku netuší, co je ve videu za předměty. Nejprve jsme položili lidi na pár hodin do fMRI, ukázali videa a vytvořili model.
Ve 2. části jsme jim pustili nová videa, měřili mozkovou aktivitu a tuto aktivitu jsme dekódovali, abychom video zrekonstruovali. Vlevo je video, které jsme ukazovali, a vpravo naše rekonstrukce. Když je ve videu běžná věc, třeba osoba, rekonstrukce je poměrně přesná. Když je video zvláštnější, třeba abstraktní jako tady, sedí naše rekonstrukce jen zhruba. Tato technologie by se dala využít ke komunikaci s lidmi, kteří nemluví, třeba lidé s neurologickým onemocněním.
Možná by se to dalo použít pro psychoterapii nebo analýzu snů. Podle mě to má mnoho potenciálních klinických využití. Když ten model fungoval, měli jsme radost, překvapilo nás to. Mozek fotíme asi každou 1 nebo 2 vteřiny, ta rekonstrukce videa probíhá ve stejné rychlosti jako video. To je mnohem rychlejší. Není důvod si myslet, že to bude fungovat. Většina kolegů říkala, že to fungovat nebude.
Bylo to překvapení, ale i zadostiučinění, když to fungovalo. Překlad: jesterka www.videacesky.cz
Komentáře (1)
Ehm (anonym)Odpovědět
16.09.2021 22:17:31
What a time to be alive! Minority report in 3... 2... 1...