Niewidomi będą mogli zobaczyć świat... uszami. "Sztuczne oko" rysuje im świat za pomocą muzyki

prof. Amir Amedi

prof. Amir Amedi (https://www.brainvisionrehab.com)

- Korzystający z naszego urządzenia mogą spokojnie trafić do windy, a wchodząc do pokoju wiedzą, gdzie jest krzesło, stół i ręka, którą chcą uścisnąć - mówi prof. Amir Amedin, twórca "sztucznego oka".

 

Prof. Amir Amedi zajmuje się plastycznością mózgu. Jest profesorem na Wydziale Medycznej Neurobiologii na Uniwersytecie Hebrajskim, a także dyrektorem Rehab and Augmentation of the SENSES. Prof. Amedi był gościem konferencji naukowej Neuronus 2018 IBRO Neuroscience Forum, która odbyła się w dniach 20-22 kwietnia 2018 roku w Audytorium Maximum Uniwersytetu Jagiellońskiego w Krakowie.

Karolina Głowacka: Myślę, że jest pan kimś rodzaju magika, a może nawet cudotwórcy. Ludzie, którzy nie widzą oczami, mogą widzieć uszami. Dzięki panu. Jak to działa?

Amir Amedi: Po pierwsze, chciałbym powiedzieć, że my po prostu podążamy za rozwiązaniami natury. Mamy w przyrodzie wiele przykładów wykorzystywania dźwięków do obserwacji otoczenia, np. u delfinów i nietoperzy. One nie są niewidome, ale kiedy jest zbyt ciemno, czy to nocą, czy w jaskini, włączają system echolokacji: emitują dużo dźwięków i słyszą ich odbicie. Dzięki temu potrafią bardzo precyzyjnie rozpoznać kształt obiektu, jego lokalizację, a nawet to, z czego jest zrobiony.

To, co robimy w naszej instytucji, to próba naśladowania natury. Działa to w całkiem prosty sposób: mamy obraz, który zamiast z oczu, pochodzi z kamery. Taki obraz, nasze algorytmy „tłumaczą” na dźwięk w sposób, który pozwala odczytać kształty.
Zrozumienie tego muzycznego języka zajmuje około 20 godzin, dlatego trudno byłoby mi wytłumaczyć dokładnie jak to działa w ciągu minuty czy dwóch. Ale żeby dać jakieś wyobrażenie…

Powiedzmy, że mamy przetłumaczyć czyjś smutny wyraz twarzy. Muzyka będzie rysowała jego kształt. Dźwięki byłyby najpierw niskie, potem coraz wyższe i znów niskie. Czyli jest to język, w którym muzyka rysuje to, co widzisz. Jego nauka zaczyna się więc od rozumienia bardzo prostych linii, kształtów, a potem coraz bardziej skomplikowanych obrazów.

W zaawansowanej wersji jest to już jak słuchanie całej symfonii, będącej dźwiękowym odbiciem tego, co widzą kamery. Po treningu korzystający z naszego urządzenia mogą spokojnie trafić do windy, mogą odczytywać wyraz twarzy innych osób, a wchodząc do pokoju wiedzą, gdzie jest krzesło, stół i ręka, którą chcą uścisnąć.

 

Dla mnie właśnie ten moment jest szczególnie interesujący. Przecież w prawdziwym świecie nie widzimy odseparowanych twarzy. Widzimy bardzo wiele rzeczy jednocześnie: jabłka, biurka, schody, drzwi, ludzi, koty, psy… Myślę, że pana urządzenie w takich warunkach może działać jak głośny koncert rockowy.

- Ma pani rację. Oczywiście próbujemy sprawić, żeby to doświadczenie dźwiękowe było jak najprzyjemniejsze. Nie da się założyć naszego urządzenia i po prostu wyjść na ulicę. Najpierw trzeba zrozumieć ten język w prostych kontekstach. A potem coraz bardziej to komplikujemy.

Swoją drogą, nauka widzenia jest dość podobna. Noworodki nie są w stanie widzieć w sposób kompleksowy. Na początku rozpoznają bardzo proste kształty, a potem coraz bardziej złożone. Około 25-30 proc. naszego mózgu jest przeznaczone do obsługi widzenia. W naszych badaniach widać, że w mózgach użytkowników naszych urządzeń, neurony odpowiedzialne za wzrok są „zatrudniane” do obsługi naszego języka dźwiękowego.

Powiem przy tym otwarcie: nasze dźwiękowe widzenie jest niskiej rozdzielczości. Nie mamy milionów fotoreceptorów tak jak w przypadku oka. Mamy za to około 2 tys. dźwiękowych pikseli. Natomiast to, co jest fajne w naszym algorytmie, to to, że nie staramy się tworzyć osobnych dźwięków do każdego konkretnego przedmiotu. Staramy się uczyć niewidomych jak z tych uniwersalnych dźwiękowych pikseli budować obrazy. Każdy piksel jakoś brzmi, czy to nisko, czy wysoko. Wspólnie tworzą już rodzaj muzycznego ekranu.

Nawet taka niewysoka rozdzielczość pozwala na rozpoznawanie obiektów, choć oczywiście nie tak dobre, jak pozwala wzrok. Ale to już coś, co pozwala na czytanie, rozpoznawanie twarzy. Nasz system jest całkiem dobry, nieporównywalny do wzroku, wolniejszy od niego, ale całkiem dobry.

Powiedział pan "czytanie"? Np. gazety?

- Nie, gazety nie, ale dzięki urządzeniu można przeczytać np. szyldy i duże znaki typu „wyjście”. Wspólnie z zespołem dr. hab. Marcina Szweda z Uniwersytetu Jagiellońskiego prowadzimy badania, w których wykazaliśmy, że gdy niewidomi uczą się (alfabetu Braille’a - red.) albo kiedy korzystają z mojej technologii, do pracy zaprzęgane są obszary ich mózgów typowo odpowiedzialne za wzrok.

Czyli pokazaliśmy, że trening może dany obszar mózgu "przekonać" do przestawienia się na inny zmysły. Plastyczność naszych mózgów jest ogromna.

To bardzo ciekawy temat i jeszcze do tego wrócimy. Ale teraz chciałabym zapytać o coś innego i bardzo proszę o szczerość. Czy te dźwięki są miłe dla ucha?

- W naszym urządzeniu „Eye Music”, użyliśmy pięciotonowej skali dźwięku. Każda kombinacja w takiej skali jest względnie harmonijna. Względnie okej. Oczywiście nie mamy przywilejów takich jakie mieli Mozart czy Beethoven. Nie możemy wybrać kolejności dźwięków, bo nie możemy wybrać obrazów. Obrazy się zmieniają, rzeczywistość się zmienia.

Działa to więc tak, że słuchamy wielu dźwięków w tym samym czasie. Efekt jest względnie przyjemny, ale nie mogę powiedzieć, żeby były one „muzyką dla ucha”. Ale w skali od 1 do 5 użytkownicy oceniają muzykę na 4, więc nie jest tak źle.

Czyli to urządzenie przede wszystkim użytkowe, przyjemność nie jest najważniejsza?

- Tak. Muszę też dodać, że po dwóch godzinach jego użytkowanie zaczyna być męczące dla człowieka. To jest ciągły strumień dźwięku, który mocno angażuje mózg. Oczywiście wraz z treningiem wszystko jest coraz prostsze i bardziej automatyczne, ale to jest proces. Lubię porównywać go do nauki nowego języka.

Testował pan to urządzenia na sobie. Jednak pan nie jest niewidomy, więc to nie to samo.

- Nie jestem niewidomy, ale mogę wykonać proste zadania, choć nie jestem ekspertem.
Wykazaliśmy, że także ludzie widzący oraz ludzie tracący wzrok, mogą się nauczyć korzystania z naszego urządzenia. Niestety trudno to zbadać, bo u widzących motywacja do nauki jest znacząco niższa. Trudno zaangażować takie osoby w trening trwający dłużej niż 10 godzin. A bardziej imponujące umiejętności obserwujemy dopiero po 30-40-godzinnym kursie.

W każdym razie nie jest tak, że trzeba mieć uszkodzony zmysł wzroku, żeby nauczyć się tego dźwiękowego języka. Jest to zaskakującą obserwacją, bo do tej pory sądzono, że tego typu umiejętności, czyli „widzenia” poza zmysłem wzroku, można się nauczyć dopiero, gdy się go straci.

To jest szczególnie interesujące. Jak bardzo plastyczny jest nasz mózg?

- Nie zamierzam przekonywać, że nasz mózg jest kompletnie plastyczny. Gdyby tak było, bardzo łatwo wyleczyć się z każdego urazu mózgu.

Nasze ustalenia są następujące. Są dwa rodzaje plastyczności. Jeden z nich to plastyczność, w której obszar mózgu ciągle funkcjonuje, ale stracił źródło informacji, np. oczy, i musi być wytrenowany do wykonywania zadań opartych na nowych danych. Na przykład obszar odpowiedzialny za czytanie zwykle ogląda litery, łączy je w słowa. Jeśli ten obszar jest trenowany do czytania alfabetu Braille’a, albo poprzez technologie dźwiękowe, to mózg potrafi się dostosować bardzo szybko, w ciągu kilku godzin.

To jest naprawdę niesamowite. Mieliśmy badanych, których mózgi były obrazowane w czasie uczenia się nowego sposobu posługiwania się językiem i widzieliśmy na żywo jak mózg się zmienia w ciągu kilku godzin.

Ale mamy też sytuacje, w których pewien obszar mózgu został uszkodzony. Tracimy umiejętność czytania. W takim przypadku jest bardzo trudno przekonać inne obszary mózgu, żeby przyjęły tę umiejętność. Wtedy mózg może się zaadaptować w ciągu miesięcy, lat, albo i nigdy. To są te dwa rodzaje plastyczności.

Więc powtórzę: nie można powiedzieć, że nasz mózg jest superplastyczny i szybki w każdym przypadku, bo to nie jest prawda.

Wróćmy do pana urządzenia, Eye Music. Czy jest ono dostępne dla zwykłych ludzi?

- Wspólnie ze współpracownikami budujemy firmę New Senses ("Nowe zmysły"). Na razie urządzenia są dostępne tylko do treningów, ale bardzo ciężko pracujemy nad tym, żeby nasza technologia była względnie tania i dostępna dla szerokiej społeczności niewidomych.

Trzymamy kciuki.

Zobacz także
  • Założycielka i szefowa Polskiej Akcji Humanitarnej Janina Ochojska próbuje dostać się do Sejmu by odwiedzić protestujących rodziców dzieci niepełnosprawnych. Nie została wpuszczona. Warszawa, 16 maja 2018 Janina Ochojska chciała wesprzeć protestujących. Nie została wpuszczona do Sejmu
  • Plastikowe naczynia i sztućce w jednej z paryskich restauracji Nawet przy zdrowej diecie możemy się truć. Badania wykazują, że zagraża nam plastik, który... jemy
  • Elon Musk wysłał w kosmos swój samochód. Ma rozmach Ciemna strona Muska: "podcina gałęzie pod wynalazkami, z których będą korzystać nasze dzieci"
Komentarze (1)
Niewidomi będą mogli zobaczyć świat... uszami. "Sztuczne oko" rysuje im świat za pomocą muzyki
Zaloguj się
  • 2bxornot2b

    0

    Bardzie sztuczne jak oko i mniej ucho jak sztuczne.

Aby ocenić zaloguj się lub zarejestrujX

DOSTĘP PREMIUM

Serwis informacyjny