воскресенье, 13 сентября 2015 г.

Видеть с помощью звука: о каких скрытых способностях мы даже не догадываемся?

Автор: Елена Маркарян
English version

Психолог-экспериментатор доктор Майкл Пру (Dr. Michael Proulx) на TEDx Talks как-то сказал: «Мы считаем, что мы видим нашими глазами, но на самом деле мы видим мозгом. Глаза просто обеспечивают передачу информации, а мозг сортирует эту информацию, придает ей смысл и создает чувство виденья» [0]. Эти слова дают много пищи для размышлений, а также подталкивают к переоценке наших способностей. А что же происходит, если вдруг ввод визуальной информации прерывается? Может ли человек в таком случае восстановить визуальное  восприятие?
Доктор Ионе Файн (Dr. Ione Fine), рассуждая в своем интервью о понятии кроссмодальной  пластичности, объясняет, что, если человек не получает визуальную информацию, часть мозга, отвечающая за обработку визуальных данных, не может просто перестать функционировать и ничего не делать. Поэтому «визуальная» кора мозга начинает «заполняться» другой, а именно: слуховой и тактильной информацией, и мозг начинает анализировать уже ее.

На самом деле, в повседневной жизни незрячих людей зрительная кора активно вовлечена в процесс обработки слуховой информации [0]. В частности, это подтверждается наблюдениями научных групп д-ра Джулии Дормал (Dr. Giulia Dormal) и д-ра Оливье Коллигнона (Dr. Olivier Collignon), которые в ходе своих исследований применяли метод  функциональной магнитно-резонансной томографии (фМРТ). Ученые отметили активизацию областей зрительной коры мозга в ответ на звуковые стимулы у незрячих от рождения и утративших зрение в зрелом возрасте лиц [1, 2].

Пример спектрограммы звука 
длительностью в 1 секунду, 
генерируемой программой The vOICe
Источник: www.seeingwithsound.com

Разрыв стереотипов дает много возможностей.

Таким образом, если один из органов чувств   не доступен, почему бы не использовать другой для того, чтобы обеспечить мозг необходимой «пищей» для обработки? В общем-то, этот принцип и был использован д-ром Питером Мейером (Dr. Peter Meijer), который разработал систему преобразования визуальных изображений в звуковые сигналы ещё в 1992 году [3]. 
Эта система обеспечивает ее пользователя «визуальной» информацией  посредством слуха и называется The vOICe [4].
После длительных тренировок с помощью данного сенсорно-замещающего устройства тотально незрячие люди способны:
- различать формы различных объектов;
- определять реальные объекты и их местонахождение в пространстве;
- определять и повторять позы тела человека, стоящего на расстоянии нескольких метров от них;
- ориентироваться в многолюдных коридорах, обходя препятствия;
 - и даже определять живые трёхмерные эмоциональные выражения лица, основываясь на анализе формы лица и рта [5]!
Интересный факт был обнаружен исследовательской группой д-ра Эллы Штрием-Амит (Dr. Ella Striem-Amit). Исследователи решили оценить остроту зрения, которую программа The vOICe смогла обеспечить девяти тотально незрячим лицам. Причем, 8 из них были незрячими от рождения, а один  утратил зрение в раннем возрасте. Важно отметить, что испытуемые перед этим несколько месяцев  (по 2 часа в неделю) обучались пользованию программой.
Так вот, с помощью теста Снеллена (с поворачивающейся буквой E) было установлено, что острота зрения участников колеблется в рамках 0,1 - 0,033. Кроме того, у 5 из 9 участников острота зрения была выше порога слепоты, установленного Всемирной организацией здравоохранения на уровне 0,05. Поэтому формально их можно было признать слабовидящими, а не тотально незрячими! [5]

Доктор Мейер и его программа The vOICe


Для того чтобы лучше понять принципы работы программы The vOICe, я непосредственно обратилась к разработчику устройства д-ру Мейеру с просьбой более подробно рассказать о тех возможностях, которые она предлагает для тотально незрячих людей. И вот что он рассказал.

- Д-р Мейер, согласитесь, что Ваше утверждение, что  с помощью звука можно видеть – это, с одной стороны, достаточно смелое, а с другой, парадоксальное  утверждение.  Каким же образом к Вам пришла сама идея, что люди могут «видеть  звуком»?

- Д-р Питер Мейер. В мозге на нейронном уровне сигналы, несущие визуальную или звуковую информацию, все выглядят одинаково (просто последовательность пиков). Поэтому если «распределительная коробка» нейронной сети позволяет, то возможна «утечка» звуковой информации в визуальную кору головного мозга. По аналогии с тем, как с помощью старой телефонной системы, состоящей из медных проводов под землей, вы можете позвонить людям,  которым не звонили прежде, и всё это без изменения физической проводки под землей.

- Как и когда наступает тот момент, когда звук начинает анализироваться зрительной, а не слуховой корой головного мозга?

- Д-р П.М. Если зрячим людям завязать глаза, то уже через несколько  дней их зрительная кора начинает отвечать на звуковые стимулы (см. 6, 7, 8).
Как это работает, и степень участия в этом, например, теменной коры (ассоциативная зона коры) до сих пор неясно.
Основная идея заключается в том, что зрительная кора «любит» делать то, что она может делать хорошо, например, производить пространственные вычисления, и если она может (и должна, из-за отсутствия зрения) получить эту информацию из другого источника, мозг адаптируется. По тем же причинам, при синдроме Чарльза Бонне, утрата зрения может приводить к появлению визуальных галлюцинаций, потому что зрительные области мозга всё еще «хотят» создавать реалистичные визуальные образы. В идеале, подход по замещению одного типа поступающей сенсорной информации на другой должен заменить бессмысленные галлюцинации на зрительные галлюцинации, основанные на истинных визуальных данных,  несмотря на то, что вводимая информация кодируется иначе (например, в звуке). Нормальное зрение можно рассматривать как визуальные галлюцинации, содержание которых совпадает с физической реальностью, поскольку это содержание является производным от вводимой визуальной информации об окружающей среде, полученной через глаза.

На фото: устройство для Windows версии программы The vOICe. Версия Android также 
доступна. Источник: www.seeingwithsound.com

Преобразование изображения в звук: как это работает?


Сначала изображения улавливаются камерой, а затем преобразовываются в так называемые звуковые ландшафты, которые сохраняют информацию о форме объекта. Алгоритм преобразования изображения в звук заключается в следующем: время и стерео прокрутка образуют горизонтальную ось звукового ландшафта, высота звука составляет вертикальную ось, а громкость соответствует яркости пикселей [9]. Например, яркая (светлая) точка на чёрном фоне дает короткий звуковой сигнал, тон которого указывает на высоту нахождения этой точки в поле зрения. Восходящая светлая линия дает восходящий звук. Больше примеров и соответствующие звуковые ландшафты вы можете найти в руководстве по обучению программе The vOICe [10].
Примечательно то, что программа The vOICe позволяет использовать естественные оптические явления, а именно: визуальную перспективу, параллакс, окклюзию, светотень и тени. При самостоятельной навигации незрячего это может существенно ему помочь. Например, зная правило, что при сокращении расстояния до объекта вдвое, его размеры увеличиваются в два раза и применяя это правило при передвижении, пользователь, анализируя получаемые звуковые ландшафты, может определить как близкие потенциальные препятствия, так и ориентиры, расположенные отдаленно. Больше информации об интересных закономерностях вы можете найти в руководстве по обучению  программе [10].
Для того чтобы начать практиковать The vOICe, вам понадобится компьютер, чтобы установить бесплатную Windows программу, и наушники. Это позволит вам практиковать толкование звуковых ландшафтов, кодирующих простые формы. Когда вы будете готовы к переходу на следующий уровень, необходимо будет использовать портативный компьютер (ноутбук или планшет), а также камеру, позволяющую улавливать реальные объекты окружающей среды.
Все подробности, касающиеся программных и аппаратных средств, вы сможете найти на seeingwithsound.com.  Кроме того, там вы найдёте рекомендации относительно наушников, работающих по принципу костной проводимости (позволяют одновременно слышать как звуковые ландшафты программы The vOICe, так и звуки окружающей среды) и USB-очков со встроенной камерой. Все это делает использование программы The vOICe более удобным.

Но важно помнить, что The vOICe - не «волшебная пилюля».


Очень важно пройти пошаговое обучение перед использованием программы The vOICe в реальном окружении, особенно за пределами привычной для вас безопасной среды. Прослушивание звуковых ландшафтов The vOICe, передающих изображение окружающей среды без предварительной подготовки в некоторых случаях может вызвать раздражительность или головную боль из-за большого потока сложных звуков, которые вы пока не умеете интерпретировать.
Весьма удачное сравнение привел как-то д-р Мейер (из личной переписки - пр. автора): «Обучение вождению автомобиля поначалу также может быть весьма стрессовым процессом, ведь необходимо практически одновременно следить за дорогой, смотреть в зеркало заднего вида, нажимать на газ/тормоз, управлять рычагом коробки передач, выжимать сцепление и управлять рулем. Тем не менее, будущие водители не жалуются, а продолжают свое обучение. Освоение программы The vOICe тоже требует усердной работы и настойчивости».
Здесь вы можете найти пошаговое руководство по самообучению, а здесь – рекомендации по работе с программой.
Советы д-ра Мейера относительно настойчивости в обучении программе The vOICe подтверждается также научными наблюдениями. Так, исследовательская группа д-ра Лютфи Мерабет (Dr. Lotfi Merabet), занималась измерением активности мозга (с применением фМРТ) до и после обучающих программе занятий. До обучения у четверых зрячих испытуемых в ответ на звуковые ландшафты The vOICe наблюдалась сильная активация слуховой, а не визуальной коры головного мозга. Но через неделю обучения программе у 3-х из 4-х испытуемых регистрировалась активизация визуальных областей коры головного мозга [6].
Другие интересные результаты были получены исследовательской группой д-ра Амира Амеди (Dr. Amir Amedi) при изучении боковой затылочной тактильно-визуальной области коры головного мозга (БЗтв), которая в обычном состоянии отвечает за распознавание объекта с помощью обработки объединенной визуальной и тактильной информации. Согласно данных фМРТ, звуковые ландшафты, генерируемые программой The vOICe, также активировали  БЗтв во время распознавания объектов, в то время как другие звуки эту область мозга не активировали. Более того, такая активация наблюдалась только у тех испытуемых, которые предварительно обучались интерпретировать звуковые ландшафты. Также ученые добавляют, что при этом вряд ли зрительное воображение инициирует обработку в БЗтв информации, полученной от звуковых ландшафтов [9].

The vOICe: 14 лет вместе. Мнение о программе незрячего пользователя

На фото: Пранав Лал и сделанные им фотографи. Источник: http://techesoterica.com/

Некоторое время назад New Scientist опубликовал статью о незрячем с рождения молодом человеке по имени  Пранав Лал (Pranav Lal), который делает замечательные фотографии тех мест, по которым путешествует. Он использует The vOICe, чтобы поймать хороший кадр.
В своей повседневной жизни Пранав Лал пользуется программой The vOICe с 2001 года, т.е. уже в течение 14 лет. Поэтому я предположила, что он – именно тот человек, к которому стоит обратиться и услышать его мнение, касающееся данного сенсорно-замещающего устройства.

- Каковы ваши ощущения во время восприятия мира с помощью программы The vOICe? Какие именно преимущества Вы отмечаете, пользуясь данной  программой?

- Пранав Лал.  Что касается моих ощущений, я не могу описать их одним словом. Их просто стало гораздо больше. Так, благодаря программе The vOIСe  я смог увидеть лестницу снаружи моего дома. Также я смог рассмотреть архитекторские планы своего дома. А посмотрев на боковую часть лестницы, я смог сопоставить увиденное с чертежом архитектора.
Когда водитель везет меня в магазин, расположенный довольно далеко от дома, я смотрю на проезжающие автомобили, в том числе и на те, которые остановились на красный свет. Мне интересны стены домов вдоль  дороги, деревья и  т.д. Каждый день я получаю все больше и больше  информации. Словами этого не передать,  это нужно испытать.
Также The vOICe помогает мне ориентироваться в пространстве. Например, я могу, не сталкиваясь с коллегами в офисе,  идти по прямой линии. Я чувствую себя в большей гармонии с окружающей меня средой и могу получать информацию почти так же быстро, как и зрячий. Кроме того, это дает мне возможность больше включаться в мир зрячих. Я могу указать на что-то и спросить окружающих меня людей, что это такое, и если люди этим «чем-то» взволнованы, я могу смотреть на это и участвовать в разговоре.
Чтобы достичь таких же результатов при использоваться  программы  The vOICe как и я, незрячим следует все время практиковаться. А начинать нужно с малого, например,  с рассматривания двери  своей спальни и оценивания, как она выглядит визуально.

- Как долго Вы активно используете The vOICe? Используете ли вы его в течение всего дня или только в течение короткого периода? Испытывали ли Вы какие-либо побочные эффекты после использования этой программы (например, головную боль)?

- П.Л. Я использовал программу в течение максимум 12-ти часов и не испытывал при этом никакого дискомфорта. Я регулярно пользуюсь программой и одеваю устройство по мере необходимости. Например, в свой обычный день я могу попользоваться программой The vOICe всего 5 или 10 минут, чтобы пройтись вокруг своего офиса, но когда я отправляюсь в отпуск или на новое место, я снимаю устройство лишь тогда, когда возвращаюсь в свой гостиничный номер. Уверяю вас, что головных болей при длительном использовании The vOICe я не испытываю. Я могу почувствовать некоторый дискомфорт, если сами комплектующие устройства не удобны. Тем не менее, это довольно быстро исправляется. Например, в какой-то момент мне  стали неудобны наушники. Но теперь я перешел на наушники с костной проводимостью, что освободило  мои уши.

- Вы действительно воспринимаете звуковые ландшафты подсознательно, не задумываясь о правилах преобразования изображения в звук?

- П.Л. Что касается подсознательного интерпретирования, то я больше не задумываюсь о правилах. Я чувствую изображение, а затем разбиваю его на формы. Затем я смотрю на пространства между фигурами, на пятна света и тени, а затем отыскиваю разные текстуры. Если я действительно сталкиваюсь с чем-то новым, то я знаю 3 основных правила, которые помогают осмыслить его. Три правила заключаются в следующем:
- панорамирование (движение звука) даёт понятие о горизонтальном положении объекта;
- высота звука (тон) – о его вертикальном положении;
-  громкость – о яркости объекта.
 Со временем происходит так, что чем больше вы пользуетесь программой, тем больше эти правила становятся для вас привычкой при прослушивании звуковых ландшафтов. Я часто ловлю себя на том, что использую эти три правила даже при прослушивании музыки и, поверьте мне, получаются довольно странные картинки! Я не строю полные картинки в моей голове, но скорее они формируются в виде некой функциональной модели, подобно фотографическому  негативу.

Отмечу, что Пранав Лал ведёт свой блог techesoterica.com, где он делится своим опытом использования программы The vOICe, а также размышлениями на другие темы.

Послесловие.

Хотела бы отметить, что о другом сенсорно-замещающем устройстве, а именно – о тактильном – я писала ранее. Уникальность устройств The vOICe и BrainPort, по моему мнению, заключается в том, что принцип их работы использует естественную способность организма (в данном случае – мозга) приспосабливаться к новым условиям. Они неинвазивны, относительно дёшевы и могут открывать в нас новые возможности в восприятии окружающего мира, о которых мы раньше и не задумывались.
Есть еще один момент, касающийся The vOICe, который, помимо всего прочего, сильно удивил меня. Данное устройство может дать опыт зрительного восприятия людям, незрячим от рождения, и это поразительно! Ведь специалисты знают, что существует понятие так называемых «критических периодов», предполагающее, что если в течение определенного периода развития (происходящего в детстве) зрительные раздражители не поступают в мозг, зрительные функции не развиваются [11]. Эта закономерность подтверждается психологическими наблюдениями за детьми, утратившими зрение в разном возрасте [11]. Например, если лишение зрительной информации происходит в 6-месячном возрасте, это предотвращает развитие нормальной остроты зрения. Наступление слепоты в течение короткого времени после рождения предотвращает развитие чувствительности к фиксированию общего направления движения. Тем не менее, исследования врожденно незрячих лиц, которые использовали программу The vOICe [5], а также опыт Пранава Лала демонстрируют, что они всё же могут приобрести такие зрительные функции, как острота зрения, распознавание формы, локализация объектов в пространстве и др., несмотря на полное отсутствие визуального опыта в период развития.

Я выражаю благодарность  д-ру Питеру Мейеру и Пранаву Лалу за помощь в создании этой статьи.

Список литературы:

0. Michael Proulx at TEDxBathUniversity: https://www.youtube.com/watch?v=2_EA6hHuUSA
1. Dormal G, Lepore F, Harissi-Dagher M, Albouy G, Bertone A, Rossion B, Collignon O (2014). Tracking the evolution of crossmodal plasticity and visual functions before and after sight-restoration. Journal of Neurophysiology, 113, 1727-1742. doi: 10.1152/jn.00420.2014.
2. Collignon O, Dormal G, Albouy G, Vandewalle G, Voss P, Phillips C, Lepore F. (2013). Impact of blindness onset on the functional organization and the connectivity of the occipital cortex. Brain, 136 (Pt 9): 2769-83. doi: 10.1093/brain/awt176.
3. Meijer PB (1992). An experimental system for auditory image representations. IEEE Trans Biomed Eng. 39(2):112-21.
5. Striem-Amit E., Guendelman M., Amedi  A. (2012). ‘Visual’ Acuity of the Congenitally Blind Using Visual-to-Auditory Sensory Substitution. PLoS ONE 7(3): e33136. doi:10.1371/journal.pone.0033136
6. Merabet L, Poggel D, Stern W, Bhatt E, Hemond C, Maguire S, Meijer P and Pascual-Leone A (2008). Retinotopic visual cortex mapping using a visual-to-auditory sensory-substitution device. Front. Hum. Neurosci. Conference Abstract: 10th International Conference on Cognitive Neuroscience. doi: 10.3389/conf.neuro.09.2009.01.273
7. Pascual-Leone A, Hamilton R (2001) The metamodal organization of the brain. Prog Brain Res 134: 1–19.
8. Merabet LB, Maguire D, Warde A, Alterescu K, Stickgold R, Pascual-Leone A.(2004). Visual hallucinations during prolonged blindfolding in sighted subjects. J Neuroophthalmol. 24(2):109-13.
9. Amedi A, Stern W M, Camprodon J A, Bermpohl F, Merabet L, Rotman S, Hemond C, Meijer P & Pascual-Leone A (2007). Shape conveyed by visual-to-auditory sensory substitution activates the lateral occipital complex. Nature Neuroscience 10, 687 – 689, doi:10.1038/nn1912
10. Руководство по обучению программе The vOICe: http://www.seeingwithsound.com/manual_ru/The_vOICe_Training_Manual_ru.htm  
Руководство по самообучению программе The vOICe на англ.языке: http://www.seeingwithsound.com/training.htm   
11. Lewis T. L., Maurer D. (2005). Multiple Sensitive Periods in Human Visual Development: Evidence from Visually Deprived Children.  2005 Wiley Periodicals, Inc., DOI: 10.1002/dev.20055.