RU EN

Нейросеть научили восстанавливать «мысли» человека по электроактивности его мозга в режиме реального времени

18 октября 2019 г.

Исследователи российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга. Препринт работы доступен на bioRxiv.

Интерфейс «мозг – компьютер»

Иллюстрация. Интерфейс «мозг – компьютер». Дизайнер: @tsarcyanide, пресс-служба МФТИ

Для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств, управляемых мозгом, необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы – исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс «мозг – компьютер», созданный командой ученых из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта «Ассистивные технологии» НейроНет НТИ, в котором ключевую роль играет интерфейс «мозг – компьютер», используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы – увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» – видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли – и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая – создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Алгоритм работы интерфейса «мозг – компьютер»

Инфографика. Алгоритм работы интерфейса «мозг – компьютер».
Источник: А. Бобе, дизайн – @tsarcyanide, пресс-служба МФТИ

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Реконструирование изображений

Фото. Реконструирование изображений. Слева стоит кадр видеоролика,
который показывали испытуемому, справа – воссозданный нейросетью. Источник: Григорий Рашков

Видео с результатами эксперимента выложены в свободный доступ.

«Энцефалограмма – следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ – это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, – говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс». – Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс «мозг – компьютер». Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».


Для справки

Проект «Ассистивные нейротехнологии» при поддержке NeuroNet НТИ был начат в 2017 г., направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств – это нейрогарнитура NeuroPlay, нейротренажер, ФЭС, ТЭС, Когниграф, Робоком и другие.

Лаборатория нейророботехники МФТИ образована в 2017 г. в рамках Программы «5-100». Основное направление деятельности – разработка антропоморфной робототехники, а также оборудования для научных исследований в области нейронаук, физиологии и поведения.

Источник: mipt.ru

Партнеры:

Российское Общество ангиологов и сосудистых хирургов Ассоциация флебологов России Российская Ассоциация Радиологов РАСУДМ - Российская ассоциация специалистов ультразвуковой диагностики в медицине РАСФД - Российская ассоциация специалистов функциональной диагностики