Команда ученых из Отделения неврологической хирургии Калифорнийского университета в Сан-Франциско под руководством доктора Эдварда Чанга разработала и реализовала на человеке технологию — нейропротез с искусственным интеллектом, который преобразовывает сигналы с поверхности мозга в письменную, устную речь и выражение лица. Он помог пациентке с параличом после инсульта восстановить возможность общаться. Авторы также впервые создали для нее аватар и голос, которые все это воспроизводят. Исследование, уже названное вехой в развитии неврологии и ИИ, в журнале Nature.
Виртуальное лицо, восстановленный голос
«Это позволило мне снова почувствовать себя полноценной личностью», — говорит теперь 48-летняя Энн Джонсон из Канады. В 2005 году она пережила инсульт, который лишил ее возможности двигаться и говорить. К тому моменту Энн только два года как вышла замуж, родила дочь, работала учителем математики в старших классах и тренером по волейболу. Перед очередной игрой прямо во время разминки у нее случился стволовой инсульт, который поражает ствол головного мозга и зачастую приводит к смерти. Женщина выжила, но даже после реабилитации осталась парализованной. Ее дочери тогда было 23 месяца, и она выросла, не помня свою маму здоровой.
Спустя 18 лет искусственный интеллект помогает миссис Джонсон восстановить возможность говорить. Как сообщается в исследовании, пациентке был имплантирован нейропротез с электродами в голову, но только на поверхность мозга — этого оказалось достаточно, чтобы получать записи высокой плотности с речевой коры, расшифровывать их с помощью сложных моделей обучения, преобразовывать сигналы мозга в письменную речь и даже озвучивать ее аватаром. Виртуальное лицо для себя Энн выбрала сама, а голос ученые синтезировали по свадебной записи, где невеста Энн произносит тост.
Мозг — электроды — аватар
Процесс выглядит так: пациентка пытается мысленно произносить предложения, а система электродов напрямую в режиме реального времени переводит ее мозговую активность в слова, а также малейшие проявления мимики — как поджатые губы, улыбку — в выражение лица аватара на мониторе. Таким образом, другие люди могут теперь слышать ее интонации и улавливать эмоции.
Нейропротез Энн Джонсон нужно подключать кабелем к компьютеру, чтобы начать говорить. Но команда уже работает над беспроводными версиями. Их коллеги из других научных институтов тоже ведут поиски такой технологии параллельно. Область развивается быстро, по мнению экспертов, беспроводные нейропротезы могут появиться в течение десяти лет.
78 слов в минуту
По словам ученых, этот нейропротез — огромный шаг вперед, им удалось добиться «стремительного прогресса» по сравнению с их же разработкой. Два года назад команда установила более простой имплант парализованному мужчине (в исследовании ему дали имя Панчо, чтобы не раскрывать личность): он использовал алгоритм для толкования 50 базовых слов вроде «привет» или «голоден», и они печатались на мониторе компьютера. Панчо мог выдавать 15–18 слов в минуту, в норме показатель — 160.
В новом импланте миссис Джонсон скорость — 78 слов в минуту, гораздо шире словарный запас и в два раза больше электродов, которые улавливают сенсорные и моторные сигналы, связанные с речью, движениями рта, губ, челюсти, языка, гортани. И в новой разработке специалисты научили модели ИИ распознавать не слова, а фонемы — звуковые единицы, которые в итоге могут складываться в любые слова.
В начале работы с Энн, как признались исследователи, не планировалось использовать аудио и аватар. Но результаты были такими многообещающими, а пациентка — такой целеустремленной, что решили усложнить задачу. Алгоритм, который декодирует мозговую активность, запрограммировали еще и на звуковые сигналы, чтобы озвучивать речи, а лицевую анимацию — на движения мышц.
Цель команды — помочь людям с такими состояниями, как церебральный паралич, параличи после инсультов, боковой амиотрофический склероз. Энн Джонсон даже собирается начать работать, она проходит онлайн-курсы для консультантов по травмам. Однако прежде невозможность говорить не позволяла ей напрямую общаться с клиентами. Теперь это препятствие может быть устранено.
Ранее портал Vokrugsveta.ru рассказывал историю Джо Кэмерон из Шотландии, которая не чувствует боли и страха.
