Американская компания Meta разработала технологию Brain2Qwerty, которая позволяет превращать мысли человека в печатный текст.
Что известно о Brain2Qwerty
Исследование проводилось в Испании, где 35 добровольцев часами печатали предложения, пока специальная установка весом в полтонны записывала их мозговую активность. Эта установка в Баскском центре познания, мозга и речи дала начало Brain2Qwerty, самому амбициозному на сегодняшний день неврологическому проекту компании Meta.
Изобретение представляет собой неинвазивный интерфейс “мозг-компьютер” (BCI), который декодирует предложения из нейронной активности, записанной с помощью электроэнцефалографии (ЭЭГ) или магнитоэнцефалографии (МЭГ).
Инновация Brain2Qwerty заключается в гибридной архитектуре глубокого обучения, которая сочетает в себе сверточные нейронные сети (CNN), трансформаторные модели и предварительно обученный языковой модуль.
Слой CNN извлекает пространственные и временные характеристики из необработанных данных ЭЭГ/МЭГ, выделяя паттерны, связанные с двигательной активностью во время набора текста. Затем эти сигналы обрабатываются трансформаторным модулем для предсказания слов или фраз, а не отдельных символов. Наконец, речевая модель уточняет результаты, исправляя ошибки и согласовывая прогнозы с лингвистическими вероятностями.
В отличие от других технологий BCI, которые полагаются на внешние раздражители или воображаемые движения, Brain2Qwerty использует естественную моторную активность человека, что уменьшает когнитивную нагрузку и делает процесс более интуитивным.
Несмотря на значительный прогресс, пока технология имеет проблемы с точностью распознавания текста. Однако ее потенциал открывает новые возможности, особенно для людей с нарушениями речи и движения.
