Команда дослідників з Каліфорнії створила інноваційну систему, що використовує мозговий імплант та алгоритми ШІ для відновлення природного мовлення в паралізованих людей – в реальному часі та їхнім власним голосом.
Новітня технологія є результатом співпраці дослідників з Університету Каліфорнії в Берклі та Університету Каліфорнії у Сан-франциско. Вчені створили компактний імплант, що вимірює електричну нейронну активність мозку людини, а також алгоритм ШІ, який вчиться будувати речення на основі цих даних голосом пацієнта. Це значний прогрес у порівнянні з попередніми нейрокомп’ютерними інтерфейсами синтезу мови. За словами доцента кафедри електротехніки та комп’ютерних наук в Берклі Гопали Ануманчіпаллі, його команда використовує потоковий підхід, що дозволяє нейропротезу декодувати мовлення з такою самою швидкістю, як це роблять голосові асистенти на кшталт Alexa або Siri. Завдяки схожому типу алгоритма дослідники навчилися швидко розшифровувати дані нейронної активності мозку та практично синхронно синтезувати голосове мовлення на їхній основі.
Цікаво, що ця технологія є сумісною з широким спектром нейрокомп’ютерних інтерфейсів від щільних масивів електродів, що фіксують нейронну активність прямо з поверхні мозку чи глибинних мікроелектродів, які проникають всередину органу, до неінвазивних систем електроенцефалографії або навіть поверхневої електроміографії, що зчитує м’язову активність обличчя. У своєму дослідженні каліфорнійські вчені використовували перший тип інтерфейсу. Нейропротез розміщали так, аби він міг отримувати дані моторної кори, яка відповідає за контроль моторного компоненту мовлення. Потім отримані дані ШІ перетворює на зв’язне мовлення. За словами співавтора дослідження Чеоля Джуна Чо, об’єктом опрацювання алгоритму є те, що відбувається вже після сформованої думки, коли людина вирішила, що хоче сказати, які слова використати та як залучити м’язи голосового тракту.
Для тренування ШІ дослідники використовували дані мозкової функції пацієнтів, які намагалися подумки проговорити слова, які з’являлися на екрані перед ними. Завдяки цьому вчені отримали якісну мапу нейронної активності моторної кори, пов’язаної з мовленням. Другим ШІ-елементом виступила модель синтезу мовлення, створена на базі записів голосу пацієнтів, зроблених до втрати ними здібності говорити через хворобу або травму. Вона відповідає за генерування аудіо, що озвучує думки людини. Головна особливість цієї системи полягає у тому, що імплант проводить сканування активності мозку що 80 мс – значно частіше, ніж в попередніх проєктах тієї ж команди вчених (у 2023 році їхня система оновлювала дані кожні 8 секунд). Це дозволило значно скоротити затримки у передачі думок пацієнтів.