Учёные создали 3D-модели объектов по их отражению в глазах

Neural Radiance Field (NeRF) – это метод глубинного обучения, суперспособность которого заключается в умении интерполировать между оригинальными изображениями для создания непрерывного представления сцены и получения вида на объекты с новых ракурсов. Учёные использовали эту способность для создания 3D-моделей объектов на основе их 2D-изображения в отражении человеческих глаз.

Исследователи из Университета Мэриленда опубликовали научную работу с описанием разработанной ими методики построения моделей объектов, на которые люди смотрели в момент съёмки. Сперва учёные собрали базу данных из серии снимков в высоком разрешении с изображением лица человека, который передвигается по комнате. Затем, приблизив изображение глаз человека, а точнее роговиц, они перевернули отражения, удалили любые изменения цвета и деталей, наложенные видом глазной радужки, и постарались компенсировать искажения объектов, связанные с формой выпукло-вогнутой линзы, присущей роговице человеческого глаза. На основе полученных изображений алгоритм создал 3D-модель объектов, которые были перед глазами человека в момент съёмки.

На текущем этапе развития технологии рендеринг моделей не способен дать высококачественные картинки, однако в большинстве случаев на основе результатов работы алгоритма можно опознать объекты или хотя бы предположить, на что человек мог смотреть во время съёмки фото или видео. Впрочем, пока что сложно представить себе реалистичный сценарий, в котором кому-либо понадобилось бы вычислять, какие предметы находились в помещении с объектом съёмки, не связанный с деятельностью шпионов или частных детективов. Покамест самым близким к реальному миру испытанием для технологии стала попытка распознать окружение Майли Сайрус и Леди Гаги в музыкальных клипах обеих исполнительниц. По замыслу учёных, профессиональная съёмка в условиях хорошей освещённости должна была существенно упростить работу алгоритма. Увы, разрешение обоих видео оказалось недостаточным для сколь-нибудь значимых результатов. Исследователи смогли лишь предположить, что Майли Сайрус смотрела на световую решётку или близкий по форме осветительный прибор, а перед глазами Леди Гаги находилось нечто, напоминающее торс человека.

Тем не менее учёные планируют и дальше продолжать совершенствование алгоритма. Эта технология отчасти напоминает попытки исследователей из МТИ восстановить звуковой ландшафт герметичной и звуконепроницаемой комнаты при помощи «визуального микрофона». В частности, в качестве такого микрофона выступили снятые на видео пакет чипсов, обёртка из алюминиевой фольги, поверхности стакана воды и листьев комнатного растения. При помощи высокоскоростной съёмки инженеры смогли «считать» с поверхностей этих объектов звуковые вибрации, а алгоритм использовал эти данные, чтобы реконструировать звуки в помещении.