Разработчики Disney представили FRAN – ИИ-инструмент, способный преобразить Голливуд и избавить киноиндустрию от необходимости прибегать к использованию спецэффектов или сложного грима для изменения возраста актёров.

В последние десятилетия широкое распространение получили цифровые технологии, при помощи которых специалисты меняют возраст актёров, однако зачастую результат их работы не выдерживает критики со стороны современного зрителя. К примеру, на этапе постпроизводства для фильма «Ирландец» Мартин Скорсезе и его команда потратили миллионы долларов на изменение возраста главных героев, чтобы впоследствии услышать от зрителей недовольство попыткой омолодить Роберто Де Ниро, Аль Пачино и Джо Пеши. В итоге графика замазала морщины и вернула волосам цвет, но даже тонны CGI не скрыли походки, осанки и покрытых узлами вен рук пожилых актёров. К тому же зрители отметили нестабильность картинки, из-за чего кадры с «молодыми» персонажами выглядели странно несмотря на то, что львиная доля бюджета в $159 миллионов была потрачена именно на «игры с возрастом». Именно потому в Disney решили создать нейросеть, которая FRAN поможет сделать процесс изменения возраста актёров более простым и дешёвым.

Исследователи и прежде экспериментировали с ИИ-инструментами, способным автоматизировать «омоложение» или «состаривание» людей в кадре. Однако до сих пор их практичность, а вместе с тем и перспективность применения в киноиндустрии, была ограничена рядом недостатков. К примеру, зачастую по мере изменения возраста становилось труднее узнать человека. Кроме того, подобные алгоритмы выдавали недостаточно стабильные результаты, которые искажались от кадра к кадру или имели низкое разрешение. Специалисты Disney работали в команде с учёными из Висконсинского университета в Мадисоне.

Для создания алгоритма они создали базу данных из более чем 2000 сгенерированных лиц. Каждый искусственный человек был представлен в базе по 14 раз в возрасте от 18 до 85 лет. Таким образом они обошли необходимость поиска фотографий реальных людей разного задокументированного возраста с идентичным выражением лица, позами, фоном и освещением. С помощью этой базы данных FRAN или face re-aging network идентифицировала участки лица, подверженные возрастным изменениям, и научилась прогнозировать аналогичные изменения на лицах реальных людей. Затем учёные научили нейросеть накладывать возрастные изменения и на видеоматериалы.

 В Disney заявляют, что FRAN – это первый полностью автоматизированный метод изменения возраста на фото и видео. Стоит отметить, что алгоритм действительно работает лучше популярных фильтров в Snapchat и прочих социальных сетях, однако и у него есть свои ограничения. К примеру, представители Disney признали, что нейросеть не справится с экстремальными модификациями, и превращение 80-летнего актёра в 18-летнего (или наоборот) будет выглядеть не слишком правдоподобно. Кроме того, хотя FRAN неплохо преображает лицо и шею человека, действие нейросети абсолютно не распространяется на волосы, поскольку информация об изменении волос с возрастом отсутствовала в оригинальной базе данных. Впрочем, вероятно, этот недостаток возможно исправить, включив в базу изменения структуры и цвета волос, типичные для людей разного возраста. Тем временем главным достоинством технологии является сохранение узнаваемости черт лица с разными выражениями и эмоциями.

Disney пока не раскрывает своих планов касательно нейросети, однако известно, что компания уже использовала FRAN в фильме «Человек-муравей». В сцене с флешбэком, отсылающим зрителей во времена за 26 лет до основной сюжетной линии, запечатлён порядком помолодевший Кирк Дуглас в роли Хэнка Пима, который уходит из Щ.И.Т.а, узнав, что Говард Старк пытается воспроизвести его авторскую формулу для изменения размеров объектов.

Источник: Production-Ready Face Re-Aging for Visual Effects / Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo, Derek Bradley