Американская технологическая компания NVIDIA представила новую программу под названием GauGAN, которая превращает даже самые грубые наброски в фотореалистичные изображения.

Как и ранее представленные генеративно-состязательны сети, GauGAN действует на основе алгоритма машинного обучения. Специалисты NVIDIA назвали программу в честь знаменитого французского живописца и крупнейшего представителя постимпрессионизма – Поля Гогена (Paul Gauguin). Алгоритм превращает простые абстрактные линии в гиперреалистичные картинки. Тренировка нейросети представляла собой изучение более миллиона различных стоковых изображений, в частности пейзажей, благодаря чему GauGAN может с лёгкостью воспроизводить всевозможные формы ландшафта.

Вице-президент Института глубокого обучения NVIDIA Браян Катандзаро описал концепт программы как «умная кисточка». Нейросеть распознаёт наброски и подбирает наиболее подходящие формы ландшафта из перечня ранее изученных изображений. Таким образом простые линии, выполненные различными цветами, подобны заранее напечатанным контурам в детских раскрасках. Как и все генеративно-состязательные сети, программа GauGAN построена на взаимодействии двух нейронных сетей: генеративной и дискриминативной. Генеративная составляющая подбирает потенциальные компоненты будущего ландшафта, а дискриминативная оценивает то, как эти компоненты взаимодействуют между собой на представленных в каталоге изображениях, и собирает из них готовый «пазл».

Программа GauGAN обладает интуитивно понятным интерфейсом. Перед началом генерирования изображения необходимо согласовать цвета с конкретными ландшафтными формами: различные оттенки зелёного могут соответствовать траве или растениям, а в зависимости от интенсивности синего цвета, нейросеть расшифрует его как небо, горы или водоём. Кроме того, пользователь может настраивать предпочтения касательно отдельных элементов, например, времени суток и года, погоды или наличия на изображении рукотворных деталей – строений, дорог и т. п.

На данный момент технология находится на стадии разработки, более детальные подробности и «закулисье» процесса разработки программы будут представлены на Международной конференции по компьютерному зрению и распознаванию образов в рамках устного доклада под названием «Semantic Image Synthesis with Spatially-Adaptive Normalization».

Разработчики программы GauGAN уверены, что в будущем она пригодится специалистам самых разнообразных отраслей, в частности архитекторам и дизайнерам. Генеративно-состязательная нейросеть сможет значительно ускорить процесс визуализации проектов, так как специалисты могут создавать архитектурные модели и с ходу их редактировать. Гораздо проще развивать идею и принимать решения об изменении формы или стиля будущего проекта, когда перед глазами имеются не безжизненные наброски, а вполне реалистичное изображение. GauGAN также позволит повысить эффективность работы разработчиков компьютерных игр и обучающих программ, действующих на базе технологии виртуальной реальности.