Недавно в сети появилась необычная версия культовой игры GTA – GAN Theft Auto, генерируемая нейросетью в режиме реального времени. Название проекта является отсылкой к лежащей в его основе технологии NVIDIA GameGAN, генеративно-состязательной нейросети, способной имитировать геймплей видеоигр, создавая их играбельные копии.
Харрисон Кинсли и Даниэл Кукела разработали GAN Theft Auto на основе нейросети GameGAN, которая годом ранее воспроизвела видеоигру Pac-Man, не имея конкретных данных о её логике и правилах. Как следует из названия ИИ, GameGAN представляет собой генеративно-состязательную сеть (Generative adversarial network), построенную на комбинации двух моделей нейронных сетей – генеративной и дискриминативной. Генеративная модель отвечает за создание контента на основе изученной базы данных. В свою очередь дискриминативная модель сравнивает сгенерированный контент с оригинальной информацией, отбраковывая неудачные образцы. Затем генеративная модель получает обновлённые данные, включая улучшенный набор параметров для синтезирования материала, максимально близкого к оригиналу.
Работу технологии GameGAN обеспечивают три модуля: динамический движок, модуль памяти и движок рендеринга. Динамический движок отвечает за контроль постоянно обновляющихся внутренних переменных нейросети, внешний модуль памяти «запоминает» сгенерированные данные, необходимые для долгосрочных сценариев, а движок рендеринга расшифровывает выходные изображения в реальном времени. Таким образом, нейросеть учится на десятках записей игровых сессий выбранной видеоигры, разгадывает её логику и правила, а затем воссоздаёт собственный вариант увиденного без оригинального движка и прочих атрибутов разработчиков игр. Более того, результат её работы – не просто визуальная копия оригинального продукта: ИИ позволяет игроку активно взаимодействовать с альтернативным игровым миром. Специалисты NVIDIA считают, что в будущем GameGAN можно будет использовать для ускорения процесса создания видеоигр, например, путём генерирования макетов новых уровней. В частности, на синтезирование клона Pac-Man нейросеть потратила всего 4 дня, а разработчикам оригинала понадобилось почти полтора года.
Совершенно ожидаемо, обучение GameGAN и подобных ей моделей ИИ требует немалых вычислительных ресурсов. К примеру, для тренировки нейросети GAN Theft Auto компания NVIDIA предоставила Кинсли высокопроизводительную офисную систему DGX Station A100, в основе которой лежит серверный 64-ядерный CPU AMD 7742 и 4 GPU NVIDIA A100 с тензорными ядрами, ускоряющими тренировку алгоритмов ИИ. Такая мощная база позволила разработчикам одновременно запустить 12 специализированных алгоритмов ИИ, задача которых заключалась в отборе данных для обучения GameGAN. Эти программы раз за разом «проезжали» заданные отрезки дороги в GTA, пока не собрали всю информацию, необходимую GAN Theft Auto для имитации собственного игрового мира. Кроме того, Кинсли и Кукела создали собственный суперсэмплинг-алгоритм, чтобы «пригладить» пиксели сгенерированного контента.
Как вы можете наблюдать в демо-ролике, нейросети приходится в режиме реального времени учитывать невероятное количество систем. По мере движения автомобиля по дороге меняются тени, отражения, солнечные блики, окружающий пейзаж и т. п. Пока что даже после интенсивного сглаживания качество картинки оставляет желать лучшего: отсюда и многочисленные визуальные артефакты. Нейросеть GameGAN незнакома с деталями работы движка RAGE, потому она не может детально скопировать каждый аспект оригинальной игры. Как следствие, мы видим расплывчатое окружение и странные ошибки при взаимодействии предметов. По словам Кинсли, среди образцов для тренировки не было образцов столкновения автомобилей, потому нейросеть вынуждена импровизировать. К примеру, однажды в ходе тестов автомобиль игрока едва не столкнулся с полицейской машиной, но та странным образом раскололась надвое.