Gran Turismo – одна из самых популярных и узнаваемых серий гоночных видеоигр в истории. Со дня дебюта франшизы в 1997 году её общий тираж составил более 80 миллионов копий. Игроки ежегодно соревнуются между собой за звание самых продвинутых и быстрых гонщиков, однако с 2021 года этот статус принадлежит вовсе не реальному человеку, но искусственному интеллекту GT Sophy.

В 2020 году эксперты Sony Interactive Entertainment, студии Polyphony Digital и специального исследовательского подразделения Sony AI принялись за разработку алгоритма ИИ GT Sophy, способного не просто овладеть мастерством игры в Gran Turismo, но превзойти лучших в мире игроков. Разработчики использовали систему QR-SAC (Quantile-Regression Soft Actor-Critic) для обучения ИИ во взаимодействии с игровой средой: данный способ называется обучением с подкреплением. Для ускоренного сбора данных и оттачивания навыков GT Sophy контролировал одновременно до 20 машин в версии Gran Turismo Sport. Спустя всего несколько часов изучения физики игры ИИ обошёл по скорости 95% игроков. В ходе испытания алгоритма в июле 2021 года искусственный интеллект превзошёл всех противников, кроме четырёх ведущих игроков GT Sport.

 После ряда оптимизаций GT Sophy набрал ещё более 45000 игровых часов, раз за разом оттачивая мастерство и сбрасывая десятые доли секунды с общего времени круга. Так в октябре ИИ наконец обошёл последних соперников, а в командном заезде он набрал вдвое больше очков, чем игроки-люди. По словам сотрудников Sony AI, среднее время круга алгоритма было на уровне разовых лучших попыток самых продвинутых игроков.

GT Sophy – далеко не первый искусственный интеллект, которому удалось обойти людей в человеческих играх. С конца XX века различные кибернетические системы превзошли человека как в ряде настольных логических и карточных игр вроде шахмат, Го, Сёги и покера, так и в нескольких видеоиграх, включая StarCraft II, Dota 2, Quake III и пр. Искусственному интеллекту хорошо поддаются игры с относительно простым геймплеем, который базируется на логике и стратегии. В случае GT Sport сложность обучения алгоритма GT Sophy заключалась в необходимости симуляции вождения и принятия решений в режиме реального времени с учётом реалистичной физики и взаимодействия с реальными игроками. В частности, ИИ способен оценивать ситуацию и прибегать к различным тактическим приёмам для достижения первенства. Например, GT Sophy умеет использовать разницу в воздушных потоках для разгона и обгона в условиях уменьшенного сопротивления воздуха (слипстрим).

Кроме того, ИИ нужно было не просто овладеть тактическими навыками и понять физику игрового мира, но также научиться обходить оппонентов, не нарушая негласного соревновательного этикета. Чтобы не противоречить общим правилам GT Sport алгоритм был обязан следовать принципам спортивного поведения и проявлять уважение к другим игрокам: не подрезать, избегать столкновений, оставлять пространство для манёвра и пр. Несмотря на успех GT Sophy в соревнованиях, специалисты Sony AI считают, что искусственному интеллекту ещё есть куда расти. В частности, разработчики надеются усовершенствовать навыки ИИ в области принятия стратегических решений.

В Sony считают, что потенциал агентов ИИ вроде GT Sophy не ограничен виртуальным гоночным треком. Не исключено, что в будущем подобные алгоритмы помогут усовершенствовать системы помощи водителю и автономного управления в реальном мире.