Группа исследователей из Технологического института Джорджии создала универсального робота-музыканта по имени Shimon, который умеет писать тексты и музыку, а также воспроизводить свои шедевры в составе гибридной группы из робота и людей.

Во главе исследовательской группы из Технологического института Джорджии стоит профессор Гил Вайнберг, который уже несколько лет изучает творческие способности роботов. По словам Вайнберга, он всегда имел особое отношение к музыке и мечтал писать собственные песни. Профессор владеет игрой на нескольких музыкальных инструментах, но ему никогда не поддавались слова. Тогда он решил обратиться за помощью к высоким технологиям и собрал группу единомышленников – студентов из центра музыкальных технологий.

 Над созданием робота по имени Shimon трудились несколько аспирантов Технологического института Джорджии. Вместе с профессором Вайнбергом они собрали обширную музыкальную базу из 50000 произведений, которые охватывают всевозможные жанры в классической и современной музыке. Для написания нового хита Shimon получает какую-либо тему, а затем развивает полноценный текст на основе заложенных в его памяти ассоциаций. Помимо анализа десятков тысяч текстов, Shimon использует семантическую сеть, с помощью которой он связывает между собой слова в пределах конкретной темы. Отталкиваясь от заданной темы, он будет развивать текст в позитивном или негативном ключе. Таким образом, получив минимальную базу в виде слова «шторм», Shimon может набросать текст о том, что даже после самого мощного шторма на небе появится солнце.

 Shimon не только сочиняет песни, но и поёт их. Его уникальный голос является результатом сотрудничества американцев со специалистами из Университета Помпеу Фабра в Барселоне. Испанцы создали индивидуальный голос робота, синтезировав его на базе песен сотен различных исполнителей при помощи алгоритмов машинного обучения. На этом музыкальные таланты робота не заканчиваются: Shimon также умеет танцевать и играть на музыкальном инструменте, родственнике ксилофона – маримбе. Над подвижностью работал аспирант Нинг Ян: он оборудовал робота дюжиной сервоприводов, благодаря которым Shimon шустро перебирает четырьмя руками по клавишам инструмента, подтанцовывает, качает головой в такт музыке и оглядывается на товарищей по группе. Весь этот спектр движений дополняет живой «костюм», разработанный аспиранткой Лизой Заграй: его наиболее яркими элементами являются подвижное лицо и причудливые брови.

 Shimon способен поддерживать диалог с участниками группы и взаимодействовать с ними в музыкальном ключе. Например, он отсчитывает и задаёт ритм в начале песни, отстукивая по маримбе деревянными молоточками. Кроме того, благодаря относительно неплохой подвижности робот может копировать некоторые типичные для исполнителей жесты, к примеру, пританцовывать с молоточками в ожидании своей партии. По словам Ричарда Сэйвери, который принимал участие в разработке робота, а также играет на бас-гитаре в гибридной группе, Shimon производит впечатление музыканта, знающего себе цену. Иногда команде довольно тяжело с ним взаимодействовать из-за разного рода разногласий и недопонимания, но большую часть времени он готов к активному и плодотворному сотрудничеству.

Профессор Вайнберг вовсе не предлагает заменить музыкантов роботами: он хочет, чтобы люди научились использовать подобные технологии для расширения собственных музыкальных возможностей. Для этого люди и такие роботы как Shimon должны стать партнёрами, которые принимают равное участие в развитии новых идей. В конечном итоге исследователи рассчитывают, что слушателям понравится музыка гибридной группы вне зависимости от особенностей её членов. Уже в скором времени Shimon и команда планируют выпустить целый альбом «Shimon Sings», в который войдёт до 10 песен, в том числе и сингл «Into Your Mind». Кроме того, Вайнберг и его студенты уже готовят расписание небольшого гастрольного тура, чтобы как можно больше людей услышали уникальную смесь музыки робота и людей.