Искусственный интеллект во всю осваивает музыкальное ремесло. За последние годы мир увидел несколько ИИ-моделей, способных генерировать музыку по выбранным параметрам или текстовому описанию, включая Jukebox (Open AI), Soundraw, Riffusion, Dance Diffusion (Harmonai) и пр. Теперь же о собственных экспериментах в данном направлении сообщили разработчики Google AI, опубликовав описание модели MusicLM.
В блоге исследовательского подразделения Google была опубликована научная работа с детальным описанием принципов и примерами работы MusicLM. Данную ИИ-модель обучили на примере более 280 тысяч часов аудиозаписей, что позволяет нейросети производить музыку с неожиданными для «бездушной машины» глубиной и разнообразием содержания. По словам разработчиков, ИИ способен не просто комбинировать различные жанры и инструменты, но генерировать треки на основе абстрактных концепций, которые обычно даются компьютерам с большим трудом. К примеру, если пользователь того пожелает, нейросеть может создать гибрид танцевальной музыки и реггетона с «космическим, потусторонним» мотивом, пробуждающий в человеке «ощущение чуда и благоговения». Стоит отметить, что MusicLM не ограничивается абстрактными текстовыми подсказками. Для генерирования мелодии пользователи могут напеть или даже насвистеть желанный мотив, описать визуальный образ (картину, сюжет и т. п.). Структура интерфейса также позволяет совмещать несколько описаний для микширования мелодий и создания своего рода саундтреков.
Как и прочие музыкальные нейросети, MusicLM не лишена недостатков. Некоторые создаваемые ИИ мелодии откровенно нелепые, а вокальные партии зачастую звучат слишком неразборчиво. И хотя общее впечатление от результатов работы алгоритма остаётся положительным, в них всё равно узнаётся рука машины. К примеру, ИИ склонен к некоторому однообразию и чрезмерному повторению отдельных мотивов, чего люди обычно избегают. Кроме того, в композициях нейросети не хватает смысловой структурированности. Другими словами, в её произведениях зачастую нет чёткого деления мелодии на куплеты и припевы, не говоря уже о более тонкой дифференциации связующих компонентов и т. п.
И наконец, в лучших традициях Google, модель MusicLM не доступна для широкой публики. По данным компании, на этот раз такое решение обусловлено обязанностями корпорации по соблюдению авторских прав. Согласно расчётам специалистов, примерно 1% генерируемых треков представляет собой полные копии оригинальных композиций, которые использовали для тренировки нейросети. Хотя на законодательном уровне вопрос авторских прав ИИ-музыки до сих пор остаётся открытым, эксперты считают, что в генерируемой нейросетями музыке содержится достаточно очевидных следов исходных мелодий, чтобы можно было говорить о нарушении прав интеллектуальной собственности. По предварительным данным, вероятно, в будущем использование ИИ-мелодий будет регулироваться подобно тому, как сегодня это происходит с готовыми сэмплами.
