Фото PixabayОб открытии сообщила пресс-служба Сколтеха (входит в группу ВЭБ.РФ). Опубликовано исследование в издании Frontiers in Artificial Intelligence.
В частности, известно, что нейросетевая система научена «дирижировать» воспроизведением классических музыкальных произведений и произвольным образом изменять их звучание. Делает она это при помощи жестов, мимики и голоса.
– Использованная нами модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней, – рассказал научный сотрудник Сколтеха Илья Боровик.
Авторы уверены, что написанный ими алгоритм позволит человеку, не обладающему навыками игры на музыкальных инструментах, влиять на воспроизведение классической музыки. Для этого они подготовили нейросеть, способную воспроизводить музыку с учетом авторских указаний (нотной записи), а также набор алгоритмов, дополняющих эти указания пожеланиями слушателя.
Задавать их можно любым удобным способом. Как пояснили создатели, здесь человек выступает в роли дирижера, чьи жесты, мимика лицо и голос управляют игрой десятков других «музыкантов» при исполнении сложных композиций. Для распознавания этих указаний российские и немецкие разработчики использовали нейросеть GPT-3. Она умеет определять намерения пользователя по его словесным инструкциям, а также другие системы машинного обучения, которые способны распознавать эмоции и жесты.
Также было запущено мобильное приложение, позволяющее дирижировать исполнением музыки в онлайн-режиме и совместно с системами искусственного интеллекта придавать уникальное звучание классическим произведениям. Приложение, камера и микрофон на смартфоне могут преобразовать мазурки Шопена в колыбельные.
В данный момент ученые занимаются созданием новой версии данной системы, которая сделает процесс обмена информацией между пользователем и нейросетью полностью интерактивным. А это приведет к ускорению процесса дирижирования. Воспроизводить можно будет не только классическую музыку, но и многие оркестровые произведения.
