Автоматизация определения характеристик звукового сигнала

Размещено на http://allbest.ru

МГТУ им. Н.Э. Баумана Россия

Автоматизация определения характеристик звукового сигнала

Терехов В.И., кандидат технических наук, доцент

доцент кафедры «Системы обработки информации и управления»

Замула М.И. бакалавр, факультет «Робототехника

и комплексная автоматизация»

Зотов М.А. бакалавр, факультет «Информатика,

искусственный интеллект и системы управления»

г. Москва

Аннотация

Музыка, как и любой звуковой сигнал, может быть исследована методами цифровой обработки сигналов. Важно понимать, что при создании сигнала авторы опирались на теорию музыки. Это приводит к задачам автоматического определения характеристик. В статье акцент сделан на вопросах идентификации отдельных нот и определения тональности музыкального произведения в целом. Это актуально для музыкантов, которые пробуют воспроизвести мелодию на слух, но не обладают достаточно развитым слухом, и для композиторов, звукорежиссёров и диджеев.

Ключевые слова: Звуковой сигнал, дискретизация, быстрое преобразование Фурье, спектральный анализ, Метод Крумхансла-Шмуклера.

Annotation

Music, like any audio signal, can be analyzed using digital signal processing techniques. It is important to understand that when creating a signal, the authors relied on music theory. This leads to the tasks of automatically determining the characteristics. The article focuses on the issues of identifying individual notes and determining the tonality of a musical work as a whole. It is relevant for musicians who are trying to reproduce a melody by ear, but do not have a sufficiently developed ear, and for composers, sound engineers and DJs..

Key words: Audio signal, sampling, fast Fourier transform, spectral analysis, Krumhansl-Schmukler method.

Введение

В современном мире информационные технологии проникли во все сферы человеческой жизни, в том числе и в музыкальную. Все чаще для прослушивания музыкальных произведении” мы используем не аналоговый формат, как это было раньше, а цифровой. Во время звучания сигнал формируется как аналоговый, но для дальнейшей обработки, хранения музыки и воспроизведения ее на электронных устройствах, аналоговый" сигнал (т.е. музыка, которая не представлена битами) оцифровывается.

В наше время, количество цифровой информации растет с огромной скоростью, включая музыку. Современные технологии в сфере музыки: звукозаписывающие устройства, новые музыкальные инструменты, различные компьютерные программы для работы со звуком и его обработки, - ускорили и активизировали процесс создания музыки. Благодаря этому возросло количество контента, предлагаемое слушателям. Это способствует проблеме дезориентации в огромном музыкальном потоке. Целью данной статьи является исследование методов определения отдельных нот и тональности произведения для решения обозначенной проблемы.

Теория музыки

Одна из основных характеристик звука - это частота [1]. При октавной организации диапазона нот, их частоты выбираются специальным образом, что позволяет строить на их базе созвучия. Основными понятиями, характеризующими интервалы между нотами в частотной области, являются тон и полутон. Можно строить звукоряды из попарно созвучных нот, они образуют гаммы. Мелодии строятся не из произвольных нот, а только таких, которые относятся к какой-то одной гамме.

Ноты, удаленные друг от друга на интервал «октава», называются одинаково. За эталон частоты - нота «Ля» первой октавы. Ее частота должна быть равна 440 Гц (стандарт ISO 16) [2]. Отношение частот двух соседних нот равно 122. То есть, отношение частот нот, удаленных друг от друга на октаву, равно двум.

По набору диезов и бемолей при ключе можно говорить о тональности произведения. Тональность может рассказать о композиции многое: ее настроение, ее культурное происхождение, а иногда и времена, когда была создана композиция.

Определение нот произведения

В основе спектрального анализа сигналов лежат преобразования Фурье. Однако в теории преобразования Фурье применяются к бесконечному непрерывному гармоническому сигналу, в то время как на практике приходится работать с дискретным сигналом на ограниченном временном промежутке [3]. Поэтому для обработки необходимо использовать математический метод, основанный на дискретном преобразование Фурье (ДПФ) - (1):

где N - размер окна,

n - отсчет по оси частот, равен количеству сэмплов N,

X (п) - преобразованный сигнал, частотное представление сигнала, х(к) - исходный дискретный аудио сигнал во временном представлении.

Ограничение сигнала обуславливает ряд проблем, для снижения влияния которых применяют оконные функции. Оконная функция - математическая функция, используемая при обработке сигналов, которая имеет нулевое значение за пределами некоторого интервала. Получения качественного результата зависит от ширины окна и от того, какой тип оконной функции выбран [4].

Для определения отдельных нот, входящих в состав звукового сигнала, будет использован следующий алгоритм:

Первым действием необходимо преобразовать аудиосигнал с помощью Быстрого Преобразования Фурье из временной области в частотную. В результате преобразования должны быть выделены определенные частоты.

На следующем шаге спектр сигнала должен быть сдвинут относительно нулевой частоты и выделена область положительных частот.

Далее должно быть выполнено оконное преобразование и оценка спектральной плотности мощности сигнала.

В результате должен быть сформирован список полученных частот, определены пики спектра и выделен список полученных нот, участвующих в сигнале. музыкальный звуковой цифровой программа

Для примера используем сигнал, состоящий из 8 нот: C, D, E, F, G, A, B - первой октавы, C - второй октавы. В синтаксисе MIDI первая октава в теории музыки является четвертой (по счету), а вторая - пятой (по счету).

Результат работы алгоритма представлен на рисунке 1:

Рисунок 1. Результат выполнения алгоритма определения нот

Определение тональности произведения

Метод Крумхансла-Шмуклера - это метод автоматического определения тональности музыкальных композиций, основанный на ключевых профилях тональностей. При его использовании выполняется анализ корреляции полученного частотного спектра с соответствующим ключевым профилем.

Абсолютное значение коэффициента корреляции равное 1 означает максимальную связь между двумя наборами данных. Значение 0 означает, что между наборами данные нет линейной зависимости.

Для определения тональности музыкального произведения по алгоритму Крумхансла-Шмуклера формируется набор со значениями мощностей каждой ноты произведения. Далее формируется список корреляции между мощностью каждой ноты и ключевым профилем тональностей.

Ключевой профиль тональности -- это вектор из 12 значений, представляющих значения 12 классов мощности тона для каждой тональности.

Ключевые профили были получены эмпирическим путем учеными Коколь Л. Крумханслем и Эдвардом Дж. Кесслер. Суть экспериментов состояла в том, чтобы воспроизводить музыкальный фрагмент (набор нот или аккордов) и просить слушателя оценить, насколько данный тон вписывается в контекст соответствующей мажорной или минорной тональности [5].

Наибольшее значение в ключевом профиле тональности означает, что набор данных соответствует данной тональности. Другие профили генерируются простым сдвигом значений на некоторое количество шагов.

Далее по алгоритму Крумхансла-Шмуклера исследуется связь с набором наименованием тональностей и соответствующим набором коэффициентов корреляции. Определяется два максимальных значения коэффициента корреляции и находятся советующая и альтернативная тональность.

В качестве примера используется композиция «В лесу родилась елочка», обладающая тональностью Фа-мажор. В результате работы алгоритма определения тональности произведения, представленном на рисунке 2, коэффициент корреляции для тональности Фа-мажор (F major) составляет 768 и является наибольшим. Вторым по величине является коэффициент корреляции для тональности До-мажор (С major) и составляет 0,684,

Рисунок 2. Результат работы алгоритма определения тональности для композиции «В лесу родилась елочка»

Результат является корректным, так как в нотной партитуре исследуемой композиции обозначен один знак при ключе, а именно Си - бемоль, что свидетельствует о том, что тональность произведения - Фа-мажор.

Заключение

В данной статье были рассмотрены основные сведения теории музыки, цифровой обработки сигнала, были рассмотрены алгоритмы определения основных характеристик звукового сигнала: нот и тональности. Таким образом, предложенный алгоритм поможет распознать любую существующую партитуру и определить ее тональность.

Перспективой развития является генерация нотной записи идентифицированных нот для удобства дальнейшей работы с музыкальной композицией, но для этого требуется решить задачу идентификации ритмического рисунка музыкальной композиции.

Использованные источники

1. Бритва Н. А. Теория музыки и сольфеджио: Учебное пособие / Н. А. Бритва. 3-е изд. Москва: Издательство Юрайт, 2019. 60 с.

2. Сато Ю. Без паники! Цифровая обработка сигналов / Юкио Сато: пер. с яп. Селинои Т.Г., М.: Додэка - XXI, 2010 - 176 с.

3. Половинченко М. И. Звуковые данные и функции преобразования Фурье, БПФ и спектрограмм для системы распознавания речи / М. И. Половинченко, В. С. Елисеев // Journal of Advanced Research in Technical Science. 2021. № 25. С. 74-81.

4. Волкова К. В. Оконное преобразование Фурье / К. В. Волкова, О. К. Исиченко // Неделя науки и творчества: Материалы Межвузовского научно-практического форума студентов, аспирантов и молодых ученых, посвященного Году российского кино. В 5 частях, Санкт -Петербург, 18-22 апреля 2016 года / Ответственный редактор А.Д. Евменов. Санкт -Петербург: Санкт-Петербургский государственный институт кино и телевидения, 2016. С. 131-136.

5. Carol L. Krumhansl. Cognitive Foundations of Musical Pitch / New York. Oxford University Press, [2001],1990.

Размещено на Allbest.ru