Основы гранулярного синтеза

Вы когда-нибудь думали о том, как некоторые аудио-редакторы и плагины могут управлять темпом и высотой тона звука независимо? В общем случае, естественно, законы физики связывают два этих параметра воедино: при замедлении звука высота его пропорционально уменьшается.

На рисунке ниже изображен сильно увеличенный в Pro Tools фрагмент звуковой волны. Трек сверху – это очень короткий отрезок записи женского вокала. Обратим внимание на часть звука ‘ooo’ в слове ‘you’. Второй трек – это тот же самый отрезок, сильно замедленный в Pro Tools при помощи Time Strech плагина. Обратите внимание, что сама волна не растянута – это бы послужило причиной понижения высоты. Вместо этого, алгоритм растягивания звука во времени обнаружил повторяющийся паттерн, и зациклил его на нужную длину. В третьем треке исходный отрезок транспонирован на семь полутонов вверх Pich Shift плгином. Исходная волна была сжата во времени, чтобы стать выше по частоте, так что алгоритм опять зациклил волну, на этот раз чтобы сохранить её длину.

Эта схема работает, хотя большинство звуков воспринимаются нами как быстро изменяющиеся, если вы сильно увеличите и посмотрите на звуковую волну даже очень сложной формы, например, такую, как речь, вы увидите, что на самом деле многие части гармонических и вокальных звуков состоят из повотряющихся участков звуковой волны, с короткими переходными участками между. Маленький эксперимент поможет это прояснить: попробуйте произнести свое имя очень медленно и послушать, что получается. У меня получается что-то типа, ‘ссс-аээ-эээ-ммм’. Ваш голос движется от одного стабильного звука к другому, кроме тех моментов, когда вы произносите короткие согласные звуки. НА уровне формы волны, стабильные звуки являются множеством повторяющихся циклов одной и той же волны. Итак, если я записал себя, произносящего свое имя с нормальной скорость на Pro Tools, я могу приблизить и зациклить участки волны в каждой секции слова, и получится что-то похожее на медленно произнесенное слово, но без изменения высоты. И наоборот, я могу ускорить произношение, удалив часть циклов из каждого участка слова. Это – основы того, как работает алгорит растяжения во времени (Time Stretch).

Теперь, допустим, что я взял несколько циклов звуковой волны каждого звука в моем имени, и назначил их на клавиши в сэмплере. Одна клавиша будет давать “ссс”, другая “эээ”, третья “ммм” и так далее. Теперь, если я нажму каждую клавишу одну за другой, у нас получится, грубо говоря, ресинтезированная запись, полученная про помощи “гранул” звука. Если я проиграю последовательность быстрее, слово будет ресинтезировано быстрее, но высота тона останется неизменной. Кроме того, я могу нажать на колесико изменения высоты (pitch-bend wheel), чтобы поменять выоту звуков, но проиграть последовательность с прежней скоростью. Более того, я могу играть эту последовательность в любом порядке, и даже перекрывать одни звуки другими, удерживая более чем одну клавишу нажатой одновременно, генерируя таким образом абсолютно новые и более сложные звуки. Именно так и работает гранулярный синтез.

Гранулярный синтез – это широкий термин для определенного количества разных аудио систем, которые работают, используя маленькие кусочки звука, которые могут быть обработанны индивидуально и перераспределены, чтобы получить на выходе новое звучание. Большинство доступных гранулярных систем используют аудио-файлы(сэмплы) как исходный материал. сэмплы разрезаются (внутри программы) на серию маленьких отрезков, каждый обычно между одной сотой и одной десятой секунды в длину. Каждый кусочек называется “гранулой” (”grain”), а последовательность называется “гранулярная таблица” (”graintable”). Если программа сделала таблицу гранул, которая проигрывается в исходной последовательности и на исходной скорости, то вы услышите исходный изначальный сэмпл. Если последовательность воспроизводится более медленно, между кусочками возникнут пропуски, так что текущий отрезок обычно будет зациклен. Если воспроизведение будет более быстрым, каждая гранула будет перекрывать соседнюю, или некоторые гранулы будут пропущены, смотря как рабоает программа. Чтобы избежать тресков и щелчков, каждая гранула плавно обработывается огибающей громкости с обеих сторон, происходит так называемое сглаживание.