Методы и средства мультимедиа Звук (стр. 5 из 9)
I в режиме Mono срабатывают самые верхние ноты из нескольких нажатых.
Забавно заметить, но именно режим Mono был долгое время единственным для советских синтезаторов класс «Электроника».
• Local Control Off (выключение режима локального управления);
• Local Control On (включение режима локального управления);
• All Notes Off (сообщение о потери сигнала).
16.2.3. Системные сообщения
• System Exclusive (SysEx, системное исключительное сообщение);
• Song Position Pointer (указатель позиции в партитуре);
• Song Select (выбор партитуры);
• Tune Request (запрос подстройки);
• Timing Clock (синхронизация по времени);
• Start (запуск игры по партитуре);
• Continue (продолжение игры по партитуре);
• Stop (остановка игры по партитуре);
• Active Sensing (проверка соединений MIDI-сети);
• System Reset (сброс всех устройств сети);
• EOX (End Of SysEx, конец системного исключительного сообщения).
17. Стандарты MIDI-систем
MIDI-файл не передает полного оригинального звучания инструментов. MIDIсистемы в основном используются как домашние обучающие системы и для одинакового звучания музыки в играх.
Набор команд синтезаторов в MIDI-системах не переносим.
17.1. General MIDI
Стандарт General MIDI (GM) появился 1991 году.
Стандарт вводит несколько ограничений, благодаря которым MIDI-файл лекче переносить.
• 128 стандартных инструментов
• выделение 10-го канала под ударные инструменты
Основные контроллеры
• (1) модуляция[27];
• (7) громкость инструмента[28];
• (10) панорама[29] — правый-левый канал.
Изначально этот стандарт был предназначен для узкого круга инструментов (скрипки, пианино, ударные).
Проблема:
Сложно реализовать синтезатор без Wave Table.
17.2. General Synthesis
Стандарт General Synthesis (GS) был предложен фирмой Roland в 1991 году. Он полностью поддерживает General MIDI. Используется банк инстру-
ментов.
Введено дополнительно 98 звуков[30].
Введены дополнительные контроллеры:
• (91) реверберация ;
• (93) хорус33.
17.3. Extended General MIDI (XG)
Стандарт был предложен фирмой Yamaha. Это наиболее жесткий стандарт MIDI. Он полностью поддерживает General MIDI и General Synthesis. Особенности:
• 676 инструментов;
• 21 набор ударных инструментов;
• 32 голоса полифония;
• расширенные требования к различным контроллерам;
• есть возможность настройки каждой ноты звукоряда;
• введена типизация банка инструментов:
I (0) normal — мелодичные инструменты;
I (64) SFX — специальные эффекты; I (126) SFX — специальные эффекты; I (127) drums — ударные.
Extended General полностью поддерживается только Yamaha и почти полностью переносим.
17.4. Все вместе
≺ Запись и передача ≻
18. Секвенсоры
Индустрия звукозаписи развивается с 30-х годов XX века. Технологию записи музыкальных произведений можно представить с помощью следующих простых схем:
18.1. Простейшая студия
18.2. Студия для записи «живого» исполнения
18.3. Студия для многоканальной записи
18.4. Студия для многоканальной записи с секвенсором
18.5. Секвенсор
Секвенсор — аппаратное или программное устройство для записи и воспроизведения MIDI-сообщений.
Музыкальный синтезатор 80-х годов имел 3 аналоговых блока:
• генератор;
• фильтр;
• усилитель.
Все они управлялись напряжением. Первые секвенсоры использовались для координации работы этих блоков. Такие аппараты состояли из ряда потенциометров и могли подавать различной напряжение циклически. В простейшем случае секвенсор перебирал одну последовательность из трех (по числу блоков) напряжений. Эта идея идея воплотилась в современных паттерновых секвенсорах. На данный момент для управления музыкальными инструментами используется стандарт DCB-Roland.
18.5.1. Паттерновые (Шаговые)
Особенности:
• управление ручками или тумблерами (для аппаратных);
• наличие паттернов, которые хранятся в банке звуков (эти паттерны программируются, а не записываются);
• не позволяет играть аккорды;
• достаточно громоздки и сложно.
Наиболее яркий представитель — шаговый секвенсор Matrix в ПО Propellerhead Reason.
18.5.2. Линейные
Особенности:
• есть 16 каналов для приема сообщений;
• есть 16 дорожек для записи MIDI сообщений;
Связь дорожек и каналов прямая. В зависимости от того какой канал «играется», запись производится на дорожку с таким же номером. На различные каналы может подаваться информация от различных инструментов.
• позволяет играть аккорды;
Наиболее яркие представители:
• секвенсор в Ableton Live;
• NoteWorthy Composer;
• Steinberg Cubase;
• Cakewalk Sonar.
19. Маскирование
При восприятии звука человеком наблюдается эффект маскирования. Более сильные сигналы преобладают над менее сильные, маскируя тем самым тихие звуки, попадающие в тот же диапазон частот.
Частотное маскирование — эффект, при котором один звук маскирует другие, более слабые, звуки. Диапазон частот, в пределах которого один звук может маскировать другой, в соответствии с концепцией Флетчера, называется критической полосой.
Временное маскирование — эффект, при котором звук большой амплитуды маскирует другие звуки, предшествующие ему во времени или следующие за ним.
Маскирование назад — эффект, при котором звук большой амплитуды маскирует другие звуки, только предшествующие ему. Промежуток времени, в пределах которого оно действует, составляет 5-50 миллисекунд.
Маскирование вперед — эффект, при котором звук большой амплитуды маскирует другие звуки, только следующие за ним. Промежуток времени, в пределах которого оно действует, составляет 50-200 миллисекунд.
Заметим, что человеческая система восприятия звука имеет ограниченное разрешение. Это разрешение зависит от частоты звука. Равномерное, с точки зрения восприятия человеком, измерение частоты может быть выражено в единицах ширины критических полос. Их ширина составляет менее 100 Гц для нижних слышимых частот и более 4 кГц — для наиболее высоких. Весь частотный диапазон может быть разделен на 25 критических полос.
19.1. Сжатие звука
При сжатии звука не имеет смысла оставлять в записи звуки, которые находятся ниже порога слышимости, поэтому любые алгоритмы сжатия должны отбрасывать соответствующие данные.
Чтобы реализовать эту идею на практике, алгоритм должен использовать психоакустическую модель.
Психоакустическая модель — математическое описание восприятия звуков ухом и головным мозгом с учетом критических полос.
Алгоритм сжатия получает дополнительную возможность отбросить некоторые данные.
В то же время маскировку можно использовать более эффективно. Поскольку она, кроме некоторых компонентов сигнала, скрывает шум, в ней можно скрыть шум квантования.
Приведем краткое описание алгоритма сжатия:
1: расщепить сигнал на полосы частот; /* блок фильтров */
2: Для каждой полосы выполняем
3: вычислить средний уровень сигнала;
4: подставить значения в психоаккустическую модель;
5: определить порог маскировки;
6: /** Предполагается, что маскирующую кривую в каждой полосе можно аппроксимировать одним значением. **/
7: Если сигнал целиком опускается ниже порога маскировки то
8: отвергнуть полосу;
9: продолжить цикл;
10: иначе
11: квантовать сигнал грубо;
12: /** Сигнал квантуется с использованием меньшего количества битов за счет маскировки шума квантования. **/
Примерно такой алгоритм сжатия используется в формат хранения и передачи аудиосигнала MP3.
20. Формат MP3
MP3 — сокращение от MPEG[31] Layer3. Это формат хранения и передачи аудиосигнала в цифровой форме. В MP3 используется алгоритм сжатия с
потерями.
Формат был разработан компанией Fraunhofer IIS при спонсорстве компании Thomson. Изначально разрабатывался для передачи аудиоданных через Интернет с высокой скоростью и является потоковым. Позднее MP3 был утвержден как часть стандартов сжатого видео и аудио MPEG1 и MPEG2.
20.1. Алгоритм сжатия MP3
Алгоритм сжатия MP3 использует особенности слуха:
• абсолютные ограничения слуха (20 Гц – 20 кГц);
• частоты маскирования и ширину критических полосы;
• последовательное (временное) маскирование;
• воспроизводимую энтропию[32].
Зачем кодировать звуки, которые все равно не будут услышаны?
20.2. Схема MP3 кодера
MP3-файл состоит из нескольких фрагментов (фреймов) MP3. Такая последовательность фрагментов называется элементарным