Информатика и ИТ. Нейросети. Выпуск 2

Точная формулировка теоремы Котельникова применима только к сигналам с неизменными частотными характеристиками и бесконечной длительностью, и поэтому для оцифровки реальных звуковых сигналов выбирают несколько большую частоту дискретизации (с запасом).

Предел восприятия частоты звука составляет 20 КГц, и частоты 40 КГц будет вполне достаточно для осуществления цифровой записи, лишенной искажений, но при этом некоторые шумы и искажения в записи все же будут присутствовать. В современной цифровой записи звука принят стандарт записи с частотой снятия значения звукового давления, или частотой дискретизации, равной 44100 герц. Компьютер позволяет записывать звук, как с большими, так и с меньшими частотами дискретизации.

Разрядность цифрового звука (глубина цифрового звука) – количество бит, отведенных для хранения значений звукового давления. Поскольку «единицей» хранения информация в компьютере является байт, то стандартный цифровой звук бывает 8 битным, 16 битным и 24 битным.

Одна секунда стереозвука (на два канала) вмещает 44100 х 2 = 88200 записей, при разрядности 16 (2 байта) это соответствует 176400 байтам (без учета заголовков и другой информации). Одна минута 8-битового одноканального (моно) звука будет занимать 44100 х 60 = 2646000 байт, или 2584 кБ, или 2,5 мБ.

Такие значительные требования к памяти при хранении аудиоинформации способствуют применению различных методов сжатия и иных принципов хранения звука.

Методы компьютерного синтеза звука. С появлением мини – ЭВМ, а позднее – персональных компьютеров, в составе аппаратных средств появились и средства, обеспечивающие взаимодействие компьютеров с простейшими генераторами звука – динамиками. Эти простейшие средства работы со звуком использовались в основном (и используются до сих пор) как средство диагностики и реакции на действия оператора системы.

Современное устройство для воспроизводства и записи звука (музыки, речи, шумов) – это звуковая карта, или адаптер.

В режиме записи звуковая плата производит оцифровку звука для последующей записи в память компьютера. В режиме воспроизведения, как цифровой аудиоплеер, считывает из памяти цифровые сигналы и преобразует их в аналоговые звуковые. В режиме создания звука плата действует как музыкальный инструмент (синтезатор), при этом используются два основных метода: частотная модуляция (FM-синтез) и таблично-волновой синтез (WT).

FM-синтез – использует специальные генераторы сигналов, определяющие частоту (высоту) тона и амплитуду (громкость). Для синтеза звука каждого музыкального инструмента требуется два таких генератора. Современные платы могут воспроизводить до 9—10 разных голосов инструментов (чаще 2—4), но звук при FM-синтезе имеет «металлический оттенок».

WT синтез – дает возможность хранить музыкальный звук в виде коллекции заранее созданных наборов звуков. Такие сэмплы (sample – пример, образец) соответствующих тембрам различных инструментов хранятся в памяти звуковой платы в MIDI-файлах. Лучшие звуковые платы могут хранить и использовать до 8 Мбайт сэмплов, выпускаются также табличные расширители, позволяющие нарастить массив MIDI-файлов.

Файл. mid содержит в себе запись действий музыканта о том, какая клавиша была нажата, в какой момент времени, с какой силой, как долго удерживалась, с какой силой (этот параметр особенно важен не для клавишных инструментов, а, например, для смычковых), была ли нажата педаль и т. п. Для озвучивания таких файлов важно наличие механизма преобразования записанных инструкций в звук.

Для ввода мелодии в стандарте MIDI в компьютер применяется специальное средство ввода – MIDI-клавиатура. Она похожа на клавиатуру пианино, но предназначена для передачи соответствующих нот звуковой карте – для последующего синтеза звука заданным инструментом. Программы синтеза мелодий отображают набранные ноты в соответствии с музыкальной нотацией и позволяют редактировать их.

Понятие формата компьютерного звука используется в двух различных смыслах. При использовании специализированного носителя или способа записи и специальных устройств чтения/записи в понятие формата входят физические характеристики носителя звука – размеры кассеты с магнитной лентой или диском и т. п.

При использовании универсального информационного носителя широкого применения – например, компьютерного гибкого или жесткого диска – под форматом понимают только способ кодирования цифрового сигнала, особенности расположения битов и слов и структуру служебной информации; вся «низкоуровневая» часть, относящаяся непосредственно к работе с носителем, в этом случае остается в ведении компьютера и его операционной системы.

Специализированные форматы относятся к устаревшим, но в качестве примера можно привести следующие:

– DCC (Digital Compact Cassette – цифровая компакт-кассета) – бытовая система записи в продольном направлении на стандартную компакт-кассету

– CD (Compact Disk – компакт-диск) – односторонний пластмассовый диск с оптической лазерной записью и считыванием, диаметром 120 или 90 мм, вмещающий максимум 74 минуты стереозвучания с частотой дискретизации 44.1 кГц и 16-разрядным линейным квантованием. Система предложена фирмами Sony и Philips и носит название CD-DA (Compact Disk – Digital Audio). Различаются штампованные (CD) однократно записываемые (CD-R) и многократно перезаписываемые (CD-RW) компакт-диски.

– MD (MiniDisk) – бытовая и концертная система записи на магнитооптический диск, разработанная Sony (диаметром 64 мм).

В настоящее время стандартом универсального носителя являются форматы:

– .WAV (Wave Microsoft RIFF – Resource Interchange File Format) – содержит оцифрованный звук (моно/стерео, 8/16 разрядов, с разной частотой оцифровки),

– .MID (SMF Standard MIDI File) – «партитура» для MIDI-инструментов (ноты, команды смены инструментов, управления и т.п.).

– .MP3 – сжатый звук по технологии MPEG (Motion Pictures Experts Group, Layers 3).

3.4.Представление видеоинформации в компьютере

С точки зрения информатики фильм представляет собой сочетание звуковой и графической информации. При традиционных видео-технологиях для создания на экране эффекта движения используется технология быстрой смены статических картинок. В традиционном кадре на кинопленке основную его часть, разумеется, занимает видеоизображение, а сбоку размещена звуковая дорожка – графически зафиксированные колебания.

При использовании традиционных методов сохранения информации компьютерная (оцифрованная) версия фильма получится слишком большой.

До 90-х годов основными методами представления видеоданных были аналоговые методы. Обработка и редактирование данных выполнялись с помощью подхода, который сейчас называется линейный видеомонтаж (Linear Video Editing). При этом подходе данные всегда поступают на вход системы обработки последовательно, и система не может произвольно выбирать материалы, то есть монтаж из нескольких фрагментов выполняется всегда линейно.

Существенным шагом в технологии обработки видеозаписей было появление специализированных плат видеозахвата, выполнявших функции аналого-цифрового преобразования (для ввода), цифро-аналогового (для вывода) и имевших в своем составе средства аппаратного сжатия. Наличие таких плат позволило сжимать видеопоток до приемлемой величины с той скоростью, с которой он поступал на вход. С появлением таких плат появились и получили широкое распространение средства нелинейного видеомонтажа, т.е. средства, позволяющие в любой момент обратиться к любому фрагменту обрабатываемых материалов и преобразовывать их для получения итогового видеоизображения.