Мультимедиа технологии. Часть 1. Основы Мультимедиа технологий

Евгений Нужнов

В учебном пособии рассмотрены информационные и физические основы, базовые понятия и развивающиеся требования к системе мультимедиа, а также связанные с ними спецификации и рекомендации. Рассмотрены особенности обработки звука и звуковые карты, акустические системы, формат МРЗ, средства поддержки видео на компьютере, особенности сжатия JPEG и MPEG, элементы технологии синтеза трехмерных изображений, компьютерная анимация, среды гипермедиа и экспертмедиа. В Приложении приведены темы и вопросы обновленного и расширенного лабораторного практикума. Для студентов направления 09.03.02 «Информационные системы и технологии», а также может использоваться студентами других направлений ЮФУ, связанных с использованием средств мультимедиа, перспективных информационных и образовательных технологий.

Модуль 1

Основы мультимедиа технологий

Чтобы эффективно использовать современные и перспективные компьютерные и информационно-коммуникационные технологии, как в повседневной жизни, так и в образовании, следует обратить внимание на различные каналы человеческого восприятия и их особенности. В первую очередь, это зрительный и слуховой каналы, по которым проходят самые важные и информативные для человека аудиовизуальные воздействия. Причем в этом плане вызывают интерес не только общие психофизиологические особенности человека, а еще и возможности и особенности человеческого восприятия в отдельных каналах. Но человек умудряется использовать эти и другие (все и без того сложные) каналы восприятия еще и совместно, интегрируя результаты воздействий, работая в среде ММ. Таким образом, перед обучаемыми стоит задача вначале выявить и изучить самодостаточные компоненты ММ (аудио, видео, анимации и др.), их информационные, физические основы и соответствующие технологии, представление, аппаратуру и программное обеспечение поддержки, создание, функционирование и развитие, после чего продолжить изучение вопросов их комплексного использования, в том числе и в различных информационных средах (гипермедиа, экспертмедиа и др.).

Изучение программных средств создания и редактирования компонентов ММ открывает новые возможности применения ММ в практических разработках.

Комплексная цель и задачи изучения модуля

Цель модуля 1 — дать развернутое представление о мультимедиа технологиях, охватывающее основные понятия и определения, составляющие (компоненты) ММ, их особенности и классификации, информационные основы и файлы, а также физические основы и аппаратуру поддержки, функционирование и возможности использования.

Успешное изучение учебных материалов позволит продемонстрировать следующий уровень подготовки, позволяющий

Знать назначение, функции, виды, классификацию, принципы построения и режимы функционирования различных ММ компонентов; средства взаимодействия пользователя с ММ компонентами; свойства и возможности известных и перспективных технологий поддержки звука, видео, анимации; основы гипермедиа;

Уметь квалифицированно работать с ПС ММ; оптимально распределять и использовать ресурсы для средств ММ; эффективно организовать процессы разработки ММ компонентов образовательных систем;

Иметь представление о развитии аудиовизуальных средств и технологий, перспективных возможностях гипермедиа и экспертмедиа;

Владеть ключевыми понятиями, такими как: мультимедиа, синергетический эффект, интеграция информации, режим реального времени, интерактивность, изначальная многовариантность интерпретации ММ информации, человеческое восприятие, ощущение, сигнал, восприятие пространства, сенсорные рецепторы, анализаторы, возбуждение, раздражители (адекватные, неадекватные), порог чувствительности (интенсивности) раздражителя, порог времени раздражения, каналы восприятия (зрительный, слуховой, осязательный/тактильный, обонятельный, вкусовой, мышечный, вестибулярный), пик-сел, цифровой многофункциональный диск (DVD), поток данных, сжатие (компрессия), формат файла, гипертекст (метаструктура текста), семантические связи, гиперссылки, функциональные изображения, гиперграфика, контактные области, анимация, интерактивные трехмерные представления, звуковая волна, звук (аналоговый/цифровой), тембр, обертоны, частота дискретизации, звуковая карта, битрейт, цифровой интерфейс музыкальных инструментов (MIDI), аудиокодек, амплитудная огибающая, FM/WT-синтез звука, сэмпл, пэтч, восприятие объемного звука, реверберация, окклюзия, обструкция, ранние отражения, эффект-процессор, полифония, сабвуфер, окружающий канал, громкоговоритель, акустическая система, многоканальная аудиосистема, аудио кодек, цифровой контроллер, психоакустическая модель, критическая полоса, битрейт, цвета, цветовые оттенки, палитра, яркость, цветность, видео (аналоговое/цифровое), потоковое цифровое видео, видеосистема, графический ускоритель, камкодер, фрейм-граббер, TV-тюнер, текстура, тексел, рендеринг, 2D/3D-анимация, твининг, 2D/3D-морфинг, гиперизображение, гипертехнологии, гипермедиа, виртуальная экскурсия, экспертмедиа.

Глава 1. Основы мультимедиа технологий

1.1. Базовые понятия и информационные основы мультимедиа

1.1.1. Определения, отличительные признаки, преимущества и основные направления развития мультимедиа

Мультимедиа — это тема, появившаяся с 90-х годов 20-го века, бурно развивающаяся область информатики, где устоявшаяся терминология пока отсутствует. В английских компьютерных журналах этот термин описан как неудачно определенный (ill-defined), его строгое формальное определение отсутствует, в русском языке не существует официально закрепленного аналога, его определения часто противоречат друг другу, есть проблемы с написанием и произношением связанных с ним слов.

Термин «мультимедиа» буквально означает «более чем один носитель информации». Поэтому под ММ на ПК сегодня понимают возможность использовать в выполняющихся программах информацию из разнообразных источников (музыка, речь, видео и телекадры и т.п.). Оперативную обработку информации от всех этих источников осуществляет ПК.

Понятие ММ многогранно и охватывает как идею, технологию и продукт, сделанный на ее основе, так и компьютерное аппаратное и программное обеспечение, а также особый вид информации. Рассмотрим некоторые содержательные определения ММ [3-8].

Определение 1. ММ — это взаимодействие аудиовизуальных эффектов под управлением интерактивного программного обеспечения (ПО).

Определение 2. ММ — это сумма технологий, позволяющих с помощью ПК создавать, вводить, обрабатывать, хранить, передавать и отображать (выводить, воспроизводить) в оцифрованном виде такие типы данных, как текст, звук, речь, графика, неподвижные изображения (слайды), анимация, видео, а также различные их комбинации.

Определение 3. ММ — это достигнутые за счет возможностей компьютера:

◆ интеграция практически всех используемых человеком сред, средств и способов обмена информацией;

◆ обогащение всех этих сред, средств и способов обмена информацией возможностями хранения огромных массивов информации и интерактивного произвольного доступа к ее элементам.

Определение 4. Можно определить ММ через понятие «гипертекст» (ГТ). ГТ — это информационная структура, состоящая из дискретных узлов данных и сложных разноуровневых семантических связей между ними. Если данные в узлах ГТ-структуры могут записываться в виде текстов, изображений и звука, то такую информационную структуру называют ММ.

Определение 5. ММ — документ, содержащий средства информации, протяженные во времени, то есть проигрываемые в течение определенного интервала времени [6].

Определение 6. ММ — это особый обобщающий вид информации, которая объединяет в себе как традиционную статическую визуальную информацию (текст и графику), так и динамическую информацию разных типов (речь, музыку, видеофрагменты, анимацию и т.п.) [7].

Определение 7. ММ — это современные компьютерные технологии, позволяющие объединить в программно-аппаратной системе различные типы ММ данных (изображения, звук, видео, тактильные и другие ощущения) для создания единой информационной среды в целях воздействия на через органы чувств на восприятие человека [1].

Человеческое восприятие следует рассматривать как интеллектуальный процесс, связанный с активным поиском признаков, необходимых и достаточных для формирования образа и принятия решений [1].

Различные типы ММ данных представляются специальными сигналами, предназначенными для создания ощущений у пользователя воздействием на его органы чувств.

Таким образом, в широком смысле ММ обозначает спектр информационных технологий, использующих специальные программные и технические средства с целью наиболее эффективного воздействия на пользователя (ставшего одновременно и читателем, и слушателем, и зрителем) [3-8].

Отличительные признаки ММ

1. Интеграция информации, порожденной различными (многими — multi) источниками, созданными в различных средах (media). ММ продукты объединяют в одном изделии многообразные разновидности информации: компьютерные данные, теле — и видеоинформацию, речь и музыку. Такое объединение обеспечивает возможность и требует использования разнообразных устройств регистрации и воспроизведения информации, допускающих управление от компьютера: телевизора, видеомагнитофона, аудиосистемы, CD-плеера, микрофона и электронных музыкальных инструментов. Интеграция информации обеспечивает синергетический эффект (объединяющее действие факторов, различных по своей природе), учитывающий известный принцип функциональной целостности по Эшби.

2. ПК вынужден регистрировать, обрабатывать и выводить информацию, изначально (на заре компьютерной эры) для него не предназначенную.

3. Для регистрации, обработки и вывода такой новой для ПК информации надо усилить его конфигурацию целым рядом дополнительных устройств (оригинальные устройства ввода-вывода, акселераторы, конвертеры и т.п.).

4. Собственных ресурсов ПК может не хватить, что потребует наращивания и обычных аппаратных средств ПК (дополнительных процессоров, памяти и т.д.).

5. Поддержка новых устройств и режимов требует наличия нового ПО, такого как

◆ драйверы новых устройств,

◆ программы инсталляции и настройки новых подсистем,

◆ программы управления ММ системой в целом.

6. ММ средства по своей природе интерактивны, т.е. зритель и слушатель ММ продуктов не остается пассивным, а участвует в процессе восприятия активно, как минимум, выполняя выбор воспроизводимых фрагментов.

7. Для поддержки ММ требуются:

8. предельно высокие скорости передачи данных;

9. воспроизведение в режиме реального времени (РВ) [6].

10. Передача ММ сообщений происходит во времени. А изменение некоторой физической величины во времени, обеспечивающее передачу сообщения (а тем самым — и информации), называется сигналом. Если уровень сигнала в технических устройствах можно точно измерить, то уровень возбуждения рецепторов человека в результате получения им сигнала зависит от множества факторов и поэтому может быть различным (индивидуальным) [1].

11. Правила интерпретации ММ сообщений и информации обычно не формализуемы. В то же время известно, что одно и то же сообщение, интерпретированное по-разному, может передавать разную информацию. Поэтому в силу индивидуальности (феномена сознания) субъективное восприятие ММ сообщений пользователем неоднозначно. Так, оптические иллюзии или звуковое сопровождение видеоряда у разных людей вызывают различные ощущения. Значит, для ММ сообщений характерна изначальная многовариантность интерпретации, когда заранее невозможно однозначно предсказать результат их воздействия на пользователя. Это связано как с психологическими особенностями восприятия, так и с аналитической вариабельностью количественных оценок физиологических показателей [1].

Преимущества использования ММ средств

1. Возможность интеграции разнообразных видов информации с использованием при этом разнообразных средств ее обработки. Теоретически существует масса способов интеграции информации от различных источников в едином продукте, но практически подобное объединение выполняется всегда под управлением компьютера (то есть именно компьютер является узлом интеграции).

2. Повышение качества и эффективности информационных процессов, а прежде всего, степени информативности среды за счет параллельной активизации разных каналов воздействия на человека.

3. Помощь, облегчение, упрощение обработки человеком огромных объемов аудиовизуальной информации за счет отображения ее в форме, удобной и естественной для пользователя компьютера.

Основные направления развития ММ:

◆ поддержка звука. Обеспечивается стандартными средствами ММ ПК или оригинальными звуковыми картами и соответствующим ПО;

◆ поддержка видео. Обеспечивается стандартными средствами ММ ПК, а также дополнительными видеокартами и соответствующим ПО;

◆ поддержка графики, слайдов и анимации. Обеспечивается стандартными средствами ММ ПК и специальными ПС;

◆ комбинированная поддержка ММ (проявление в сложных интерактивных средах, например, в среде виртуальной реальности). Обеспечивается стандартными средствами ММ ПК и дополнительным оборудованием, не входящим в стандартный состав ММ аппаратуры, а также специальными и оригинальными сложными ПС поддержки.

Актуальность применения ММ в восприятии и освоении информационно-образовательных материалов. Благодаря применению в ММ продуктах и услугах одновременного воздействия текстовой и графической, звуковой и видеоинформации, эти средства обладают большим эмоциональным зарядом и активно включаются как в индустрию досуга и развлечений, так и в практику всех видов деятельности и образования.

Экспериментально установлено, что при устном изложении материала слушатель на лекции за минуту воспринимает и способен переработать до 1000 условных единиц информации, а при активизации органов зрения — до 100 тысяч таких единиц. Поэтому совершенно очевидна высокая эффективность использования во всех видах деятельности и образования ММ средств, основанных на параллельном зрительном и слуховом восприятии материала [7].

1.1.2. Особенности человеческого восприятия

Для понимания основных подходов, используемых ММ технологиями для воздействия на органы чувств, необходимо проанализировать особенности человеческого восприятия, понять, с помощью каких основных внешних воздействий создаются эффекты присутствия и погружения пользователя в реальные и искусственные среды [1].

Ощущение — это построение образов отдельных свойств предметов окружающего мира в процессе взаимодействия с ними рецепторов. Все ощущения, испытываемые человеком, можно разделить на

◆ реальные ощущения, возникающие в процессе непосредственного взаимодействия с предметами;

◆ виртуальные ощущения (сенсорные впечатления), получаемые на основе искусственно созданных представлений об этом предмете.

Восприятие пространства — чувственно-наглядное отражение пространственных свойств объектов (их величины и формы), их пространственных отношений (расположения относительно друг друга и воспринимающего субъекта и плоскости и в глубину) и движений. В восприятии участвуют все органы чувств человека [1].

Первичное возникновение ощущений обеспечивают рецепторы — молекулярные или клеточные структуры, воспринимающие действие факторов внешней или внутренней среды и передающие информацию о сигнальном значении раздражителя на следующие уровни обработки.

Сенсорные рецепторы воспринимают действие раздражителей и обеспечивают возникновение возбуждения в нервных волокнах.

Искусственно создаваемые средствами виртуальной реальности воздействия на сенсорные рецепторы как раз и создают упомянутые выше сенсорные впечатления.

Физиологические системы человека, обеспечивающие восприятие, проведение и анализ информации о состоянии внешней и внутренней среды и формирующие специфические ощущения, называются анализаторами.

По характеру ощущений, возникающих в результате воздействия на соответствующие рецепторы, выделяют анализаторы: слуховой, зрительный, осязательный (тактильный), обонятельный, вкусовой, вестибулярный, температурный, болевой и другие.

По анатомическому расположению рецепторов выделяют три основных класса ощущений.

1. Экстеро(ре)цептивные ощущения, возникающие при действии на рецепторы, расположенные на поверхности тела. Они, в свою очередь, подразделяются на

◆ дистанционные (зрительные, слуховые и обонятельные);

◆ контактные (осязательные или тактильные, вкусовые).

2. Проприоцептивные (кинестезические) ощущения, возникающие при действии на рецепторы, расположенные в мышцах, сухожилиях, суставных сумках и свидетельствующие о движении и относительном положении частей тела. Сюда же относятся и ощущения при работе органа равновесия и пространственной ориентации — вестибулярного аппарата.

3. Интероцептивные (органические) ощущения, обусловленные обменными процессами внутри организма.

Функциональные способности органов чувств лежат в определенных пределах. Для измерения их характеристик рассмотрим следующие понятия.

Возбудимость — свойство нервных и мышечных клеток отвечать на действие раздражителя возбуждением. Возбуждение — ответная реакция высокоспециализированных (рецепторных) клеток на действие раздражителей, характеризующаяся проявлением специфической функции и потенциала действия. Возбудимость при эволюции рецепторных клеток развилась из свойства раздражимости. Раздражимость — универсальное свойство всех клеточных структур отвечать на действие раздражителя изменением своей жизнедеятельности.

По признаку биологического соответствия раздражители делятся на

◆ адекватные (к восприятию которых чувствительные структуры приспособлены и отвечают возбуждением на малую силу раздражителя);

◆ неадекватные (не вызывают возбуждения даже при значительной силе возбуждения, а вызывают только при чрезмерной).

При разработке ММ оборудования важно учитывать допустимое влияние проектируемых раздражителей — будет ли оно адекватным и пороговым.

Порог чувствительности (интенсивности) раздражителя — минимальная величина интенсивности раздражителя, достаточная для вызова возбуждения. Предполагается, что сила воздействия лежит в адекватных пределах от минимального порога чувствительности до болевого порога для данного органа чувств. Величина порогового значения обратно пропорциональна времени действия раздражителя.

Порог времени раздражения — минимальное время действия раздражителя для вызова возбуждения. На акустические и оптические сигналы время реакции человека составляет 100-250 мс (из этого на глаз приходится 20-40 мс, срабатывание мышц руки — 30-50 мс), на более сложные задания: прочитать слово — 350-550 мс, назвать предмет — 600-800 мс.

Для большинства органов человека сила воздействия может меняться в широких пределах. Тем не менее, число интенсивностей раздражения, которые пользователь способен уловить одновременно, невелико. Например, зрение в среднем способно отследить всего лишь 100-150 различных цветов.

При проектировании различных ММ устройств можно избежать сильных болевых и шоковых воздействий раздражителя, меняя скорость нарастания силы и время воздействия. В первую очередь это касается яркости изображения и громкости звука [1].

Каналы восприятия. В целом восприятие информации человеком проходит по 5 основным каналам, в число которых входят [7-8]:

1) зрительный — восприятие цветных изображений в трехмерном пространстве и на плоскости. Зрительный аппарат человека является важнейшим источником получения информации о внешнем мире (до 70-80 %);

2) слуховой — восприятие звуков в трехмерном пространстве. Звук представляет второй по значимости после зрения источник информации, но, как и цвет, требуется не всегда;

3) осязательный (тактильный) — восприятие прикосновения телом, рукой, пальцами, а также ощупывания. Это сенсорное (чувствующее) восприятие. В его основе лежит раздражение различных рецепторов кожи, некоторых слизистых оболочек (язык, губы). Осязание включает различные виды восприятия: тактильное — восприятие прикосновения и давления, а также восприятие боли, тепла и холода;

4) обонятельный — восприятие запахов. Обоняние — вид чувствительности, порождающий специфические ощущения запаха.

5) вкусовой — восприятие вкуса пищи. Вкусовые ощущения имеют 4 основные модальности: сладкое, соленое, кислое и горькое. Все остальные ощущения вкуса представляют собой разнообразные сочетания упомянутых основных.

Кроме того, часто обсуждается интуиция и некий шестой интегральный канал — экстрасенсорный — обостренное комплексное восприятие (биополя, или чего-то еще), всевидение.

В дополнение к основным каналам, используются еще два канала восприятия:

1) мышечный — восприятие силы и сопротивления (например, сопротивления повороту), веса и давления, сжатия и растяжения;

2) вестибулярный — восприятие положения в трехмерном пространстве.

3) Некоторые ученые утверждают, что при наличии звукового сопровождения уровень запоминания информации составляет около 20 %, при наличии звука и видео — 30 %, а при использовании интерактивных презентаций с обратной связью — 60 % [1, 3].

1.1.3. Оцифровка информации мультимедиа

Чтобы речь, музыка, видеокадры и анимации могли быть использованы компьютером, они должны быть представлены в цифровой форме, допускающей компьютерную обработку. Для хранения подобной информации в цифровой форме требуется довольно много места.

Так, одна минута музыки даже при 8-битном формате занимает до 0,645 Мбайт (а в стереозвучании — 1,29 Мбайт). При переходе к 16-битному формату объемы удваиваются.

Видеоинформация требует для хранения еще больше места, чем звуковая. Специфической особенностью телевизионного (TV-) приемника является то, что при приеме изображения от передатчика он не запоминает полученного изображения, а сразу воспроизводит его на экране способом «точка за точкой». ПК же наоборот выдает на экран дисплея изображение в виде прямоугольной сетки элементов рисунка (точек), называемых пикселами (picture element — элемент картины, сокращенно — pixel). Изображение хранится в памяти ПК как яркость и цвет для каждой точки экрана. Изображение сохраняется в оцифрованном виде [5].

Подсчитаем затраты памяти для хранения одной неподвижной картинки экрана. Экран (VGA) содержит 640×480=307200 пикселов. Если используется 256 цветов, то для хранения пиксела потребуется 8 бит. Значит, всего потребуется 0,29 Мбайт. А при высококачественной передаче цветовой палитры (24-битный цвет) потребуется в 3 раза больше — 0,87 Мбайт. Данные для мониторов с разным разрешением приведены в табл. 1.1.

Таблица 1.1

Телевизионный стандарт предполагает представление изображений последовательностью кадров, сменяющихся 25 раз в секунду. Для хранения секундного видеоролика в этом случае может потребоваться (из табл. 1) при 24 бит/пиксел скорость 21,75-93,75 Мбайт/с, а при 32 бит/пиксел — соответственно 29-125 Мбайт/с.

При этом видеофильм длительностью, например, 1 час 33 мин 50 с займет, как минимум, 119,58 Гбайт при 24 бит/пиксел и частоте 25 кадров/c или 191,33 Гбайт при 32 бит/пиксел и частоте 30 кадров/c. Столько не вместит и самый емкий цифровой многофункциональный диск (Digital Versatile Disk, DVD) [9, 10], а самые быстрые каналы Internet не обеспечат передачу таких объемов информации.

Скорость передачи неподвижного изображения объемом в 1 Мб из видеопамяти ПК на экран при частоте регенерации 60-100 Гц составляет 60-100 Мбайт/c, а объемом 3,75 Мбайт (24 бит/пиксел), как следует из табл. 1.1, — соответственно 225-375 Мбайт/с.

Такими объемами памяти, а также требуемыми для передачи изображений в режиме РВ высокоскоростными каналами современные ПК пока не обладают. На преодоление именно трудностей хранения и воспроизведения в режиме РВ звуковой и видеоинформации как раз и направлены в настоящее время усилия многих разработчиков средств ММ. Проанализируем типовые варианты решения этой проблемы.

Конец ознакомительного фрагмента.