Программирование мультимедиа-систем

Современные цифровые фотокамеры и сканеры, аналоговые и цифровые кинокамеры и видеомагнитофоны являются в настоящее время фактически внешними устройствами ПЭВМ; каждое подобное устройство имеет возможность стыковки с ПЭВМ по быстродействующим каналам - USB (Universe Serial Bus, пропускная способность до 12Мбит/сек, в версии USB2.0 определена скорость 480 Мбит/сек) и IEEE 1394 (Hight Perfomance Serial Bus, 100400Мбит/сек) - специально разработанных для подключения мультимедиа-устройств высокого качества передачи [4].

Технологии распознавания изображений используются даже в `оптические мышах', отслеживающих перемещение устройства без физического датчика перемещения; встроенный в `мышь' процессор с частотой 100 Гц обрабатывает данные со встроенного в нижнюю часть `мыши' микросканера и формирует сигналы перемещения манипулятора.

5.2 Мультимедиа-расширения системы команд центрального процессора

Важным этапом явилось расширение системы команд процессоров фирмы Intel (www.intel.com) - в конце 20 века в процессорах серии Pentium была введена серия ориентированных на поддержку мультимедиа команд обработки целых чисел MMX (Multi Media eXtension). Практически за год до этого компания AMD (www.amd.com) расширила систему команд процессора K6-2 подобными по конечным целям инструкциями плавающей арифметики 3DNow! `Голубой гигант' не остался в долгу и оснастил свои процессоры набором команд плавающей арифметики SSE (Streaming SIMD Extension, где SIMD - Single Instruction Multiply Data означает принцип `одна инструкция над множественными данными'), а в процессоре Pentium IV ввел SSE2 (144 дополнительные инструкции для ускорения работы криптоcистем, программ сложной визуализации и математических приложений). Подобные (дорогостоящие и снижающие совместимость) расширения системы команд были вызваны не только необходимостью эффективной обработки мультимедиаданных. Особенностью устаревшей к тому времени схемотехники процессоров являлось неэффективное использование встроенного математического сопроцессора из-за задействования одних и тех же внутренних регистров для хранения данных разного типа; вследствие этого работа многозадачных ОС оказалась в высшей степени затрудненной из-за потери данных в регистрах при переключении задач.

`Целочисленные' команды MMX обеспечивают в первую очередь работу с цифровым звуком (микширование, регулировка громкости, преобразование форматов) и растровой графикой (вывод шрифтов, спрайтов, световые эффекты); `плавающие' инструкции 3DNow! и SSE предназначены для геометрических преобразований, необходимых при отображении трехмерной графики и поддержки сложных алгоритмов компрессии/декомпрессии данных с потерями. С успехом можно применять их в задачах, допускающих распараллеливание вычислений (нейронные сети, решение систем уравнений с ограниченной точностью и др.).

5.3 Видеокарты современных ПЭВМ

Идея перенести часть типовых вычислений на аппаратуру видеоплаты не дает покоя разработчикам практически с начала `бума ПЭВМ'; с момента взрывного развития компьютерных симуляторов и игр прогресс в этом направлении не останавливается. Принятая в настоящее время система машинной графики предполагает дискретизацию сложных линий и поверхностей простыми графическими примитивами, при этом отрисовка (rendering) сложных графических объектов сводится к многократному повторению рутинных операций (отрисовка простых площадок-полигонов с наложением текстур, затенений и отражений света и др.) переносится на цифровой процессор видеоплаты. В результате современные видеоплаты фактически представляют собой мощный компьютер с работающим на частоте 200600 MГц процессором, быстродействующим аналогоцифровым и цифроаналоговым преобразователями (возможность VIVO - Video Input / Video Output - для работы с аналоговым и цифровым видео), оперативной памятью 64256 Mбайт, собственным BIOS'ом, системой охлаждения и т.п.

В настоящее время наиболее известен графический процессор GeForce4 фирмы nVidia (www.nvidia.com), на основе этого процессора множество фирм выпускают видеоплаты с широким спектром возможностей (www.asus.com, www.albatron.com.tw и др.). MS регулярно дорабатывает библиотеку функций DirectX (сейчас версия 9, в качестве составляющих фигурируют DirectDraw, Direct3D и DirectSound, www.microsoft.com/directx), позволяющих повысить скорость и функциональные возможности работы с медиа-информацией; известен разработанный признанным лидером в области мультимедиа фирмой SGI (Silicon Graphics, Inc.) API (Application Programming Interface - набор пользовательских функций) OpenGL (Open Graphic Library, www.sgi.com/software/opengl), примеры OpenGL-программирования приведены в [1]. Интерфейс OpenGL поддерживается операционными системами для разнообразных аппаратных средств - от ПЭВМ до супер-ЭВМ; работающий совместно с OpenGL видеоадаптер должен аппаратно выполнять все базовые функции OpenGL (преобразование координат, отрисовка полигонов, расчеты освещения, наложение текстур, отсечение), для обеспечения совместной работы используются ICD-драйвера (Installable Client Driver). Фирмой 3DfxInteractive (www.3dfx.com) разработан программный интерфейс Glide, используемый в распространенных в конце 20 века графических видеоадаптерах серии Voodoo (www.3dfx.km.ru/develop, www.3dnews.ru.reviews/video). Многие видеокарты аппаратно поддерживают технологию Z-буфера (трехмерный массив, в котором сохраняются значения расстояния до точки наблюдения для каждого пиксела растрового изображения, метод эффективен при удалении невидимых точек 3D-объектов).

Для профессионалов предназначены специальные платы обработки медиа-данных; распространенной является линейка плат miroVIDEO - от простейших miroVIDEO DC10-DC30 до более сложных моделей (например, плата двухпотоковой монтажной системы miroVIDEO DV500) фирмы Pinnacle Systems (www.pinnaclesys.com). Эти платы в комплекте с соответствующим ПО (называемые еще системами нелинейного монтажа) позволяют осуществлять захват (`capture') медиаданных с аналоговых или цифровых источников (видеокамера, видеомагнитофон, TV-тюнер), компрессовать их в реальном масштабе времени и записывать на жесткий диск, осуществлять произвольный монтаж (вырезание и склейка кусков, подготовка титров, реализация визуальных эффектов, микширование звука и др.) с последующей записью скомпонованного фильма на видеомагнитофон, CD или DVD.

Таким образом ПЭВМ с платой видеоввода, соответствующим ПО и современными жесткими дисками является не только видеостудией, но и видеомагнитофоном с произвольным доступом к видеоклипам (на 120 Гбайтовом диске размещается около 200 часов видео при разрешающей способности 320240 пиксел и глубине цвета 24 бит при сжатии по стандарту MPEG-1).

Заметим, что истинным пионером `мультимедиа на ПЭВМ' явилась фирма ApplleComputer (www.apple.com); до сих пор каждая ПЭВМ этой фирмы изначально снабжена комплектом устройств мультимедиа, для IBM PC эти устройства являются всего лишь возможными.

5.4 Устройства аудиовизуального ввода и вывода информации

К устройствам аудиовизуального ввода относятся микрофон и звуковая плата, сканер, устройства ввода аудиовидеоинформации и (с некоторым сомнением, модем, клавиатура и `мышь'), вывода - звуковые системы (`колонки') и звуковая плата, принтеры, графопостроители (плоттеры), дисплеи, устройства виртуальной (мнимой) реальности (специальные очки, шлемы, перчатки).

Микрофон подключается к разъему Mic In звуковой платы (рис. 4.8, в современных ПЭВМ звуковые платы часто интегрированы в состав системной платы - matherboard) с помощью малогабаритных разъемов (`мини-джеков', jack) диаметром 3,5 мм. Чувствительность микрофонного входа (310)10^-3 В, вход обычно монофонический (иногда встречается специальное трехконтактное гнездо, у которого находящийся на месте правого канала дополнительный контакт предназначен для подачи питания на электретный микрофон). На той же плате обычно находятся разъемы аналоговых сигналов - линейный вход (LineIn, чувствительность 0,1-0,3 В), линейный выход (LineOut, уровень выходного сигнала такой же) и выход на акустические системы или наушники (SpeakerOut); подключение внешнего усилителя акустических систем производится к LineOut.

Современные сканеры имеют разрешение до 12001200 DPI (точек на дюйм) и больше при глубине цвета 2436 бит; физически подключаются к ПЭВМ с помощью интерфейса USB, менее быстродействующие устройства подключаются последовательно с принтером к двунаправленному параллельному порту (LPT - Line PrinTer, обычно используется протокол ECP - Extended Capability Port). Различают планшетные (сканируемый документ располагается на планшете сканера, линейка светочувствительных датчиков осуществляет при этом линейное перемещение вдоль документа) и рулонные (документ продольно перемещается цилиндрическим барабаном относительно неподвижной линейки фотодатчиков) сканеры. Универсальным стандартом для прикладного программного интерфейса таких периферийных устройств, как сканеры является TWAIN (Technology Without An Interesting Name), программное обеспечение для создания прикладных программ также называется TWAIN. Любая периферия, совместимая с TWAIN, может управляться программой, соответствующей стандарту TWAIN. С TWAIN совместимы большинство выпускаемых сканеров, цифровые фотокамеры и другие периферийные устройства, предназначенные для ввода информации.

К устройствам ввода медиа-информации относятся специализированные видеоплаты (подраздел 5.3), игровые устройства (джойстики, для подключения применяется интерфейс игрового адаптера Game port, поддерживающий 4 независимых аналоговых и 4 дискретных входов) и устройства электромузыкальной техники (синтезаторы, записывающие и воспроизводящие устройства, микшеры, устройства специальных эффектов), могущие подключаться через цифровой интерфейс музыкальных инструментов MIDI (подраздел 4.1), представляющий собой последовательный асинхронный интерфейс с частотой передачи 31,25kГц.

Широко предлагающиеся т.н. называемые `мультимедиа-клавиатуры' мало отличаются от стандартных; отличия заключаются лишь в наличии нескольких дополнительных (`hot-keys') клавиш, предназначенных для быстрого вызова некоторых связанных с мультимедиа- и InterNet-возможностями работы.

Модем (МОДулятор/ДЕМодулятор) служит для связи ПЭВМ между собой с использованием (обычно) телефонных линий, реально интерес для целей мультимедиа представляют модемы со скоростью не менее 57,6 Кбит/сек. Интересна появившаяся в последнее время тенденция переноса большинства функций модема на (мощный) центральный процессор ПЭВМ (т.н. soft-модемы).

Обычная `мышь' (и ее разновидность - трекболл) являются 2D-устройствами (возможно управление по двум координатами). Некоторое приближений к пространственному управлению представляет джойстик (и его более сложные разновидности). Интересной моделью является беспроводная мышь GiroMouse (фирма Dimond), движущаяся по поверхности подобно обыкновенной `мыши' и позволяющая моделировать трехмерное перемещение при поднятии и перемещении в воздухе (т.н. 3D-mouse). В состав шлема виртуальной реальности VFX-1 (см. ниже) входит специальный манипулятор CyberPuck, функционально являющийся трехмерным аналогом привычного джойстика.

В настоящее время предлагаются тысячи моделей звуковых систем (звуковой) мощностью до нескольких сотен ватт, на смену стандартным системам их двух динамиков все чаще приходят системы и 5+1 (5 динамиков для создания квадро-эффекта плюс один мощный низкочастотный динамик - `сабвуфер'); при этом обычным является программное разделение обычного двухканального стереозвука на псевдоканалы (реально указанное число каналов возможно лишь при воспроизведении звука с DVD-дисков на ПЭВМ, оборудованных поддерживающими стандарты DolbyDigital 5.1 или DTS (Digital Theatre System) 5.1 звуковыми картами).

Парк современных принтеров включает тысячи наименований, классификация разделяет все устройства на обеспечивающие черно-белую и цветную печать. Стандартное подключение к ПЭВМ осуществляется посредством параллельного порта LPT, все чаще встречаются USB-подключаемые устройства. Стандартное разрешение принтеров - 6001200 DPI.

Подавляющее большинство `черно-белых' принтеров используют технологию лазерной печати (применяется свойство фоточувствительных материалов изменять свой поверхностный заряд в зависимости от освещенности, световой узор формируется лазерным или светодиодным излучателем на поверхности фоточувствительного барабана с краской - `тонером', в результате контакта барабана с бумагой на последней тонер остается в незасвеченных местах, далее изображение термически закрепляется), более дешевые модели используют струйную технологию печати (строго дозированное распыление красящего вещества формирует изображение на бумаге).

Цветные принтеры в большинстве являются струйными (в соответствии со стандартом CMYK используются 4 контейнера с краской, появляются сообщения о принтерах с 6 красками), см. подраздел 2.1. Лазерные устройства (многократная лазерная печать тонерами разного цвета) обеспечивают прекрасное изображение, но дороги.

Графопостроители (плоттеры) являются устройствами печати на бумаге больших форматов (до A1/A0 - 594841/1189841 мм соответственно - и выше), могут быть планшетными или рулонными. Большинство современных плоттеров используют струйный принцип печати (т.е. являются большеформатными принтерами), для подключения используют LPT и USB. Устройства плоттерной резки снабжены специальной режущей головкой и предназначены для изготовления в основном рекламных плакатов из разноцветной пластиковой пленки. Плоттеры дороги вследствие необходимости обеспечения высокой механической точности позиционирования красящей головки при указанных линейных размерах носителя и обычно предназначены для совместного использования; в таких случаях они снабжаются встроенным процессором, буферным жестким диском большой емкости и возможностью подключения к сети. Трехмерный графопостроитель является скорее мечтой, идеи реализации (движение пипетки с красителем в `аквариуме') слишком далеки от реализации (хотя имеются удачные примеры - создание объемных фигур посредством полимеризации специального компаунда под действием светового излучения, сфокусированного в определенной точке емкости).

Дисплей (монитор) является фактически высококачественным телевизором, работающим на принципе активизации слоя люминофора электронным лучом в вакууме (в ЭЛТ - электронно-лучевой трубке) или на принципе твердотельного светоизлучения (светодиоды, плазменные ячейки и т.д.). Качество изображения характеризуется разрешающей способностью (до 20481536 точек), яркостью, цветопередачей, частотой кадров. При малой частоте кадров наблюдается быстрая уставаемость пользователя компьютера, рекомендуется частота кадров не ниже 80100 Гц при размере экрана дисплея по диагонали не менее 17 дюймов. Для подключения монитора к графическому адаптеру (видеокарте) используются специализированные интерфейсы, по которым передается информация о мгновенном значении основных цветов (Red, Green и Blue), сигналы строчной развертки и синхронизации по кадрам. При подключении чаще используют аналоговый интерфейс RGB (глубина цвета 24 бит = 16'777'216 цветов), цифровой с аналоговыми сигналами DVI (Digital Visual Interface, www.ddwg.org) и чисто цифровой интерфейс DFP (Digital Flat Panel, www.dfp-group.org). Интерфейсы мониторов в большинстве своем стандартизированы организацией VESA (www.vesa.org), [4].

В мультимедиа часто применяют видеопроекторы, функционально аналогичные дисплеям, но проецирующим изображение на экран размеров в несколько квадратных метров. Лучшие из них имеют USB-вход, световой поток до 10003000 люменов (до 1012тыс. люменов для кинотеатров) и контрастность изображения до 400:1. Плазменные панели с диагональю экрана 4250 см и выше отличаются плоской конструкцией (толщина 710 см) и очень высокой контрастностью (до 2300:1) изображения.

Устройства виртуальной реальности (VR) призваны (в идеале) переносить пользователя в сконструированный с помощью компьютерных технологий мир, при этом возможно полное замещение реального мира на VR или `неполное' погружение (обеспечиваемое, например, стандартной системой `дисплей - звуковые системы - игровой манипулятор').

Особо важным является погружение в мир видео (исходя из получения человеком большей части информации именно посредством зрения). Согласно подсчетам число различающих цветность фоторецепторов в сетчатке глаза около 610⁶ (т.е. оценка разрешающей способности некоего охватывающего все поле зрения VR-супермонитора дает порядок 24002400 точек). В реальности приведенная оценка в высшей степени вульгарна, проблема много сложнее (в первую очередь вследствие весьма сложной психофизиологии процесса зрения).

Важным атрибутом человеческого зрения является трехмерность (объемность, 3D). Глаза человека воспринимают объекты под разными углами, в дальнейшем два независимых изображения анализируются мозгом и в результате их сопоставления формируется образ предмета, его признаки и глубина изображения. Расстояние (база) между глазами человека составляет 68 см, мозг человека анализирует расстояние, основываясь на различии между изображениями, получаемыми левым и правым глазом (это различие называется параллаксом зрения); именно с помощью этого эффекта и создается представление об трехмерности (объемности) изображения.

Использующие стереослайды системы известны уже несколько десятилетий. Применялись также очки с цветными стеклами (красно-синие, красно-зеленые), в 70-е годы даже выпускались цветные телевизоры с вызывавшими смещение красного цвета на изображении линиями задержки, при просмотре телепрограмм на таком устройстве возникало некое подобие стереоскопичности (в горизонтальной плоскости). Подобные системы ушли в прошлое с развитием современных технологий.

Простой и дешевый способ формирования трехмерных изображений заключается в поочередном формировании изображения для левого и правого глаза. При этом оба изображения выводятся на единый экран монитора поочередно, а разделение изображений выполняется с помощью специальных скоростных затворов, по очереди перекрывающих поток изображения от монитора; современные затворы основаны на принципе изменения прозрачности жидких кристаллов и выполнены в форме очков, через которые зритель смотрит на экран монитора. Линзы таких очков по очереди (синхронно с изменение изображения на мониторе для левого и правого глаз) становятся непрозрачными с частотой 150200 Гц, на таком принципе формирования стереоизображений построены очки CrystalEyesPC (фирма StereoGraphics Corp., www.stereographics.com), 3DStereoSet, 3DMax (Kasan Electronics, www.kasan.co.kr), CyberMaxx3D (VictorMaxx Technologies, Inc.), Holographic3D.

Второй способ более сложен и дорог в реализации, однако обеспечивает значительно более глубокое `погружение' в VR; способ заключается в использовании двух отдельных (для каждого глаза) устройств вывода видеоинформации, разделение изображений обеспечивается конструкцией системы. Первые разработки в этом направлении проведены еще в конце 60-х г.г. фирмой IBM, проверялись два принципа - использование световодов для передачи в каждый глаз отдельно видеоинформации, сформированной двумя ЭЛТ-дисплеями (схема `2 дисплея - 2 световода - 2 глаза') и применение двух миниатюрных дисплеев, вмонтированных в специальный шлем и расположенных каждый напротив `своего' глаза.

Первые способ не отличался ни простотой, ни компактностью, ни низкой стоимостью. Реализация второго способа стала возможной лишь с появлением миниатюрных цветных дисплеев на жидких кристаллах (LCD, Liquid Cristal Display), примерами реализации являются современные системы I-Glasses и VFX-1.

I-Glasses (фирма i-O Display System, www.i-glassesstore.com) представляет собой компактное устройство, обеспечивающее вывод видеоинформации через два малогабаритных дисплея, входящих в состав данного устройства, которое крепится на лоб пользователя и обеспечивает раздельную и независимую подачу видеоизображений с минидисплеев. Видеосигнал для i-Glasses подается в стандарте NTSC, что позволяет использовать это устройство не только в качестве компьютерного 3D-монитора, но и в качестве приставки к телевизору или видеомагнитофону для индивидуального просмотра видеопрограмм.

Одной из наиболее удачных моделей систем человеко-машинного интерфейса является VFX-1 (Forte Technologies, Inc., www.fortevr.com). В основу VFX-1 положен шлемоподобный (VR-helmes) дизайн, обладающий многими преимуществами. Пользователь смотрит через регулируемую оптику, что создает иллюзию большого экрана. Для достижения эффекта трехмерности на каждый миниэкран шлема VFX-1 через специальный интерфейс посылается соответствующий видеосигнал от компьютера: отдельный для левого и отдельный для правого монитор. Датчик магнитного поля Земли контролирует положение головы пользователя и постоянно вводит эту информацию в компьютер (поворот головы в шлеме соответствует повороту головы в виртуальном мире), шлем оборудован встроенными высококачественными динамиками и микрофоном.

Системы, обеспечивающие вывод 3D-изображений - i-Glasses и VFX-1 -породили целый ряд устройств с более высокими параметрами. В качестве примера можно привести i-Glasses X2 и i-Glasses ProTec (фирма i-O Display System), VFX-3D представляет собой усовершенствованный вариант VFX-1. Известны устройства VirtualityScubaPCT, GlasstronPLM-55 и GlasstronPLM-S700E (фирма Sony), PhilipsScuba (www.scubafx.com), Datavisors10x и Datavisor80 (Virtual Research System, www.virtualresearch.com), виртуальные бинокуляры V8Binoculars (www.virtualresearch.com), VirtualBinoculars (n-Visio, www.nvis.com). Значительно большими возможностями обладают системы класса CyberTron, позволяющие с помощью системы вращающихся металлических обручей изменять ориентацию тела реципиента в пространстве (`Газонокосильщик').

В современных системах подобного рода поддерживается разрешение до 1024768 с различной частотой кадров, глубина цвета равна 1624 бит, системы совместимы со всеми последними типами 3D-ускорителей, используют интерфейс USB для связи с ПЭВМ, используется более совершенная система ориентации, в некоторых случаях реализуется полупрозрачность VR-изображения (возможно частично видеть окружающий реальный мир).

Подобные системы реально применяются в промышленности. Например, компания Virtual Research Systems занимается разработкой и системной интеграцией виртуальных комплексов для решения более серьезных задач. В первую очередь это различные научные и промышленные проекты, требующие создания сложных объемных миров или визуализации физических процессов, которые невозможно (или очень дорого) реализовать `вживую'. Типичным примером может служить процесс разработки узлов и компонентов для машин класса `Формула-1', практически полностью на первых этапах осуществляемый с помощью компьютерного моделирования. И только когда все детали доведены и состыкованы друг с другом, а виртуальные испытания подтверждают заданные аэродинамические и технические параметры, начинается физическое воплощение машины.

Несмотря на очевидный прогресс в области совершенствования систем 3D-изображений, некоторые эксперты считают, что будущее за лазерными устройствами, обеспечивающими проецирование цветного 3D-изображения непосредственно на сетчатки обоих глаз. Такие исследования уже ведутся, и утверждается их успешность. Близкий к идеальному вариант передачи мультимедиа-информации (в виде неких `мыслеобразов') непосредственно в мозг (возможно, на зрительный и слуховой нервы) пациента пока скорее фантастичен (хотя первые примитивные эксперименты уже проведены).

Обеспечение раздельной подачи звука к ушам пользователя решается значительно проще, особенно в `шлемах виртуальной реальности'; остается проблема тактильных ощущений.

К обеспечивающим тактильные ощущения устройствам относятся имитирующие осязание `мыши' (например, мышь FEELitMouse, www.immerse.com, позволяющая почувствовать рельеф изображения, `выпуклость' кнопки, `вес' копируемого файла/каталога или `сопротивление' изменению размеров окна), специальные тактильные перчатки (gloves) и `виртуальные костюмы'.

Перчатки gloves позволяют в соответствии с требованиями эксплуатируемых программ осуществлять ввод информации в компьютер с помощью различных манипуляций руками, кистями рук, пальцами. Например, указывая пальцем на объект в VR, можно вызвать определенные действия: перемещение объекта в VR-пространстве, изменение его размеров, цвета, формы и т.д. С объектом в VR может быть сопоставлен объект в реальном мире, таким образом можно осуществлять управление из VR. C помощью gloves может осуществляться вывод пользователю тактильной информации (тактильных ощущений) типа `твердый/мягкий ', 'холодный/горячий' и др. Такие устройства сложны и дороги; предназначенные для профессионального применения gloves имеют несколько сотен датчиков: растяжения, сжатия, перемещения и т.д. Эти датчики фиксируют и измеряют пространственные перемещения как совместные - плеча, руки, кисти, так каждой выбранной точки в отдельности - каждого пальца и каждой фаланги. При этом необходимо учитывать, измерять и вводить в компьютер каждый изгиб и поворот.

Наиболее полным набором оборудования для VR является виртуальный костюм, состоящий из обтягивающего комбинезона с большим количеством магнитных сенсоров, отслеживающих движения всех частей тела. К нему добавляется VR-шлем, перчатки gloves кисти и провода для присоединения всего этого к компьютеру. В результате получается полное ощущение погружения в виртуальную реальность. Датчики на костюме действуют лишь в магнитном поле, так что для функционирования такого костюма необходимо постоянно находиться на или внутри некоей системы внешних датчиков.

Для программирования обеспечивающих обратную тактильную связь устройств используется технология Force Feedback (силовая обратная связь, www.force-feedback.com, данная технология стандартизирована и встроена в DirectX 5.0, выпущен аппаратно поддерживающий Force Feedback специализированный процессор), особенно в `устройствах с силовой обратной связью' преуспела фирма ImmersionCorp. (www.immerse.com), специализирующейся на создании устройств для медицины.

Несмотря на указанные технические достижения до сих пор не удалось создать дешевую и эффективную систему для использования виртуальной реальности. Кроме технических недостатков, есть и другие факторы, влияющие на распространение VR-систем. Так, до сих пор не ясно, какое влияние оказывают эти системы на здоровье - в частности, на зрение. Дело в том, что глазные мышцы не способны длительное время находиться в напряжении, а именно это и происходит во время сеанса виртуальной реальности. В противном случае глаза быстро устают, глазные мышцы ослабляются, в результате чего происходит быстрое ухудшение зрения. Однако чаще всего противниками виртуальной реальности высказываются опасения на счет психического здоровья при применении систем виртуальной реальности. Известно, что человеческая психика больше всего подвержена влиянию, когда человек на чем-то сосредоточен, а это и происходит во время сеанса виртуальной реальности.

При формировании информации данного раздела использованы материалы с сайта www.3dnews.ru и литературные источники [1, 3, 4].

Контрольные вопросы

1. Какие пути повышения пропускной способности общей шины считаются реальными на сегодняшний день?

2. Для решения каких задач используются дополнительные (наборы MMX, SSE, 3DNow) команды центральных процессоров современных ПЭВМ?

3. С какой целью разрабатываются современные видеокарты с мощными процессорами и большим объемом оперативной памяти?

4. Каким образом человек ощущает эффект объемности звука и видео?

5. Какие типы устройств вывода аудиовизуальной информации используются и каковы их основные технические характеристики?

6. В чем достоинства и недостатки современных систем виртуальной реальности (очки, шлемы, перчатки gloves, специальные костюмы)?

6.МУЛЬТИМЕДИА-СИСТЕМЫ МОДЕЛИРОВАНИЯ ОКРУЖАЮЩЕГО МИРА

Один из возможных путей познания окружающего мира является моделирование явлений и процессов мира. Эффективность применения мультимедиа в научно-технических задачах подтверждается системами визуализации результатов решения сложных (особенно характеризующихся огромным объемом выходных цифровых данных - например, метод конечных элементов) задач; см. пакеты Maple (фирма MapleSoft, www.maplesoft.com), MathCad (MathSoft, www.mathsoft.com), MatLab (MathWorks, Inc., www.mathworks.com), Mathematica (Wolfram Research, www.wolfram.com) и др.

ЭВМ оказались удачным механизмом создания виртуальной реальности (VR, Virtual Reality) - представленного в виде цифровых данных и операций над ними подобия окружающего мира; особенное развитие этот метод получил в т.н. компьютерных играх (симуляторах взаимодействия пользователя с заданным виртуальным миром).

К средствам создания VR относятся пакеты 3D StudioMax фирмы Discreet, www.discreet.com, Maya (AliasWavefront, www.aliaswavefront.com/maya), LightWave (NewTeck, www.newtek.com/products/lightwave), Softimage3D (www.avid.com, www.softimage.com) и др. Практически все они используют трехмерную (3D) модель представления объектов, основанную на задании (относительно ограниченного) количества реперных точек (вершин) с последующим построением опирающихся на вершины плоских многоугольников - полигонов (полигональная модель), отрисовкой текстур (texture, стиль закрашивания поверхности, создающий иллюзию объемности), расчетом освещения и др. Полигональная модель ориентирована на современные программные (технологии рендеринга, трассировки лучей, методы Гуро (Gourand) и Фонга (Phong) для закрашивания поверхностей 3D-объектов) и аппаратные (отрисовка полигонов с наложением текстур в современных видеокартах) средства.

Кроме полигональной модели описания поверхностей используется аналитическая (описание в виде математических формул, зачастую с использованием сплайнов - обычно кубических сплайнов Безье) и воксельная (при этом трехмерные объекты образуют элементарные элементы объема - вокселы) модели [1]. Наиболее мощные пакеты такого рода поддерживают заданные пропорции между координатами вершин (обеспечивая целостность объекта при трансформациях) и связь объектов в более сложные образования, существующие по заданным законам (`миры', `аватары').

Простейшим преобразованием координат объектов является линейное преобразование (зависимость координат каждой точки от исходных координат является линейной, математически преобразование сводится к определенным матричным операциям для случаев сдвига координат, растяжения-сжатия, поворота изображения), вариантом линейного является афинное преобразование). К нелинейным преобразованиям относятся, например, общего вида проекции (способы отображения объектов на графическом устройстве).

Часто применяемым эффектом является морфинг - плавное `превращение' одного изображения в другое, во время которого конкретный элемент первого изображения `перетекает' в элемент второго изображения (например, при `морфировании' одного автомобиля в другой колесо первого превращается в колесо второго). ЭВМ не может выполнить морфинг двух изображений самостоятельно - оператору-художнику требуется задать соответствие элементов первого изображения элементам второго, задаются и другие параметры (используются специальные редакторы). Способ задания соответствия зависит от редактора - используются точки, линии, полигоны. Процесс морфинга условно разбивается на три части: warping (преобразование изображения, при котором элементы изображения `пытаются' принять положение и форму элементов второго изображения), tweening (интерполяция двух изображений для получения плавной анимации) и dissolving (слияние двух изображений).

При закрашивании поверхностей объектов (с учетом освещенности) используются модели зеркального отражения и диффузного отражения света.

С целью компьютерного представления формы реальных объектов (сложных деталей, человеческих лиц) используются системы лазерного сканирования объекта с оцифровкой в реальном масштабе времени, известны также механические системы подобного рода (напр., устройство MicroScribe-3D фирмы Immersion Corp.).

С конца 90-х годов важное значение в VR приобретают системы оцифровки движений (устройства, позволяющие преобразовывать движения в цифровой вид и вводить эти данные в ЭВМ для дальнейшей обработки), для телевидения важны системы датчиков оцифровки движения реальных актеров. Эти системы применяются для `оживления' виртуальных персонажей - работы студий Пилот (pilot.cool.ru) и BS Graphics (www.bsgraphics.ru). Существуют три вида таких систем: механические, электромагнитные и оптические; обычно на теле актера закрепляется 16-20 датчиков.

VR-технологии активно используются в науке и технике (визуализация при моделировании сложных процессов, решение задач компоновки механизмов) и при создании художественных произведений (особенно после цифровой разработки визуальных эффектов `Терминатора', `Звездных войн' и `Газонокосильщика').

Для описания виртуальных миров создан язык VRML (Virtual Reality Modeling Language) [7], формальная спецификация языка см. www.web3d.org/technicalinfo/specifications/specifications.html. Первые попытки разработки подобных языков относятся к концу 80-х г.г. (формат Open Inventor, проект Labirinth), в разработке VRML активно участвовала фирма SGI (Silicon Graphics, Inc., www.sgi.com). VRML поддерживает иерархические преобразования 3D-объектов, источники света, возможность смены точки наблюдения, различные свойства материалов, наложение текстур, анимацию, интерактивность и является стандартом обмена 3D-данными между приложениями. Создавать сложные VRML-объекты возможно, например, в вышеупомянутом 3D StudioMax (пакет поддерживает импорт и экспорт VRML-файлов) и использовать в дальнейшем нужным образом.

На сегодняшний день VRML является наиболее мощным средством интеграции двух- и трехмерных объектов, текста и мультимедиа.

7.МУЛЬТИМЕДИА И ГЛОБАЛЬНАЯ СЕТЬ INTERNET

7.1 Программное обеспечение мультимедиа в сети INTERNET

Так как мультимедиа представляет интерес для широкого круга людей, использование его в сети InterNet весьма привлекательно. Возможности работы с мультимедиа были заложены уже в самом начале существования InterNet и в настоящее время являются штатными для всех распространенных броузеров.

Распространенные средства просмотра WEB-страниц (броузеры) поддерживают (путем использования коротких изменяющих состояние броузера предписаний - тегов) работу с неподвижными изображениями, звук и анимацию (интерактивность реализуется обычно с помощью языков Java или JavaScript).

Описание содержащегося в файле EXCLAIM.GIF изображения в формате GIF выглядит в тексте WEB-страницы на языке HTML следующим образом (текст квалификатора ALT `всплывает' при задержке курсора `мыши') в течении нескольких секунд на фоне изображения:

<img src="./gif_89/exclaim.gif" width=30 alt='Это красивая

картинка, согласны ?'>

Демонстрация видеоролика SKY_MOV.AVI может быть реализована следующим образом (квалификатор CONTROLS вызывает появление линейки управления демонстрацией в нижней части окна с видеофрагментом, start=”mousemove” задает режим начала демонстрации после помещения курсора `мыши' на область предполагаемой демонстрации, src=”./gif/excuse.gif” объявляет появляющийся в окне при невозможности демонстрации видеофрагмента графический файл, loop=”3” и loopdelay=”1500” определяют демонстрацию видеофрагмента 3 раза с задержкой перед показом каждого в 1,500 сек):

<img dynsrc="./avi/sky_mov.avi" src=”./gif/excuse.gif”

start=”mousemove” alt='Это красивый ролик, как думаете ?'

loop=”3” loopdelay=”1500” controls >

Для однократного воспроизведения звукового файла nocturne.mid в броузере MS Internet Explorer (www.microsoft.com/windows/ie/default.asp) cледует воспользоваться строкой предписаний

<bgsound src="./mid/nocturne.mid" loop=1>

а в броузере Netscape Navigator (home.netscape.com/computing/

download) строкой

<embed src="./mid/nocturne.mid" hidden="true">

Образец использования JavaScript для обеспечения интерактивности демонстрируется ниже (при `наведении' курсора `мыши' на область изображения файла RBAN_ANI.GIF активизируется функция rightMouseOver(), при `уходе' курсора - функция rightMouseOut()):

<img src="./gif_89/rban_ani.gif" align="right" border=0

height=50 hspace=3 name="pict_r"

onMouseOver="rightMouseOver()"

onMouseOut="rightMouseOut()"

alt="Это пример активизации JavaScript-функций, вызываемых в ответ

на события onMouseOver и onMouseOut”>

Постоянно разрабатываются новые средства обеспечения мультимедиа в сети InterNet. Предложенная фирмой Macromedia, Inc. (www.macromedia.com) технология векторной графики MacromediaFlash позволяет передавать клиенту несложные анимированные изображения совместно со звуком (примером выполненного по данной технологии образца антиискусства является печальной памяти проект `Масяня'), поддержка MacromediaFlash встроена в современные броузеры; технология обеспечивает интерактивнсть (на чем основано множество несложных сетевых игр).

Описанный в предыдущем разделе язык описания VRML описания виртуальной реальности в сети InterNet является фактически трехмерным аналогом HTML. Файл VRLM является текстовым и (подобно давно используемому методу генерации ответов WEB-сервера клиенту в формате HTML по стандарту CGI) может быть сгенерирован (или модифицирован по шаблону) сторонней программой `на лету',

Из известного ПО поддержки VRML можно рекомендовать модули расширения (`плагины', plugins) CosmoPlayer (фирма Cosmo Software, www.cosmosoftware.com), WorlView (www.platinum.com), Cortona (ParallelGraphics, www.paragraph.ru) и специализированный VRML-редактор фирмы ParallelGraphics.

Благодаря встроенности в InterNet (интерпретатор VRML выполнен в виде модуля расширения стандартных броузеров) достигается интерактивное существование пользователя среди `аватаров' - спроектированных виртуальных миров технического или художественного направлений.

Вполне определенным недостатком является невозможность поиска нужных мультимедиа-материалов в сети InterNet. В настоящее время достаточно эффективна разработана технология поиска только текстовых данных, количественные трудности `поиска по образцам' изображений, видео и аудио-материалов заключаются в необходимости огромных ресурсов вычислительных систем с целью анализа и распознавания видео- и звукоряда.

7.2 Обучение с использованием мультимедиа

Согласно современным воззрениям, не менее 70% информации человек получает посредством зрения, поэтому использование мультимедиа при обучении должно быть эффективным

Использовать мультимедиа-технологии можно как для приобретения дополнительных знаний (виртуальные музеи, обучающие пособия и др.), так и в качестве основного курса обучения (в случаях сложности физического доступа обучаемых к центрам обучения). В случае использования технологий удаленного доступа к информации (например, посредством сети InterNet) говорят о дистанционном обучении (образовании).

Однако использование мультимедиа как единственного средства обучения малоэффективно, так как традиционный процесс обучения основан на личном общении обучаемого с учителем; основным недостатком дистанционного обучения является как раз недостаток (вследствии низкого уровня интерактивности) личностных акцентов указанного взаимодействия (неразвитость технических средств связи здесь является вторичной).

В настоящее время в России имеющие значительный процент мультимедиа-технологий InterNet-обучающие системы нашли применение в областях знаний, основанных на простом копировании навыков без глубокого осмысления предмета (изучение иностранных языков, бухгалтерское дело, право, финансы и кредит и т.п.), причем получаемые знания обычно являются базой не основного, а дополнительного образования.

Известны системы дистанционного образования Национального технологического университета в США (National Technological University, NTU), объединяющего уже в начале 1990-х г.г. 40 университетских инженерных центров и более 1100 студентов. На рубеже 21 века в США методами дистанционного обучения получали образование более 1 млн студентов посредством системы PBS-TV (Public Brodcasting System), функционирует программа обучения взрослых (PBS Audit Learning Service), армия США также интенсивно использует дистанционное образование.

В Европе дистанционное обучение ведут Открытая школа бизнеса Британского открытого университета, Национальный университет дистанционного образования (Universidad National de Education a Distancia, UNED) в Испании, Национальный центр дистанционного обучения (Centre National D'Enseignement a Distance, CEND) во Франции, Балтийский университет (The Baltic University) в Швеции.

В России идеи дистанционного образования активизирует Московский Государственный университет Экономики, Статистики и Информатики (МЭСИ), функционирует также Евразийская ассоциация дистанционного образования (ЕАДО, www.dist-edu.ru).

Прекрасно показывает себя мультимедиа при оформлении виртуальных (электронных, доступных через сеть InterNet или на CD) музеев. Известны виртуальные музеи Лувра (www.louvre.fr), Эрмитажа (www.hermitage.ru), Третьяковской галлереи (www.tretyakov.ru); общая информация о музеях России доступна на адресе www.museum.ru/defruss.html. Из технических представляют интерес Политехнический музей (www.poymus.ru/rus), виртуальный музей информатики (schools.keldysh.ru/sch444/MUSEUM), музей истории отечественных компьютеров (www.bashedu.ru/konkurs/tarhov/ russian/index_r.htm), виртуальный компьютерный музей (www.computer-museum.ru/index.php). Удачная библиотека ссылок на сайты виртуальных компьютерных музеев мира расположена на адресе www.bashedu.ru/konkurs/tarhov/russian/anot_mus.htm.

Эффективно применение мультимедиа при:

· изучении иностранных языков - известны электронные версии экспресс-метода Илоны Давыдовой (ilonadavydova.com), мультимедийный курсы английского языка Reward Intern@tive (фирма Young Digital Poland Multimedia, www.reward.ru) и Double English (Ньюком, www.cd-rom.ru)

· обучении детей - мультимедиа-учебники Открытая физика, Открытая математика, Открытая астрономия, проект `Открытый колледж' www.college.ru (TOO НЦ `Физикон', www.physicon.ru), Биология, Химия (1С:Репетитор, repetitor.1c.ru), интерактивная образовательная программа Мир Алисы (1C/КомTex, www.1c.ru), Виртуальная школа (Кирилл и Мефордий, www.km.ru, vschool.km.ru)

· повышения уровня интеллектуальности - CD Династия Романовых, Художественная энциклопедия зарубежного классического исскуства (АО Коминфо, www.cominf.ru)

· ознакомлении с явлениями природы - The Way Things Work (DK Multimedia, www.mammonth.net), The Unexplained (фирма FlagTower, www.flagtower.com)

· виртуальных прогулок по городам мира и истории - Москвоведение, История России и ее ближайших соседей (Кордис&Медиа, www.cordis.ru), Киев и киевляне (Armitage's Studio, www.virtual.kiev.ua)

· туризма - CD Travel Market (AMK `Респект')

и десятков других приложений. К подобному применению близки грандиозные управляемые ЭВМ светомузыкальные представления `Звук и свет' (вблизи пирамид и Сфинкса в Гизе, храмов Луксора etc).

В настоящее время InterNet представляет хорошие возможности для получения односторонней мультимедиа-информации, однако интерактивные возможности явно малы и фактически ограничиваются посылкой клиентом коротких кодовых или текстовых сообщений.

Кодовые сообщения широко используются в сети InterNet (например, сообщения `мыши' с целью выбора точки зрения в пространстве виртуальной реальности и т.д.) и придают сетевой работе некоторое подобие интерактивности.

Однако `интерактивность' такого рода явно искусственна и не может заменить привычный (словесный, интонационный, мимический) контакт людей. В технологии дистанционного обучения введено понятие тютор (учитель), однако учителя в привычном смысле (как человека, передающего свои знания обучаемому привычным образом) в сети InterNet нет (обучение сводится к общению `по переписке', что вряд ли эффективно).

Таким образом развитие мультимедиа в сети InterNet в ближайшие годы, вероятно, должно пойти по пути повышения интерактивности (и, в первую очередь, приближения качества этой интерактивности к привычному человеческому). Для решения этой проблемы придется разработать необходимые технологические приемы - от простого повышения пропускной способности InterNet-коммуникаций до серьезного психофизиологического анализа процесса общения с целью реализации его техническими способами. Автор данной работы не предвидит в обозримом будущем корректного решения указанной проблемы.

8.БУДУЩЕЕ МУЛЬТИМЕДИА

В настоящее время мультимедиа делает первые шаги и, как это всегда бывает в подобных случаях, излишне `техницировано' (о чем говорят, в частности, содержание и объем данной работы) - существует множество MM-стандартов, типов носителей информации и методов работы с ней, что зачастую затрудняет широкое применение мультимедиа.