Технология DjVu

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Дальневосточный федеральный университет

Сообщение

по дисциплине "Мировые информационные ресурсы"

на тему “Технология DjVu”

Выполнила

Логинова Д.П.

DjVu (читается "де-жа-вю") - это технология сжатия изображений разработанная в 1996 г. AT&T Labs. DjVu дает возможность распространять по сети Интернет изображения документов очень высокого качества. DjVu позволяет сканировать в высоком разрешении цветные страницы книг, журналы, каталоги, руководства, газеты, исторические и древние документы, и сделать их доступными через Интернет.

При сканировании текста с высоким разрешением, и сохранении качества изображения, размер файлов становится очень громоздким для скачивания с Интернета. Уменьшение разрешения, для повышения скорости скачивания, ведет к потере качества и разборчивости. Распространенные графические веб-форматы JPEG, GIF и PNG при приличном разрешении создают слишком большие изображения. Формат DjVu во многом решает эту проблему.

Технология Сжатия

Технология DjVu сжимает файлы изображений до рекордно малых размеров без потери четкости и разрешения изображения. Так, если отсканировать цветные документы с разрешением 300 dpi, содержащие текст и картинки, то в формате DjVu они будут иметь размеры в 10-20 раз меньшие, чем в формате GIF или JPEG, при прочих равных условиях и одинаковых параметрах.

Что же касается сравнения PDF-файлов и DjVu-файлов, то файлы в формате DjVu могут иметь размеры в 50-100 раз меньшие, чем в формате PDF. Например, цветная страница документа в формате PDF, имеющая размер 12 Mb, в виде файла DjVu имеет размер всего 80 Kb.

Кроме того, данная технология позволяет сжимать файлы в 150 раз быстрее, чем это делается с использованием форматов PDF, и в 20 раз быстрее, чем при использовании форматов JPEG или GIF.

DjVu выделяет из исходного отсканированного изображения два слоя: слой, содержащий высококонтрастные изображения - текст, а также штриховые рисунки (контуры), и слой, содержащий графические изображения, фотографии, цветной фон. Далее каждый слой кодируется соответствующим методом, обеспечивающим максимальные скорость и степень сжатия для данного слоя и максимальное качество.

При сжатии файла с использованием DjVu имеют место некоторые потери информации. Основной информационный слой исходного отсканированного изображения кодируется без потерь, в то время как для кодирования слоя, соответствующего фону, используется сжатие с потерями. Однако при просмотре DjVu-документов эти потери не будут заметными.

Следует отметить, что методы сжатия информации, используемые в JPEG и GIF, допускают значительно большие потери, чем DjVu.

Основная идея формата, вокруг которой и нарастали остальные возможности, зиждется на том понятии, что текст и картинки не являются равнозначными составляющими документа. Для текста существует большое количество компрессионных методов, причем процент сжатия информация довольно велик. Но, к сожалению, данные методы не могут архивировать графику.

В DjVu применяется специальная технология, отделяющая от сканированного образа весь текст и сжимающая его, сохраняя первоначальное качество. Картинки же переводятся в 100 dpi и подвергаются сжатию по технике вейвлетов (очень популярный ныне метод, использующийся для он-лайновой декомпрессии данных). Дополнительно происходит обработка фоновых частей образа -- так удается исключить из конечного файла фрагменты изображения, которые просто не видны (к примеру, стоят за картинками или за текстом).

Каждая картинка поддается некоторым преобразованиям, призванным сократить размер файла. Прежде всего, она разделяется на несколько слоев, из которых можно затем ее реконструировать. А чаще всего деление происходит на подложку, маску и передний план. Для этого используется довольно простой алгоритм: растровый файл просматривается пиксель за пикселем. Все светлые точки автоматически причисляются к фону, темные -- к маске или переднему плану. Все пиксели, выводимые на экран, получают цвет на базе логических вычислений, построенных на значениях соответствующих цветов из всех слоев. Такое разделение помогает наиболее эффективно сжимать графику. Маска, имеющая обычно всего один цвет, архивируется по методу сжатия документов факсимильных аппаратов, называемому JB2. Идея такого разделения не нова, впервые ее предложила корпорация Xerox, использующая подобный подход при создании формата XIFF.

Уникальной особенностью формата DjVu является чрезвычайная компактность при хранении изображений в высоком разрешении (300 dpi и выше). На одной дискете можно разместить до двадцати страниц пригодных для распечатывания на лазерном принтере. Кроме того, этот формат оптимизирован для передачи по сети таким образом, что страницу можно просматривать еще до завершения скачивания. Таким образом, DjVu является уникальным инструментом для открытия Интернет-доступа к радиолюбительским материалам, в первую очередь радиосхемам и справочникам.

Отдельно следует упомянуть законность публикации на сайте отсканированного текста. Скорее всего, юридическое решение проблемы еще является делом будущего.

DjVu -- основные достоинства

В основе формата DjVu лежат несколько технологий разработанных в AT&T Labs. Это: алгоритм отделения текста от фона на отсканированном изображении, вейвлетный алгоритм сжатия фона IW44, мощный алгоритм сжатия черно-белых изображений JB2, эффективный универсальный алгоритм сжатия ZP, алгоритм распаковки "по запросу", алгоритм "маскировки" изображений. Первые четыре алгоритма обеспечивают чрезвычайно высокую степень сжатия. Типичным является преобразование TIFF файла размером 25 Мб (формат А4 отсканированный на цветном сканере 300 dpi) в DjVu файл размером 80 кб, без видимой на глаз потери качества. Для черно-белого изображения, размер DjVu файла может получиться еще меньше -- примерно 30 кб. Возможно дальнейшее повышение коэффициента сжатия, вплоть до отношения 1000:1, правда потеря качества становится довольно заметной. Таким образом, на стандартную дискету 1,44 Мб можно разместить 15-20 изображений высокого качества. Дополнительно заметим, что искажения вносимые вейвлетным сжатием существенно менее заметны по сравнению с искажениями в JPEG файлах.

Алгоритмы распаковки позволяют показать часть изображения, не разворачивая всю картинку в оперативной памяти, а также легко масштабировать изображение. Это позволяет быстро просмотреть файл даже на относительно слабой машине - компьютер с процессором 486 и 16 Мб ОЗУ. Еще одной интересной особенностью алгоритмов распаковки является инкрементальное восстановление изображения. При просмотре через Интернет вначале выводится только текст, затем фон в низком разрешении и только потом фон в высоком разрешении. Это позволяет быстро оценить документ, не скачивая его полностью.

Отделение текста от фона чрезвычайно повышает его разборчивость, особенно, если текст напечатан на цветной бумаге или расположен поверх рисунка. Возможен и отдельный просмотр фона, причем алгоритм "маскировки" восстанавливает те части фона, которые были закрыты текстом.

Изображения, не содержащие текста, могут быть преобразованы в формат IW4, который соответствует части формата DjVu ответственной за хранение фона.

В начале 1999 года фирма AT&T объявила о дальнейшем развитии формата - DjVu 2.0. В новой версии предусмотрено объединение нескольких изображений в один файл, с возможностью "перелистывания" страниц, а также нанесения на изображение так называемых "горячих точек", участков изображения служащих гиперссылками.

Тем, кого пока не удовлетворяет формат DjVu как таковой, можно порекомендовать набраться терпения и "скачивать" оригинальное изображение, хотя вряд ли это целесообразно. Но из уважения к приверженцам традиционных методов, на нашем сайте будут присутствовать материалы в двух форматах (GIF и DjVu), за исключением тех случаев, когда исходный файл уже был в формате DjVu. При наличии соответствующего софта всегда имеется возможность "разжать" DjVu в стандартные графические форматы (BMP, например), однако, полученные файлы будут занимать объем до 30-40 Мб.

DjVu -- использование

Следует помнить, что алгоритмы, заложенные в DjVu, оптимизированы для изображений, отсканированных с высоким разрешением. Если у вас есть картинка 320x200 или 800x600 то вас вполне удовлетворит JPEG или GIF. Оптимальными для сжатия DjVu являются картинки отсканированные на 300 dpi и выше. Для рисунков, отсканированных на 100-200 dpi, предусмотрен режим предварительного растягивания со сглаживанием для повышения качества результирующего изображения. Также необходимо заметить, что процесс сжатия, в противоположность к воспроизведению, достаточно критичен к свободной оперативной памяти. 32 Мб ОЗУ это минимум необходимый для работы. Фирменные руководства рекомендуют 64 Мб.

DjVu -- доступность программ

Для того, чтобы воспользоваться преимуществами нового формата необходимо иметь две вещи: утилиту сжатия для издателя и утилиту просмотра для читателя.

Как принято в последние годы, утилиты просмотра DjVu распространяются совершенно бесплатно. Для тех, кто использует Windows 95/98/NT, предлагается два продукта:

Plag-in для веб-броузеров распространяемый фирмой AT&T. Данный plag-in совместим с Microsoft IE вер. 4.0 и выше, Netscape Navigator вер. 4.0 и выше и Opera вер. 3.26 и выше. Инсталляционный файл называется npdjvu.exe и имеет размер примерно 600 кб.

Программа DjVuer для работы с DjVu файлами от фирмы Feith Systems and Software Inc. Инсталляционный файл называется DjVuerin.exe и имеет размер примерно 2.5 Мб.

Как сделать файл в формате DjVu

Самый простой способ сделать файл -- воспользоваться виртуальным принтером

Для изготовления документов в этом формате есть несколько путей. Они зависят от типа исходного файла. Если вы в основном работаете с электронной документацией (PDF или DOC), то создать DjVu проще простого при условии использования программы LizardTech Virtual Printer. Надо просто дать команду на печать, выбрав в свойствах принтера виртуальный принтер LizardTech. После выполнения конвертации останется только сохранить файл в нужном месте. Особенностью этого метода является то, что в этом случае невозможно использовать распознавание текста для русского языка. Он просто не поддерживается виртуальным принтером. Распознавать текст, если возникнет необходимость, придется прямо с экрана с помощью ABBYY Screenshot Reader.

Отметим, что простота использования LizardTech Virtual Printer не должна обольщать вас. Очень многое зависит от качества файла. Если с файлами формата DOC проблем, как правило, не возникает, то с форматом PDF могут возникнуть проблемы, если отсканированные исходники очень низкого качества. В этом случае LizardTech Virtual Printer просто переведет PDF файл в последовательность картинок. Правда, и в этом случае созданный файл будет как минимум вдвое меньше по размеру. Но вся прелесть DjVu будет растеряна.

Сканирование

сжатие изображение формат сканирование

Рекомендуемое разрешение сканирования -- от 300 до 600 dpi. Считается, что чем больше -- тем лучше. Это так и есть, но всегда приходится выбирать между двумя зайцами: большее разрешение предполагает больший размер файла. Это означает, что при сканировании в 600 dpi средней книжки в пару сотен страниц нужно приготовить не менее 1 Гб свободного места на диске. Опыт показывает, что техническая литература вполне нормально «дежавируется» при сканировании с разрешением в 300, а при необходимости в распознавании текста (OCR) в 400 dpi. Сканирование рукописей, раритетов, цветных каталогов и аналогичной продукции лучше делать с разрешением 600.

Такой файл PDF в DjVu нормально перевести не удастся

Сканировать лучше через вьювер или графический редактор, поддерживающий пакетный режим. Использование DjvuSolo или LizardTech DjVu Editor DocumentExpress возможно, но неудобно: DjvuSolo не может сканировать документы в многостраничном режиме, а DocumentExpress требует открытия программы сканирования при каждой новой странице. Пакеты не рекомендуем делать большими -- 10-15 разворотов не более. Этим вы обеспечите себе гарантию ненапрасной работы при случайном отключении света, меньшие потери в случае ошибочного удаления файлов, меньшую нагрузку на компьютер при обработке файлов. И не забывайте делать резервные копии этих пакетов!

При сканировании необходимо сразу задавать рамки зоны сканировании средствами программного обеспечения сканера, так как в программах создания DjVu файлов кадрирование не предполагается. Если этого не сделать, то либо придется выполнять дополнительную операцию обрезки файлов в графическом редакторе, либо мириться с выросшим размером файлов и черными полями на самой картинке. Если вы думаете в дальнейшем использовать бесплатный DjVuSolo, то вам предстоит еще и повернуть отсканированные картинки во вьювере или графическом редакторе; DocumentExpress позволяет поворачивать страницы при работе с файлом. Про этап поворота картинок мы больше говорить не будем.

Способы удаления центральной полосы

Хорошим тоном при создании «дежавюшных» книг считается постраничное представление книги. Но это увеличивает объем работ, пожалуй, вдвое, если не больше. В большинстве случаев для уменьшения объемов работ можно обойтись сканированием разворотов книги, если использовать одну маленькую хитрость. Сделайте полоску бумаги длиной, равной ширине окна сканера. Ширина полоски должна быть такой, чтобы полоска закрывала собой сгиб разворота, но не наезжала на текст. Полоску желательно сделать из бумаги, по цвету и текстуре схожей с бумагой сканируемой книги. Посредине бумаги проведите тонкую линию. Примерьтесь на сканере, куда попадает сгиб книги, наложите на это место полоску линией вниз и приклейте скотчем к рамке окна сканера. Проверьте на паре-тройке разворотов в разных местах книги (начало, середина, конец) точность наложения. Идеальным будет, если вы найдете (сделаете) нетолстую полоску железа (подойдет даже кусочек нетолстой деревянной или пластмассовой линейки), по размеру совпадающей с бумажной полоской и придавите бумажную полоску. После нескольких проб вы сможете достаточно корректно выполнять сканирование.

Есть способ более качественного удаления этой полоски и, заодно, общего «шума». Этот способ дает отличные результаты, но увеличивает объем работ в разы. Его рекомендуется применять для случаев, когда фоновый слой не имеет никакого значения для читателя. Для его применения лучше всего сканировать каждый разворот отдельным файлом, а не все единым пакетом. Переводите каждый из отсканированных разворотов книги в формат DjVu. Затем открываете страницу в DjVu-вьювере, отключаете фоновый слой при просмотре (команда View > Display > Foreground), и экспортируете полученный результат в картинку формата BMP или TIFF. Проводите повторное преобразование в DjVu. Этот метод непригоден для страниц с фотографиями, которые также будут удалены вместе с центральной полосой. Так же этот метод непригоден для книг, для которых важно сохранение передачи текстуры бумаги.

На иллюстрации -- образец удаления полосы с помощью обоих методов. Вверху -- результат простого сканирования, ниже -- сканирование с бумажной полосой, еще ниже -- удаление полосы с помощью двойной конвертации в DjVu файл, а внизу -- удаляемая часть фона при двойной конвертации в DjVu файл.

Первый этап

DocumentExpress Editor -- работа по созданию книги только начинается

Первый этап создания файлов DjVu -- основа для всего последующего. Остановившись на этом этапе, вы получите самые низкие размеры файлов, все последующие этапы, добавляя нужные функции, увеличивают объем файла. При ограниченных требованиях к конечному результату на этом этапе можно остановиться. Отсканируйте нужную книгу. Параметры сканирования выбирайте в зависимости от конечных требований к готовой книге. Самый простой вариант: разрешение 300, режим Gray (в тонах серого) -- для самых простых случаев технической литературы на приличной бумаге с черно-белыми рисунками. Если в книге встречаются цветные картинки, то сканируйте их отдельно в цветном режиме.

Переведите каждый из пакетов в формат DjVu. Для текстовых фрагментов, таблиц и диаграмм выбирайте параметры Scan, Normal или Bitonal (в зависимости от качества скана и ваших потребностей), для страниц с фотографиями выбирайте режим Photo. Разрешение создаваемых файлов -- 300, независимо от разрешения сканирования. Режим страниц -- Bundle. Теперь все документы нужно объединить в единый документ. Делается это просто, с помощью штатных команд Insert page before (after) -- установить страницы до (после). Все, книга готова.

Второй этап

Второй этап, на котором останавливается большинство: в книгу добавляется распознавание текста. Для создания таких файлов нужно использовать программы, способные работать с версиями формата DjVu не ниже 22 (коммерческая версия DjVu Solo, DjVuEditor Pro, Document Express выше 4.0). Последние версии профессиональной программы Document Express достаточно корректно распознают русский текст, при условии качественно выполненного сканирования (более ранние версии далеко не всегда корректно распознают русские тексты). Если у вас такая версия, то не надо осложнять себе работу дополнительными программами, а просто при конвертации файла добавить функцию OCR (Optical Character Recognition -- оптического распознавания текста). Надо заметить такую особенность привязки текста к картинкам в формате DjVu: происходит не просто прицепка текста к странице, а привязка текста к реальному его расположению на картинке. Благодаря этому можно копировать именно ту часть текста, которая интересует. И последняя особенность -- некоторое увеличение размера файла при вставке текста, примерно на 70 Кб на каждые 500 Кб документа (7 Кб на страницу).

При создании файла сразу задаем функцию оптического распознавания текста

Если файл не распознан и у вас нет Document Express, то ваш помощник -- ABBYY Screenshot Reader

Если же у вас нет Document Express выше четвертой версии, то придется прибегнуть к хитростям. Для этого нужно иметь прекрасную российскую программу распознавания текста -- ABBYY FineReader. Эта программа великолепно справляется с распознаванием русского текста. Дело за малым -- связать текст и картинку DjVu. Обычным способом связать текст и картинку нельзя, не предусмотрена эта возможность в ABBYY FineReader. (Хотя компания ABBYY планирует в ближайших версиях ABBYY FineReader включить поддержку формата DjVu.) Но вас выручит творчество болгарского программиста Gencho. Он создал пакет утилит (OCR1 и OCR2) для автоматизации процесса распознавания и привязки текста к картинке. Техника работы с этими утилитами довольно сложна и детально описана в самих архивах с пакетами. Кратко суть: утилиты проверяют корректность распознавания текста по картинке и при создании файла Djvu (пакет от Генчо сам может создавать файлы этого формата) «привязывают» текст к картинке.

Как быть, если у вас файл без текста, но текст нужен? Вариантов несколько. Первый -- открыть файл в Document Express и задать распознавание по команде Tools > OCR > OCR Entire Document. Этот способ позволит включить текст в DjVu-документ. Если нет Document Express, то придется опять хитрить. Самый простой выход -- вариант второй -- набрать текст ручками.

Вариант третий: перевести текст в изображение формата BMP (TIFF) и распознать в ABBYY FineReader. Для реализации второго варианта лучше сохранять в BMP только маску, то есть, именно текстовое изображение. В этом способе есть одно неудобство: ни одна программа не сохраняет картинки в пакетном режиме. То есть, если в вашем документе 34 страницы, то вы получите не многостраничный TIFF документ, а 34 отдельных файла. И вторая особенность -- распознанный текст невозможно добавить в документ.

А так она выглядит в тексте

Так создается гиперссылка

Этот вариант есть смысл применять, если нужен полный текст книги. Если же нужно распознать только часть текста, то нет нужды возиться с файлами и форматами. Достаточно воспользоваться одним компонентом программы ABBYY FineReader: ABBYY Screenshot Reader. Выделив нужную часть текста, просто распознайте ее с помощью этой утилиты. Впрочем, эта утилита может оказаться полезной не только для малых объемов теста. С ее помощью можно распознавать и всю книгу, страница за страницей, вместо сохранения страниц в формате BMP или TIFF. В этом случае есть два плюса: пропускается этап работы по сохранению страниц и то, что работу в этом случае можно остановить в любой момент. На качество распознавания использование маленькой утилиты ABBYY Screenshot Reader вместо полного пакета не сказывается. Механизм распознавания, созданный компанией ABBYY, успешно справляется с самыми сложными случаями, и справится даже с той картинкой, что постоянно приводится в качестве образца неудачного файла PDF. При использовании ABBYY Screenshot Reader надо помнить, что проверку и корректировку распознавания лучше выполнять сразу.

Третий этап

Исключительный результат сжатия. Как правило, страница умещается в 50 Кб

Третий этап создания файлов DjVu необходим для особо привередливых пользователей. DjVu поддерживает создание аннотаций, гиперссылок и вставку превьюшек, и этим можно и нужно пользоваться. Представьте себе книгу с гиперссылками, когда можно при необходимости не перелистывать страницы, а в один клик перемещаться на нужную страницу, картинку, сноску, приложение, таблицу. Создание гиперссылок поддерживает даже некоммерческий DjvuSolo. Добавление ссылок и аннотаций возможно после создания самого файла. Поле для гиперссылок (и аннотаций) может быть любым по форме и по размеру, ссылки могут вести как на URL, так и на страницы документа. Гиперссылка может открываться как в этом же окне, так и в новом. Ограничения на объем комментария -- 300 знаков.

Формат DjVu показывает впечатляющие результаты сжатия при высоком качестве и уровне сервиса. Уменьшение размера может быть в тысячу и более раз, что позволяет получать файлы разворотов книги в пределах 30 Кб. Однако это -- исключительный результат. Типовой -- сжатие в среднем 780, размеры страниц примерно 50 Кб -- на этот результат и можно ориентироваться. (Данные приведены для создания типовых файлов с технической книги типографского формата 60Ч90 1\16; режим сканирования -- 400 dpi, gray; выходные параметры -- разрешение 300 dpi, режим -- Normal, с OCR, без аннотаций, гиперссылок и превьюшек.)

Источники

1. http://www.nbuv.gov.ua/libdoc/DjVu_2.htm

2. http://reeed.ru/creation_djvu.php

3. http://www.djvu-soft.narod.ru/djvu_tech_az.htm

4. http://bookhelp.roerich.com/djvu/about_djvu.html

5. http://home.imm.uran.ru/igumnov/djvu/djvu.htm

Размещено на Allbest.ru