Створення системи offline-завантаження ресурсів з мережі Internet

Створення системи offline-завантаження ресурсів

з мережі Internet

ПОЯСНЮВАЛЬНА ЗАПИСКА

2009



ЗМІСТ

ВСТУП

1. ЗАГАЛЬНІ ВІДОМОСТІ

2. ПРИЗНАЧЕННЯ ТА ОБЛАСТЬ ВИКОРИСТАННЯ

3. ТЕХНІЧНА РЕАЛІЗАЦІЯ

3.1 ЗАГАЛЬНІ СИСТЕМОТЕХНІЧНІ ПРИНЦИПИ (рішення)

3.2 ФУНКЦІОНУВАННЯ OSWD7

3.3 ОПИС ОРГАНІЗАЦІЇ ВХІДНИХ ТА ВИХІДНИХ ДАНИХ

3.4 ВИМОГИ ДО АПАРАТНОГО І ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ

4. ТЕХНІКО-ЕКОНОМІЧНІ ПОКАЗНИКИ

5. ВИКОРИСТАНЕ ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ

ВИСНОВОК

СПИСОК ЛІТЕРАТУРИ



ВСТУП

Ще зовсім недавно Internet в Україні був доступний обмеженому колу громадян. Тепер ситуація покращилася; збільшилася кількість Internet-провайдерів, покращилася якість зв'язку. Багато хто вже звик працювати в умовах інформаційного голоду. Але навчальним закладом масштабу нашого Національного університету, для яких підготовка сучасних фахівців у великій мірі залежить від можливості повноцінного спілкування майбутніх інженерів і їх викладачів із безмежним джерелом різноманітної інформації, яким є Internet, відсутність якісного зв'язку з ним негативно відображається на якості підготовки кадрів, особливо в області інформаційних технологій.

У цих умовах актуальним залишається питання про більш оптимальне використання можливостей існуючих з'єднань із мережею Internet.

В даній бакалаврській роботі зроблена спроба вирішення цієї проблеми через розробку багатокористувацького клієнт-серверного додатку - OSWD (Offline System Web Download), в якому використовуються сучасні технології Java.



1.ЗАГАЛЬНІ ВІДОМОСТІ

Одним із дієвих методів більш повного використання Internet-підключень в умовах великої кількості користувачів і невеликих швидкостей ліній, є більш ефективне використання часу, коли навантаження на лінії зв'язку і на Internet-сервери мінімальні (нічний час, вихідні й святкові дні). Цей час можна використовувати для не інтерактивного завантаження користувачами Web-сторінок і файлів.

Ідея не інтерактивного завантаження полягає в тому, що клієнт отримує необхідний йому ресурс з Інтернету не в поточному сеансі роботи з браузером, а через певний термін, який необхідний для завантаження ресурсу сервером в години, коли завантаження каналів зв'язку з мережею Інтернет мінімальне.

В даний час з метою економії часу і грошей при завантаженні файлів із Web-сайтів можна скористатися існуючими спеціальними програмами - диспетчерами завантаження. Найвідоміші з них - GetRight, Gozilla, JetCar, Bullet Proof FTP. Ці програми, як правило, працюють без догляду користувача. Після вибору сервера зі списку серверів, із якими існує зв'язок, із нього копіюються зазначені файли на комп'ютер користувача. Деякі з цих програм дозволяють указувати зручний час завантаження файлів із Internet. Використання цих програм - ідеальне рішення для домашнього користувача, який має комутоване з'єднання, із провайдером Internet. Але для великих організації, як, наприклад, Чернівецький Національний університет, із його розгалуженою структурою комп'ютерних мереж та специфікою роботи комп'ютерних лабораторій і Internet-центра застосування даних програм неефективно з наступних причин:

комп'ютери (у випадку комп'ютерних лабораторій і обчислювальних центрів) постійно змінюють користувачів, при цьому неможливо точно визначити належність завантажених файлів визначеному користувачеві;

комп'ютери велику частину часу доби виключені й недоступні користувачам.

відсутня можливість централізованого адміністрування і керування процесом завантаження Web-ресурсів.

У зв'язку з цим було вирішено розробити програмний продукт, який би вирішував вищезгадані проблеми. Крім того, при розробці програми бралася до уваги вимога мінімальної вартості продукту для кінцевого користувача. В результаті чого вибір був зроблений на користь прогресивних Java-технологій сервлетів та JSP (Java Server Page), які при своїх унікальних технічних характеристиках являються (умовно) безплатними і загальнодоступними.



2.ПРИЗНАЧЕННЯ ТА ОБЛАСТЬ ВИКОРИСТАННЯ

В даній бакалаврській роботі представлений багатокористувацький клієнт-серверний додаток OSWD (Offline System Web Download), що призначений для не інтерактивного завантаження Web-ресурсів із мережі Інтернет і основана на прогресивних технологіях Java-сервлетів та JSP (Java Server Page).

Головна ідея, що закладена в дану програму полягає в тому, що клієнт отримує необхідний йому ресурс з Інтернету не в поточному сеансі роботи з браузером, а через певний час після заповнення спеціальної форми, в якій вказується інформація про ресурс, що потрібно завантажити. Після відсилки форми на сервер, запит реєструється в базі даних і при першій можливості виконується. Замовлений ресурс клієнт отримує у вигляді архівного файлу, що зменшує навантаження на мережу під час обміну інформацією між сервером і клієнтом.

Програма OSWD може використовуватися в корпоративних мережах, що характеризуються великою кількістю абонентів і малою швидкістю з'єднань

з мережею Інтернет із розрахунку на одного користувача. OSWD може входити в склад будь-якого Веб-сервера, що підтримує технологію Java-servlet.

Завдяки використанню мови Java, програма може працювати на будь-якій серверній платформі (Windows NT, Windows 2000 Server, Linux, Unix та ін.).



3.ТЕХНІЧНА РЕАЛІЗАЦІЯ

3.1ЗАГАЛЬНІ СИСТЕМОТЕХНІЧНІ ПРИНЦИПИ

Реалізація програми OSWD здійснювалася на таких принципових засадах:

застосування клієнт-серверної технології. Тобто, вся функціональність розділена між клієнтською та серверною частиною. У нашому випадку це виглядає як взаємодія клієнтських програм на комп'ютерах користувачів, що дають запити на завантаження із мережі Internet та серверної частини, яка централізовано здійснює обробку запитів, що надходять, і завантажує інформацію з Web-серверів у придатний час;

використання сучасних прогресивних технологій Java-servlet та JSP (Java Server Page);

реалізація принципу створення відкритих систем (підтримання відповідних стандартів на рівні інтерфейсів кожної компоненти системи), масштабованість, переносимість та можливість нарощування функціональних можливостей ;

використання при розробці та експлуатації системи безплатного й умовно-безплатного програмного забезпечення для здешевлення її використання для кінцевого користувача ;

забезпечення захисту програмного забезпечення від несанкціонова-ного доступу;

реалізація простого і надійного інтерактивного інтерфейсу з користувачем.

3.2ФУНКЦІОНУВАННЯ OSWD

Структурно-функціональна схема OSWD представлена на мал. 1.

Серверна частина складається з набору сервлетів та JSP-сторінок, що виконують наступні функції:

реєстрація та ведення бази даних користувачів;

встановлення з'єднань і підтримка діалогу з клієнтами;

обробка запитів, що надійшли, і завантаження файлів із Internet;

реалізація деяких функцій проксі-сервера, а саме:

- заборона на завантаження певних ресурсів чи файлів із визначених

Web-сайтів;

- кешування інформації, що завантажується;

підтримка пріоритетів для категорій користувачів (адміністратори, викладачі, студенти, інші);

підтримка віддаленого адміністрування системи з будь-якого комп'ютера, який має зв'язок із сервером.

В якості клієнтського додатка використовується не окрема програма, а звичайний Інтернет-браузер, що зазвичай встановлений на кожній робочій станції. Таким чином усувається проблема розповсюдження клієнтського програмного забезпечення та захист його від підробки. Крім того, використання Web-браузера в якості клієнтської програми дозволяє користуватися системою OSWD клієнтам, які працюють на будь-якій платформі (Windows, Unix, Linux, BeOs та ін.).

Користувач взаємодіє із сервером через вікно Web-браузера, в якому відображається динамічна html-сторінка, яка заключає в собі функціональність клієнтської частини. Сторінка динамічно генерується відповідними сервлетами і JSP-сторінками (Java Server Page), що входять до складу оточення Web-сервера.

Користувач при наявності облікового запису має можливість зареєструватися на OSWD-сервері за допомогою введення ідентифікаційного імені користувача та його пароля (Мал. 2), а після процедури аутентифікації виконувати наступні дії:

переглянути стан попередніх запитів та завантажених файлів (Мал. 4);

перенести завантажені файли з OSWD-сервера на локальну машину;

сформувати та відправити на сервер новий запит (Мал. 3);

нищити на сервері запит або архівний файл із завантаженою інформацією.

При відсутності облікового запису користувач може створити його. Для цього необхідно заповнити невелику форму-анкету і відіслати її на сервер ( Мал.2 ). Анкета заповнюється в присутності довіреної адміністратором OSWD-системи особи, яка вводом свого пароля підтверджує правильність введених даних користувача. Це забезпечує реєстрацію користувача тільки один раз та захист від несанкціонованої реєстрації.

При правильному заповненні форми сервер автоматично створює обліковий запис даного користувача і заносить його в базу даних користувачів.

Користувацький інтерфейс програми інтуїтивно-зрозумілий і дозволяє без попередньої підготовки приступити до роботи.

Для зв'язку клієнтів з сервером використовується стек протоколів TCP/IP, так як цей набір протоколів підтримує об'єднання окремих локальних мереж із різноманітним мережним обладнанням і забезпечує надійний зв'язок на основі логічного з'єднання.

Сеанс зв'язку з кожним користувачем виконується в окремому програмному потоці (Thread). Цим забезпечується стабільність роботи сервера й незалежність окремих користувацьких сесій один від одної.

В цьому відношенні переваги технологій servlet і JSP полягають в тому, що окремі програмні потоки в яких виконуються взаємодія з окремим клієнтом системи організується автоматично Web-сервером, що має модуль підтримки servlet і JSP. Крім того, на відміну від CGI-скриптів, що представляють собою окремий процес, який щоразу запускається при звертанні до нього, байт-код сервлетів та скомпільованих JSP постійно знаходиться в пам'яті, чим забезпечується швидкість обслуговування запитів.

Кожний зареєстрований користувач має на сервері домашній каталог, в якому зберігаються файли - результати запитів. Максимальний розмір каталогу обмежується (5-20 МВ) і визначається пріоритетом користувача.

Модуль завантаження файлів з Internet, використовуючи базу даних запитів, виконує наступні функції:

завантаження запитів користувачів із текстового файлу, в якому кожен запит представлений окремим рядком в спеціальному форматі. Формат рядка визначається класом , що описує структуру запиту на завантаження ресурсу з мережі Інтернет;

формування із запитів пріоритетної черги, порядок слідування запитів в якій визначається пріоритетом користувача і часом створення запиту;

створення на основі кожного запиту об'єкта, який наділений здатністю виконуватися в окремому програмному потоці і, використовуючи інформацію з запиту, завантажувати з мережі Інтернет ресурси по HTTP-протоколу, URL-адреса яких указана в об'єкті запита;

запуск на виконання створених об'єктів у відповідності до планувальника часу завантаження.

Моментом початку та закінчення роботи модуля керує спеціальний програмний модуль - планувальник часу завантаження (Scheduler). При активізації ним модуля завантаження, приоритетна черга циклічно сканується. Запити, які ще не були реалізовані інкапсулюються в окремі об'єкти спеціального класу, що мають властивість виконуватися в окремому програмному потоці, та запускаються на виконання. Завдяки цьому стало можливим виконання декількох запитів одночасно. У відповідності до запиту відповідні ресурси завантажуються з мережі Інтернет у домашні каталоги користувачів та архівуються зовнішнім архіватором.

Настройка планувальника здійснюється адміністратором системи за допомогою модуля віддаленого адміністрування (мал. 6).



3.3ОПИС ОРГАНІЗАЦІЇ ВХІДНИХ ТА ВИХІДНИХ ДАНИХ

Вхідними даними для даного додатка являється інформація про користувачів та інформація про їх запити на завантаження файлів із мережі Інтернет. Всі користувацькі дані формуються під час сеансу взаємодії клієнта системи з сервером в інтерактивному режимі. Інформація зберігається у звичайних текстових файлах. Назва файлу з БД користувачів - users.db. Назва файлу з БД користувацьких запитів - queries.db.

Формат файлів визначається специфікацією відповідних класів: OSUser та Simple Query. Вихідними даними додатка OSWD для користувачів являються архівні файли (наприклад, ".zip"), в яких знаходяться результати завантаження. Тип архівного файлу визначається типом зовнішнього архіватора, що підключається до системи.

Основним файлом настройки, який забезпечує роботу OSWD-сервера, є файл сценарію завантаження schedule.cfg, в якому зберігається інформація про час активації та дезактивації модуля завантаження. Цей файл створюється і поновлюється автоматично під час сеансу віддаленого адміністрування адміністратора системи із сервером.

3.4 ВИМОГИ ДО АПАРАТНОГО І ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ

Особливих вимог до апаратного забезпечення комп'ютерів, на які встановлюються програми не існує. Для клієнтських комп'ютерів може використовуватися будь-який IBM-сумісний комп'ютер, на якому в змозі працювати Web-браузер.

Серверну частину необхідно встановлювати на комп'ютер із процесором не менше РІІ-350 і 128МВ оперативної пам'яті. Також потрібно враховувати необхідність у вільному дисковому просторі для каталогів користувачів (5-10 МВ на кожного користувача).

Серверна частина створена за допомогою JDK 1.3 та JSDK 2.1 фірми Sun, і тому може працювати під будь-якою серверною операційною системою, для якої існує JVM (Java Virtual Mashine) (наприклад, Windows NT, Windows 2000 Server, SCO UnixWare 7.01, FreeBSD 4.0, Linux, Solaris та ін.). Для роботи сервера необхідне постійне підключення до мережі Internet і проінстальована JVM.



4.ТЕХНІКО-ЕКОНОМІЧНІ ПОКАЗНИКИ

Швидкість та ефективність роботи програми залежить від багатьох чинників. Головне - це швидкість і завантаженість мережі, що з'єднує комп'ютер, на якому встановлено OSWD-сервер, з Інтернет-провайдером. Додаткові фактори, що посередньо впливають на продуктивність процесу завантаження - це розмір оперативної пам'яті та потужності центрального процесора сервера, на якому встановлена система OSWD.

Програма була розроблена і протестована в середовищі Windows 2000 Server з Web-сервером Apache та додатком для запуску сервлетів та JSP-сторінок - jakarta-tomcat.

При регулярному і інтенсивному використанні OSWD-сервер дозволяє значно підвищити ефективність використання існуючих з'єднань із мережею Інтернет.



5.ВИКОРИСТАНЕ ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ

При розробці програми використовувалося наступне програмне забезпечення:

-JDK 1.3 від фірми Sun (www.java.sun.com);

-Java CodeGuide 3.0 Professional від фірми Omnicore (www.omnicore.com);

- Vigual Age for Java 3.5 від фірми IBM (www.ibm.com);

- Dreamweaver 3.0 від фірми Macromedia (www.macromedia.com).



ВИСНОВОК

Відповідно до технічного завдання в даній бакалаврській роботі розроблена багатокористувацька клієнт-серверна програма OSWD (Offline System Web Download), яка призначена для не інтерактивного завантаження Web-ресурсів із мережі Internet. Вона володіє наступними характеристиками:

дозволяє завантажувати ресурси у визначений адміністратором час (нічний час, вихідні та святкові дні);

ресурси завантажуються в відповідності до запитів, що створюється в результаті інтерактивного сеансу взаємодії користувача із системою;

завантажені ресурси повертаються користувачеві в вигляді архівного файлу, що зменшує мережний трафік між комп'ютером клієнта та сервером OSWD;

всі користувачі поділені на категорії (викладачі, студенти, інші), з відповідними приорітетами;

серверна частина побудована з використанням сучасних прогресивних технологій Java-servlets та JSP (Java Server Page);

в якості клієнтської програми використовується звичайний Web-браузер;

все програмне забезпечення може функціонувати в середовищі будь-якої операційної системи (Windows, Unix, Linux та ін.) завдяки використанню в проекті в якості мови програмування платформо-незалежної мови Java.

Програма при регулярному використанні дозволяє значно підвищити ефективність використання існуючих з'єднань із мережею Інтернет. І поки в нашій державі не буде побудована могутня інфраструктура глобальних мереж (ISDN, xDSL і ін.) і не буде достатньої кількості конкуруючих між собою провайдерів, що надають швидкісний і дешевий доступ у Internet, розробка подібних програмних продуктів буде актуальною для великих розгалужених організацій, подібних Чернівецькому Національному університетові.

СПИСОК ЛІТЕРАТУРИ

1. П.Ноутон, Г.Шилдт Java 2 - СПб.: БХВ-Петербург, 2009.

2. Майкл Морган Java 2 Руководство разработчика - М.: "Вильямс", 2005.

3. Дж.Вебер Технология Java в подлиннике.:Пер. с англ. - СПб.:

БХВ-Петербург, 2008.

4. Sun JDK 1.3 Documentation.

5. Електронний підручник Sun по Java / http://java.sun.com/jdc/