1. Теорія інформації як основа інформаційних технологій

Теорія інформації як основа інформаційних технологій

Ефективна організація обміну інформації набуває все більше значення як умову успішної практичної діяльності людей. Об'єм інформації необхідний для нормального функціонування сучасного суспільства росте приблизно пропорційно квадрату розвитку промислового потенціалу. Частка робочої сили зайнятої питаннями забезпечення інформацією починає перевищувати частку робочої сили зайнятої безпосередньо у виробництві. Тому науки, що вивчають структуру і закономірності протікання інформаційних процесів, до числа яких відноситься і теорія інформації (ТІ), в такій ситуації стають виключно актуальними.

Інформація разом з матерією і енергією є первинним поняттям нашого миру і тому в строгому значенні не може бути визначена. Можна лише перерахувати її основні властивості, наприклад такі як:

інформація приносить відомості про навколишній світ, яких в даній точці не було до її отримання;

2) інформація не матеріальна, але вона виявляється у формі матеріальних носіїв дискретних знаків або первинних сигналів;

3) знаки і первинні сигнали несуть інформацію тільки для одержувача здатного розпізнати.

Разом з тим слово інформація є одним з тих термінів, які достатньо часто зустрічаються не тільки в наукових працях спеціального характеру, нон і в безлічі повсякденних ситуацій і є інтуїтивно зрозумілими кожній людині. При цьому у вузькому практичному значенні під інформацією звичайно розуміють сукупність відомостей про навколишній світ, яка є об'єктом зберігання, передачі і перетворення.

Знаки або первинні сигнали, організовані в послідовності, несуть інформацію не тому, що вони повторюють об'єкти реального часу, а по суспільній домовленості про однозначний зв'язок знаків і об'єктів, наприклад: предмети і слова для їх позначення. Крім того, первинні сигнали можуть бути породжені природними законами реального миру, наприклад: напруга на виході термопари під дією температури. Інформація, що спирається на однозначні зв'язки знаків або сигналів з об'єктами реального миру, називається семантичною або смисловою. Інформація, що полягає в характері (порядку і взаємозв'язку) проходження знаків повідомлення називається синтаксичною. Також в загальній науці про знаки (семіотика), окрім перерахованих, виділяють сигматичний і прагматичний аспекти інформації. У першому випадку вивчається питання про вибір знаків для позначення об'єктів реального миру, в другому випадку про цінність інформації для досягнення поставлених цілей. Очевидно, що найбільший практичний інтерес представляють смисловий, семантичний і прагматичний аспекти. Проте дотепер не визначені об'єктивні кількісні критерії міри цінності і корисності інформації.

В курсі теорії інформації вивчаються проблеми синтаксичного рівня теоретичних основ побудови систем зв'язку, що стосуються створення, основних показників функціонування, які були б близькі до гранично можливих.

Інакше кажучи, розгляду підлягають питання доставки одержувачу інформації як сукупності знаків. При цьому послідовністю ігноруються смисловий і прагматичний її зміст. Синтаксична міра інформації має практичну цінність тому, що цікавить зрештою одержувача, в той час як семантична інформація укладена в заданій послідовності знаків або первинних сигналів. Чим більше знаків передаються в певний інтервал часу, тим в середньому більше передається і смислової інформації.

Теорія інформації є гілкою статистичної теорії зв'язку. Для того, щоб конкретніше позначити предмет цієї науки введемо деякі поняття і визначення.

Інформація передається і зберігатися у вигляді повідомлень.

Під повідомленням розуміють сукупність знаків або первинних сигналів, які містять інформацію. Інакше кажучи, повідомлення це інформація представлена в якій-небудь формі. Приклад повідомлень: текст телеграми, дані на виході ЕОМ, мова, музика і т.д.

Для того, щоб повідомлення можна було передати одержувачу, необхідно скористатися деяким фізичним процесом, здатним з тією або іншою швидкістю розповсюджуватися від джерела до одержувача повідомлення. Фізичний процес, що змінюється в часі і відображає повідомлення, що передається, називається сигналом.

Повідомлення можуть бути функціями часу (коли інформація представлена у вигляді первинних сигналів: мова, музика), а може і не бути ними (коли інформація представлена у вигляді сукупності знаків).

Сигнал завжди є функцією часу. Залежно від того, які значення можуть приймати аргумент (час t) і рівні сигналів, їх ділять на 4 типи.

1. Безперервний або аналоговий сигнали (випадкові сигнали цього типу називаються безперервними випадковими процесами). Вони визначені для всіх моментів часу і можуть приймати всі значення із заданого діапазону. Найчастіші фізичні процеси, що породжують сигнали є безперервними (рис. 1). Цим і пояснюється друга назва сигналів даного типу аналоговий тобто аналогічні процесам, що породжують.

Рис. 1. Приклад безперервного або аналогового сигналу

2. Дискретизовані або дискретно безперервні сигнали (випадкові сигнали цього типу називають процесами з дискретним часом або безперервними випадковими послідовностями). Вони визначені лише в окремі моменти часу і можуть приймати будь-які значення рівня. Часовий інтервал Дt між сусідніми відліками називається кроком дискретизації. Часто такі сигнали називають дискретними за часом (рис. 2).

Рис. 2. Приклад дискретно безперервного сигналу

3. Дискретні по рівню або квантовані сигнали (випадкові сигнали цього типу називають дискретними випадковими процесами). Вони визначені для всіх моментів часу і приймають лише дозволені значення рівнів відокремлені від один одного на величину кроку квантування Дx = x_k+1 x_k (рис. 3).

Рис. 3. Приклад дискретного по рівню або квантованого сигналу

4. Дискретні по рівню і за часом сигнали (випадкові сигнали цього типу називають дискретними випадковими послідовностями). Вони визначені лише в окремі дозволені моменти часу і можуть приймати лише дозволені значення рівнів (рис. 4).

Рис. 4. Приклад дискретного по рівню і за часом сигналу

Сукупність технічних засобів, які використовуються для передачі повідомлень від джерела до споживача інформації називається системою зв'язку. Загальна схема системи зв'язку представлена на рисунку 5.

Рис. 5. Загальна схема системи зв'язку

Вона складається з 5 частин:

1. Джерело повідомлень, що створює повідомлення або послідовність повідомлень, які повинні бути передані. Повідомлення можуть бути різних типів: послідовність букв або цифр як в системах телеграфу і передачі даних. Одна або більш функцій часу як в системах передачі звуку в моно і стерео звучаннях і т.д.

2. Передавач, який переробляє деяким чином повідомлення в сигнали відповідного типу визначеного характеристиками використовуваного каналу.

3. Канал це комплекс технічних засобів, що забезпечує передачу сигналів від передавача до приймача. До складу каналу входить каналоутворююча апаратура, що здійснює сполучення вихідного і вхідного сигналів відповідно передавача і приймача з лінією зв'язку, і власне лінія зв'язку. Лінією зв'язку називається середовище, використовуване для передачі сигналу від передавача до приймача. Це може бути, наприклад: пара дротів, коаксіальний кабель, область розповсюдження радіохвиль, світловод і т.д. Звичайно вхідними і вихідними сигналами лінії зв'язку є сигнали першого типу, тобто безперервні. Разом з тим на вході і виході каналу можуть бути присутніми сигнали і інших типів. Канал називається дискретним, якщо на його вході і виході присутні сигнали дискретні по рівню (сигнали типу 3, 4). Якщо сигнали на вході і виході каналу безперервні за часом (типу 1 або 2), то він називається безперервним. У загальному випадку в процесі передачі в каналі сигнал спотворюється шумом, що відповідає наявності джерела шуму (рис. 5).

4. Приймач звичайно виконує операцію зворотну по відношенню до операції, вироблюваної передавачем, тобто відновлює повідомлення по сигналах. Складність побудови приймача обумовлена зміною форми сигналів, що приймаються, що пов'язане з наявністю шуму.

5. Одержувач це особа або апаратура, для якої призначено повідомлення. Процес перетворення повідомлення в сигнал, що здійснює в передавачі, і зворотний йому процес, що реалізовується в приймачі, назвемо відповідно кодуванням і декодуванням.

Тоді круг проблем складових основного змісту ТІ можна охарактеризувати як дослідження методів кодування для представлення повідомлень різних джерел повідомлень і для надійної передачі повідомлень по каналах зв'язку з шумом.

У основі ТІ лежить статистичний опис джерел повідомлень і каналів зв'язку, який так само базується на вимірюванні кількості інформації між повідомленнями, яке визначається тільки властивостями імовірності повідомлень, і не залежить від інших їх властивостей.

На основі ТІ можна відповісти на питання про граничні можливості (тобто про максимально досяжні характеристики) різних систем, визначити якою мірою проектована система поступається теоретично можливій. В деяких випадках логіка міркувань, використовувана в ТІ, підказує шлях, на якому може бути знайдено конструктивне рішення для реальної системи.

1.1 Визначення інформації. Інформація і дані

Термін інформація походить від латинського informatio, що означає роз'яснення, інформування, виклад. У широкому значенні інформація це загальнонаукове поняття, що включає обмін відомостями між людьми, обмін сигналами між живою і неживою природою, людьми і пристроями. В цьому сенсі інформація є віддзеркаленням реального миру за допомогою відомостей (даних, повідомлень). Дані це форма представлення інформації у вигляді мови, тексту, зображення, цифрових даних, графіків, таблиць і т.п.

Інформація відомості про об'єкти і явища навколишнього середовища, їх параметри, властивості і стан, які зменшують ступінь невизначеності, неповноти знань, які є про них.

В даний час наука намагається знайти загальні властивості і закономірності, які властиві багатогранному поняттю інформація, але поки це поняття багато в чому залишається інтуїтивним і має різні смислові наповнення в різних галузях людської діяльності:

у вжитку інформацією називають будь-які відомості або дані, які кого-небудь цікавлять. Наприклад, повідомлення про які-небудь події, про чию-небудь діяльність і т.п. “Інформувати” в цьому значенні означає “повідомити щось, невідоме раніше”;

у техніці під інформацією розуміють повідомлення, передані у формі знаків або сигналів;

у кібернетиці під інформацією розуміється та частина знань, яка використовується для орієнтування, активної дії, управління, тобто в цілях збереження, вдосконалення, розвитку системи (Н. Вінер).

Основи теорії інформації науки, що вивчає процеси, пов'язані з передачею, прийомом, перетворенням і зберіганням інформації заклав американський вчений Клод Шеннон, який розглядав інформацію як зняту невизначеність наших знань про щось.

Приведемо ще декілька визначень:

Інформація це відомості про об'єкти і явища навколишнього середовища, їх параметри, властивості і стан, які зменшують ступінь невизначеності, неповноти знань, що є про них;

Інформація ? це заперечення ентропії;

Інформація ? це міра складності структур;

Інформація ? це відображена різноманітність;

Інформація ? це зміст процесу віддзеркалення;

Інформація ? це вірогідність вибору.

Сучасне наукове уявлення про інформацію дуже точно сформулював “батько” кібернетики Норберт Виннер. А саме:

Інформація це позначення змісту, одержаного із зовнішнього світу в процесі нашого пристосування до нього і пристосування до нього наших відчуттів.

Люди обмінюються інформацією у формі повідомлень. Повідомлення це форма представлення інформації у вигляді мови, текстів, жестів, поглядів, зображень, цифрових даних, графіків, таблиць і т.п.

1.2 Вигляди існування інформації

Інформація може існувати у вигляді:

текстів, рисунків, креслень, фотографій;

світлових або звукових сигналів;

радіохвиль;

електричних і нервових імпульсів;

магнітних записів;

жестів і міміки;

запахів і смакових відчуттів;

хромосом, за допомогою яких передаються по спадку ознаки і властивості організмів і т.д.

Предмети, процеси, явища матеріальної або нематеріальної властивості, що розглядаються з погляду їх інформаційних властивостей, називаються інформаційними об'єктами.

Одним з найважливіших різновидів інформації є інформація економічна. Її відмінна риса зв'язок з процесами управління колективами людей, організацією. Економічна інформація супроводжує процеси виробництва, розподілу, обміну і споживання матеріальних благ і послуг. Значна частина її пов'язана з суспільним виробництвом і може бути названа виробничою інформацією.

Економічна інформація сукупність відомостей, що відображають соціально-економічні процеси і службовців для управління цими процесами і колективами людей у виробничій і невиробничій сфері.

При роботі з інформацією завжди є її джерело і споживач (одержувач). Шляхи і процеси, що забезпечують передачу повідомлень від джерела інформації до її споживача, називаються інформаційними комунікаціями.

Для споживача інформації дуже важливою характеристикою є її адекватність.

Адекватність інформації це певний рівень відповідності створюваного за допомогою одержаної інформації образу реальному об'єкту, процесу, явищу і т.п.

У реальному житті навряд можлива ситуація, коли ви зможете розраховувати на повну адекватність інформації. Завжди присутня деяка міра невизначеності. Від ступеня адекватності інформації реальному стану об'єкту або процесу залежить правильність ухвалення рішень людиною.

Приклад. Ви успішно закінчили школу і хочете продовжити освіту по економічному напряму. Поговоривши з друзями, ви взнаєте, що подібну підготовку можна одержати в різних вузах. В результаті таких бесід ви одержуєте вельми суперечні відомості, які не дозволяють вам ухвалити рішення на користь того або іншого варіанту, тобто одержана інформація неадекватна реальному стану справ. Для того, щоб одержати достовірніші відомості, ви купуєте довідник для поступаючих до вузів, з якого одержуєте вичерпну інформацію. В цьому випадку можна говорити, що інформація, одержана вами з довідника, адекватно відображає напрями навчання у вузах і допомагає вам визначитися в остаточному виборі.

1.3 Форми адекватності інформації

Адекватність інформації може виражатися в трьох формах: семантичної, синтаксичної, прагматичної.

Синтаксична адекватність. Вона відображає формально-структурні характеристики інформації і не зачіпає її смислового змісту. На синтаксичному рівні враховуються тип носія і спосіб представлення інформації, швидкість передачі і обробки, розміри кодів представлення інформації, надійність і точність перетворення цих кодів і т.п. Інформацію, що розглядається тільки з синтаксичних позицій, звичайно називають даними, оскільки при цьому не має значення смислова сторона. Ця форма сприяє сприйняттю зовнішніх структурних характеристик, тобто синтаксичної сторони інформації.

Семантична (смислова) адекватність. Ця форма визначає ступінь відповідності образа об'єкту і самого об'єкту. Семантичний аспект припускає облік смислового змісту інформації. На цьому рівні аналізуються ті відомості, які відображає інформація, розглядаються смислові зв'язки. Ця форма служить для формування понять і уявлень, виявлення значення, змісту інформації і її узагальнення.

Прагматична (споживацька) адекватність. Вона відображає співвідношення інформації і її споживача, відповідність інформації меті управління, яке на її основі реалізується. Виявляються прагматичні властивості інформації тільки за наявності єдності інформації (об'єкту), користувача і мети управління. Прагматичний аспект розгляду пов'язаний з цінністю, корисністю використовування інформації при виробленні споживачем рішення для досягнення своєї мети. З цього погляду аналізуються споживацькі властивості інформації. Ця форма адекватності безпосередньо пов'язана з практичним використовуванням інформації, з відповідністю її цільової функції діяльності системи.

Разом з поняттям інформація часто уживається поняття дані. Покажемо, в чому їх відмінність.

Найчастіше дані слід розглядати, як формалізоване (у вигляді тексту, візуального чи звукового зображення та т. ін.) представлення інформації. Дані можуть розглядатися як ознаки або записані спостереження, які з якихось причин не використовуються, а тільки зберігаються. В тому випадку, якщо з'являється можливість використовувати ці дані для зменшення невизначеності про що-небудь, дані перетворюються на інформацію. Тому можна стверджувати, що інформацією є використовувані дані.

Для інформаційної взаємодії з різних причин (відсутність потреби в повному обсязі інформації, технічні можливості засобів реєстрації, оброблення чи передавання) найчастіше використовується частка даних, яка містить певний, з тих чи інших причин, допустимий обсяг даних. Такі частки даних прийнято називати інформаційними об'єктами чи повідомленнями.

Приклад. Напишіть на листі десять номерів телефонів у вигляді послідовності десяти чисел і покажіть їх вашому другові. Він сприйме ці цифри як дані, оскільки вони не надають йому ніяких відомостей

Потім проти кожного номера вкажіть назву фірми і рід діяльності. Для вашого друга незрозумілі цифри знайдуть визначеність і перетворяться з даних в інформацію (повідомлення), яку він надалі міг би використовувати.

Одне і те ж інформаційне повідомлення (стаття в газеті, оголошення, лист, телеграма, довідка, розповідь, креслення, радіопередача і т.п.) може містити різну кількість інформації для різних людей залежно від їх попередніх знань, від рівня розуміння цього повідомлення і інтересу до нього.

Так, повідомлення, складене на японській мові, не несе ніякої нової інформації людині, що не знає цієї мови, але може бути високоінформативним для людини, що володіє японським. Ніякої нової інформації не містить і повідомлення, висловлене на знайомій мові, якщо його зміст незрозуміло або вже відомий.

Інформація є характеристика не повідомлення, а співвідношення між повідомленням і його споживачем. Без наявності споживача, хоча б потенційного, говорити про інформацію безглуздо.

У випадках, коли говорять про автоматизовану роботу з інформацією за допомогою яких-небудь технічних пристроїв, звичайно в першу чергу цікавляться не змістом повідомлення, а тим, скільки символів це повідомлення містить.

Стосовно комп'ютерної обробки даних під інформацією розуміють деяку послідовність символічних позначень (букв, цифр, закодованих графічних образів і звуків і т.п.), яка несе смислове навантаження і представлена в зрозумілому комп'ютеру вигляді. Кожен новий символ в такій послідовності символів збільшує інформаційний об'єм повідомлення.

1.4 Кібернетичний підхід до поняття інформації

Розглянемо підхід до поняття інформації з погляду кібернетики.

Інформація відомості, які нас цікавлять.

Інформація повідомлення, які володіють новизною або корисністю. У теорії зв'язку під інформацією прийнято розуміти будь-яку послідовність символів.

У кібернетиці інформація та частина повідомлення, яка бере участь в управлінні.

Інформація це відображення зовнішнього світу за допомогою знаків і сигналів.

Кібернетична система (чорний ящик) це спрощене уявлення про складний об'єкт, для якого істотними ознаками служать лише вхідні і вихідні сигнали.

Між кібернетичними системами відбувається обмін сигналами різної природи (акустичних, світлових, графічних, електричних, магнітних і інших). Інформаційний обмін здійснюється між:

Приклади складних об'єктів наведено на рис. 6. Усі фізичні об'єкти, що знаходяться навколо нас, знаходяться в стані безперервного руху, який супроводжується обміном енергії. Всі види енергообміну супроводжуються появою сигналів. При взаємодії сигналів з фізичними тілами виникають зміни властивостей реєстрація сигналів, тобто утворюється інформація. дані. Дані це зареєстровані сигнали.

Рис. 6. Приклади складних об'єктів

Приклад. Подивимося на наше серце. Під час скорочування, воно викидає в судини кров під тиском. Кров ударяється об стінку артерії і виходять клацання, яке ми можемо почути за допомогою стетоскопа. Таким чином, ми реєструємо сигнали серця за допомогою якогось приладу, тобто, одержуємо деякі дані про роботу серця.

У будь-якій кібернетичній системі інформація передається за допомогою сигналів.

Сигнал - матеріальний об'єкт, що несе інформацію.

Інформація адресується отримувачу від відправника, котрі розділені простором і часом, значить, сигнал - це засіб переносу інформації в просторі і часі.

Сигнал передається не самим об'єктом, а різними його станами. Отже,

Сигнал - це вимір стану матеріального об'єкта, здійснений за певним правилом (тобто. за допомогою коду).

Для створення сигналу використовуються тільки такі об'єкти, які мають стійкість в часі і в просторі. Сигнали підрозділяються на статичні (книги, фотографії, магнітні плівки, диски, відеоплівки и т.д.) и динамічні (силове поля, світлове, звукове, радіо хвилі и т.д.). Статичні сигнали застосовуються для збереження інформації, динамічні - для передачі.

Дані несуть в собі інформацію про події, що відбулися в матеріальному світі. Для того, щоб дані давали інформацію, необхідна наявність методу обробки

Інформація ? це продукт взаємодії даних і адекватних їм методів.

Приклад. На столі лежить книга. Вона містить якісь дані. Щоб одержати з цих даних інформацію потрібно застосувати методи обробки, тобто прочитати. Читаючи книгу, людина одержує інформацію.

Візьмемо знову приклад з серцем. Стетоскоп реєструє сигнали серця, але щоб одержати інформацію про стан серця нам потрібно обробити ці дані, тобто застосувати методи обробки даних. Людина, яка володіє відповідними методами обробки, зможе одержати інформацію про роботу і стан серця.

Інформація передається у формі повідомлень від деякого джерела інформації до її приймача за допомогою каналу зв'язку між ними. Джерело посилає повідомлення, яке кодується в переданий сигнал. Цей сигнал посилається по каналу зв'язку. В результаті в приймачі з'являється сигнал, що приймається, який декодується і стає повідомленням, що приймається.