Математичний опис джерел інформації, сигналів, завад і каналів зв’язку

4

Математичний опис джерел інформації, сигналів, завад і каналів зв'язку

Математичні моделі джерел інформації. Теорема Котельникова

Джерела інформації мають фізичну природу, відрізняються по виду формованих повідомлень, енергетичній активності, імовірнісним характеристикам. Для аналізу інтерес представляють не тільки характеристики певних повідомлень, але й потоки повідомлень, як специфічний випадковий процес. В інформаційних системах (ІС) інформація з носіїв різної фізичної природи (голос, зображення, символи на папері, стрічці, вібрації й т.п.) перетворяться до універсального виду й фіксуються на універсальних носіях.

Як універсальний носій використається електричний сигнал(або матеріали, що володіють електромагнітними властивостями, що дозволяють просто знімати з них інформацію у вигляді електричних сигналів). Електричні сигнали є переносниками інформації, а матеріали - носії інформації виконують функції зберігання її.

Визначення. Сигналом називається фізична величина, що змінюється, що є переносником інформації.

Перетворення ознак будь-якої фізичної природи в електричний сигнал можна розглянути на прикладі роботи мікрофонного ланцюга телефонного апарата.

Звукова енергія людини, що говорить, у вигляді змінного тиску с(t) впливає на мікрофон, що містить усередині вугільний порошок. Через це міняється електричний опір мікрофона й, як наслідок, струм І(t) повторює звукові коливання с(t).

Подібні перетворення можуть здійснюватися з використанням ланцюга змінного струму шляхом впливу на індуктивність або ємність коливального контуру, у результаті чого параметри коливального процесу перетворять закономірності процесу, що впливає.

У ряді датчиків уловлюється оптичне (теплове, інфрачервоне) випромінювання, що переноситься в просторі за допомогою оптики, а потім перетвориться в електричні сигнали. У таких датчиках можуть бути об'єднані механічна, оптична й електронна частини, а також і синхронізують пристрої.

Якщо вихідне повідомлення являло собою деяку функцію с(t), то електричний сигнал

,

де Fc[c(t)] - оператор перетворення, повинен повторювати закон зміни с(t) у змінах свого інформаційного параметра, яким на цьому етапі перетворення є найчастіше величина миттєвого значення електричного струму (або напруги). Сигнал U(t) називають “відеосигналом” через наявність у ньому постійної складової. На практиці домагаються практично абсолютної подібності функцій с(t) і U(t) при будь-якій складності їх (або з точністю до масштабного множника). Тому їхні математичні моделі однакові.

З метою спрощення аналізу сигнали с(t) довільної складності представляють у вигляді суми елементарних коливань (t), називаних базисними функціями,

, (1.1)

де C_k - коефіцієнти.

Як базисні функції можуть використатися багато відомих системи функцій (Фур'є, Бесселя, Лежандра, Чебишева, Уолша й др.).

У техніку зв'язку використається в основному перетворення Фур'є, у яких базисними є гармонійні коливання, і розкладання Котельникова, у яких базисними є функції виду sinx/x.

Перетворення Фур'є дозволяють перевести повідомлення довільної форми в сукупність елементарних гармонійних коливань. При цьому аналіз перетворень сигналу зводиться до аналізу змін параметрів гармонійних коливань (як елементарних “цеглинок” складного об'єкта).

Найбільш відомі гармонійні ряди Фур'є:

, (1.2)

де = 2/Т, Т період.

Для неперіодичних функцій Фур'є встановив відповідність між часовими й спектральними характеристиками:

, (1.3)

де s(t) часова функція, S(iw)- спектральна щільність.

Пари перетворень (1.3.) коротко позначають у вигляді: S(iw) - s(t).

Можна показати, що

, (1.4)

дійсна частина спектральної щільності;

- мнима частина спектральної щільності.

амплітудна характеристика спектральної щільності (АЧХ)- характеризує розподіл по частотному спектрі амплітуд гармонік.

фазова характеристика спектральної щільності (ФЧХ)- характеризує розподіл по спектрі фаз гармонік.

Для визначення енергетичних характеристик спектру можна скористатися теоремою Парсеваля, яка встановлює:

,

де енергетична спектральна щільність сигналу.

Досить важливими є наступні властивості перетворень Фур'є:

1. Перетворення Фур'є є лінійними: якщо s(t) = s₁(t)+ s₂(t)+...+ s_p(t), то S(iщ)= S₁(iщ)+ S₂(iщ)+...+ S_p(iщ).

2. Теорема запізнювання: якщо S(iщ) - s(t), то для (tt₀) -.

Спектр затриманого на t₀ сигналу відрізняється від вихідного зрушенням фаз гармонік на величину = щt₀.

Назад: якщо всім складового спектра функції s(t) дати зрушення на -щt₀, то функція перетвориться в s(t-t₀).

3. Теорема зсуву.

Якщо S(iщ) - s(t), то для функції, зміщеної по спектрі на величину щ₀ , спектр дорівнює , тобто всі спектральні характеристики вихідної функції зміщаються на щ₀.

Перетворення Фур'є переводять аналіз повідомлень і сигналів у частотну область. Для дослідження сигналів у часовій області застосовується розкладання Котельникова В.А. (теорема відліків).

Теорема Котельникова говорить:

Якщо функція s(t) не містить частот вище F_m, то вона повністю визначається послідовністю своїх значень у моменти, що відстають друг від друга на

.

Енергія сигналу, виражена через свої відліки по Котельникову, дорівнює

, (1.5)

де середня потужність відліку.

По теоремі Котельникова можна представляти сигнали як функції від будь-якого параметра, не тільки від часу.

Таким чином, математичні моделі повідомлень і відеосигналів мають однакову структуру і параметри й придатні для аналізу безперервних і дискретних повідомлень. Однак у них не враховуються кореляційні зв'язки між повідомленнями, що існують у мовах спілкування людей. Кореляція (взаємозв'язок) існує не тільки між сусідніми повідомленнями.

Вона охоплює н повідомлень, що приводить до інформаційної надмірності, яка оцінюється коефіцієнтом .

Дослідження показали, що в українській мові при врахуванні взаємозв'язку тільки між сусідніми повідомленнями (буквами алфавіту) H₁(x) = 4.05 біт/повідомлення. При н = 2 величина H₂(x) = 3,52 біт/повідомлення. При н = 3 величина H₃(x) = 2,97 біт/повідомлення. А при незалежних повідомленнях H₀(x) = 5 біт/повідомлення. Тому R₁(x) ? 19%; R₂(x) ? 30%; R₃(x) ? 41%. Наявність природної надмірності мови підвищує завадостійкість повідомлень при передачі їх, але неекономно витрачає канальні ресурси, обсяги машинної пам'яті, час на аналіз при обробці й т.д.

Дослідження джерел інформації с кореляційними повідомленнями зручно проводити з використанням апарата ланцюгів Маркова. Марківські джерела характеризуються станом і правилами переходу з одного стану в інше. Для них характерно, що ймовірність будь-якого стану системи у майбутньому залежить тільки від стану її в даний момент і не залежить від того, яким образом система прийшла в цей стан, тобто не залежить від передісторії.

Якщо передаються букви, то стан джерела повідомлень визначається переданою буквою: стану S_А, S_Б,…,S_Я. Наприклад, говорять, що джерело перебуває в стані передачі букви Д, Ш або Ю. Імовірність появи наступної букви залежить тільки від дійсного стану.

Якщо ймовірність появи букв не міняється від стану, то можна говорити про те, що джерело перебуває в одному стабільному стані S і кореляційних зв'язків між повідомленнями немає.

Для аналізу подібних джерел треба знати ймовірності станів P(S_k) і ймовірності переходів P(x_i/S_k) для всіх i й k.

Це надає змогу визначити в подальшому інші характеристики джерела інформації, пов'язані із такими поняттями як умовна ентропія, ентропія та т. ін., що буде розглянуто дещо пізніше.

Математичні моделі сигналів

Відеосигнали u(t), розглянуті в 1, не є основними переносниками інформації. Вони переносять її по внутрішніх ланцюгах.

Переносниками інформації на далекі відстані є сукупність електричних чи електромагнітних гармонійних коливань (у тому числі оптичного діапазону, де генераторами є лазери). Частота основного з таких коливань має назву несучої, а саме коливання несучим.

Щоб дане коливання було несучим, необхідно виконати дві основних умови:

1) середовище поширення сигналів повинна добре пропускати коливання з несучою частотою w_н;

2) частота несучого коливання повинна бути багато більше верхньої частоти ?m у спектрі переданого повідомлення: щ_н >> ?_m, ?_m = 2рF_m - верхня частота в спектрі повідомлення (відеосигналу).

Друга умова випливає з вимоги, щоб за один період несучого коливання стерпний інформаційний параметр змінився незначно, інакше виникнуть викривлення.

Сигнал, що несе в собі інформацію, можна представити у вигляді коливання

S(t)=A(t)cos[щ_нt + И(t)] = A(t)cosш(t), (1.6)

у якому амплітуда A(t) або фаза И(t) змінюються за законом переданого повідомлення.

Визначення. Процес зміни параметрів сигналу за законом переданого повідомлення називається модуляцією. Технічний пристрій, що реалізує процес модуляції, називають модулятором.

Розрізняють два основних види модуляції: амплітудну, коли інформація заставляється в параметр A(t), і кутову, коли вона втримується в параметрі ш(t).

Кутова модуляція, у сою черга, підрозділяється на два види: частотну й фазову модуляцію. Ці два види модуляції між собою тісно пов'язані.

Друга вимога до несучого коливання означає, що відносні зміни A(t) і И(t) за один період несучого коливання повинні бути порівнянні малі.

Модульовані сигнали (1.6), проходячи середовище поширення, гублять свою енергію й перетерплюють випадкові викривлення, обумовлені властивостями середовища й діючими в ній завадами (атмосферними, індустріальними, шумами космічних тіл, навмисними, наведеннями від сусідніх каналів). У підсумку, на вхід приймача надходить суміш сигналу з завадою о(t) у вигляді

y(t) = s*(t) + о(t),

де s*(t) = Fср[s(t)] - викривлений середовищем поширення переданий сигнал;

о(t)- адитивна завада, що представляє собою випадковий процес.

Основне призначення приймача полягає в тому, щоб із суміші сигналу з завадами виділити корисне повідомлення.

Визначення. Демодуляцією називається процес добування із прийнятих сигналів корисних повідомлень. Ці процеси реалізується демодулятором.

Пристрій, що поєднує модулятор і демодулятор, коротко називають модемом.

Дія завад приводить до втрати інформації, які можна оцінити за допомогою співвідношень (1.7): середня кількість інформації I(X,Y), доставлена в пункт прийому, дорівнює середній кількості переданої інформації H(X) мінус середня кількість інформації H(X/Y), загублене внаслідок дії завад.

I(X,Y) = H(X) H(X/Y). (1.7)

Вираження модульованого сигналу у вигляді (1.6) є зручним для аналізу, однак при складних видах модуляції виникає неоднозначність у виборі функцій A(t) і ш(t) для подання функції s(t): різними функціями A(t) і И(t) можна зобразити ту ж саму функцію s(t).

Щоб зберегти переваги подання сигналу у вигляді (1.6) і усунути неоднозначність, використається аналітичний сигнал:

, (1.8)

де допоміжна функція, певним чином пов'язана із сигналом s(t).

Допоміжна функція повинна мати певні властивості - бути сполученої по Гильберту з функцією s(t):

. (1.9)

Пари перетворень по Гильберту (1.9) дозволяють забезпечити однозначність подання сигналу у вигляді (1.4).

Зокрема, якщо то якщо то .

Знаючи s(t) і , можна одержувати шукані функції

.

Аналітичний сигнал переводить аналіз в область комплексних змінних, що іноді простіше виконується й усуваються згадані раніше неоднозначності.

Для найпростішого сигналу: аналітичний сигнал

z(t) = s(t)+ i = cosщt + isinщt = e^iщt.

У більше загальному виді:

z(t) = A(t)cosш(t) + i(t)sin(t) = A(t)e^iш(t).

Аналітичний сигнал має всі властивості комплексних змінних.

Зокрема:

.

Досліджуваний сигнал s(t) виражають через аналітичний сигнал за правилом

,

де - комплексно сполучена функція з z(t).

Спектр аналітичного сигналу однобічний, оскільки

,

але

У підсумку маємо S_ж(iщ) = 2S_ж (iщ) при щ > 0.

Представлені тут спектри S_ж (iщ) є не що інше, як спектри відеосигналів, розглянуті раніше. При аналізі дискретних сигналів корисно перетворити розкладання Фур'є до виду

,

де: ,

B -амплітуда,

ф - тривалість символу, що досягається при використанні формули Ейлера:

e^ix = cosx + isinx.

При модуляції несучого коливання частоти щ₀ відеосигналом спектр переноситься в область щ₀.

Математичні моделі завад

Природа завад різноманітна: шуми космічних об'єктів, атмосферні процеси, завади від сусідніх станцій, індустріальні завади й т.д.

Сигнал, що надійшов на вхід приймача, може бути представлений у вигляді суми:

,

де s*(t) - підданий детермінованому або випадковому перетворенню у лінії зв'язку переданий передавачем сигнал s(t), тобто s*(t) = F*[s(t)].

n(t) - адитивна завада.

Перетворення F*[...] пов'язані зі змінами параметрів середовища поширення сигналів залежно від погоди (температура, вологість), сонячної активності, пори року й доби. Ці зміни відбуваються відносно повільно й часто можуть бути скомпенсовані, наприклад, методами автоматичного регулювання посилення. Цю складову завади називають мультиплікативною завадою.

Адитивні завади n(t) більше небезпечні. По своєму походженню вони діляться на внутрішні, виникаючі в пристроях каналу, і зовнішні, вступники від сторонніх джерел.

Внутрішні завади обумовлені в основному тепловими шумами (випадковими рухами електронів у провідниках) і дробовими шумами (флуктуаціями числа носіїв струму, що переборюють потенційний бар'єр в електронних пристроях).

Теплові шуми в принципі непереборні. Їх можна зменшити, знижуючи температуру “сильно шумливих” елементів.

Дробові шуми можна знижувати шляхом раціональної побудови елементів схеми, але повністю усунути також не можна.

Наведення від сусідніх елементів схем через погану екранізацію також ставляться до внутрішніх завад.

Зовнішні завади відіграють істотну роль при радіозв'язку.

Відносно грубу характеристику завад дають їхні частотні спектри. За цією ознакою вони діляться на широкосмугові завади (їхній спектр значно ширше спектра сигналу) і вузько смугові завади (їхній спектр порівняємо або вже спектра сигналу).

За своєю часовою структурою завади діляться на гладкі й імпульсні. У гладких завад обгинаюча миттєвих значень із великою ймовірністю перебувають поблизу від свого середнього значення, а в імпульсних ? навпаки.

Найбільш повну характеристику завад дають їхнього опису як випадкових процесів (багатомірними щільностями розподілу їхніх параметрів). Однак для такого опису на практиці не досить даних про завади. Тому часто обмежуються одномірними щільностями w(x) розподілу миттєвих значень завад і змінних характеристик: середнім значенням m(t) і дисперсією у²(t).

У силу ряду причин (природа випромінювань, накладення від безлічі джерел) щільність розподілу підкоряється нормальному закону

. (1.10)

Відповідно до теореми Вінера-Хінчіна спектральна щільність потужності завади N(w) пов'язана з автокореляційною функцією K_n(ф) її перетворенням Фур'є:

, (1.11)

де K_n(ф)= M[n(t)n(t + ф)] - автокореляційна функція завади.

По спектральній щільності потужності завади N(щ) не можна відновити заваду, а можна - тільки її автокореляційну функцію K_n(ф). Щільність N(щ) задається в області частот від ? до + ?. Однобічна спектральна щільність потужності [0 ? +?]

N₀(щ) = 2N(щ). (1.12)

Теорема: Якщо завада, розподілена за нормальним законом, розкладається в ряд по теоремі Котельникова на інтервалі Т/2 < t < T/2, то коефіцієнти цього ряду статистично незалежні і їхня щільність розподілу ймовірностей нормальна з нульовим середнім і дисперсією

, (1.13)

де N₀ - однобічна спектральна щільність потужності завади.

Ця теорема дозволяє представити багатомірну щільність розподілу ймовірностей завади за допомогою одномірних щільностей у перетинах, що збігаються з відліками корисного сигналу,

, (1.14)

де N = 2F_m, F_m - максимальна частота в спектрі сигналу.

При переході в (1.14) до інтеграла одержимо

 (1.15)

При проходженні завади через лінійну систему з коефіцієнтом передачі K(iщ) одержимо

N_вих(щ) = K²(щ)N_вх(щ). (1.16)

Модуль передатної функції K(щ) входить у це вираження у квадраті, тому що енергетичний спектр завади пропорційний квадрату спектральної щільності (по Парсевалю).

Проходження сигналу разом з завадою через лінійну систему пов'язане із втратами інформації.

Імовірнісна модель каналу зв'язку

Імовірнісний характер інформації (де, коли, які повідомлення, скільки їх), імовірнісний характер перешкод потребують переходу від детермінованої моделі каналу до статистичної (рис. 16).

Рис. 1. Модель каналу

Джерелом (Д) і одержувачем (О) можуть бути людина або технічний засіб, що генерує інформацію, яка підлягає передачі (прийому).

Канал, як і колись, являє собою фізичне середовище поширення сигналу й технічні засоби, використовувані для передачі й прийому.

Кодер джерела й кодер каналу разом утворюють пристрій, що перетворює повідомлення на виходе джерела в сигнал, придатний для передачі по заданому каналу. А пари пристроїв: декодер каналу і декодер джерела виділяють корисне повідомлення із сигналу, отриманого на виходе каналу.

Кодер джерела розбиває всі можливі повідомлення на класи й надає повідомленню, що надійшов на його вхід, певні ознаки приналежності його до якогось класу.

Подібні дії трохи огрублюють реальну дійсність, але спрощують й уніфікують систему передачі інформації. Тому важливо передбачати критерій прийнятності такого огрубіння.

Системі зв'язку досить донести до декодера джерела вказівки про клас повідомлення й він сформулює представника зазначеного класу.

Кодер каналу заново кодує ознаку класу повідомлення, надаючи параметрам несучого коливання певні значення (здійснюється модуляція).

Декодер каналу виділяє із прийнятого сигналу вказівки про клас повідомлення.

Ця вказівка змушує декодер джерела виробити повідомлення, що з умови критерію прийнятності є представником даного класу.

Проходження сигналів і завад через лінійні системи

Більшість пристроїв інформаційних систем відносяться до класу лінійних систем, які представляються у вигляді чотириполюсника з передатною функцією K(iщ).

Коефіцієнт передачі

. (1.17)

Якщо спектральна щільність сигналу на вході чотириполюсника з K(iщ) дорівнює S_вх(iщ), то спектральна щільність його на виході дорівнює

S_вих(iщ) = S_вх(iщ)K(iщ). (1.18)

Ґрунтуючись на цих співвідношеннях у детермінованій моделі каналу зв'язку за умову неспотвореної передачі сигналів прийнята рівність

, (1.19)

де t₀, K₀ - константи.

Словами ця умова визначається як вимога до АЧХ бути рівномірної в межах смуги частот сигналу, а до ФЧХ бути лінійною.

При проходженні завади з енергетичним спектром N(щ) через лінійну систему з коефіцієнтом передачі K(iщ) одержимо

N_вих(щ) = K²(щ)•N_вх(щ). (1.20)

Це витікає з теореми Парсеваля.

При проходженні сигналу з завадою по однієї й тім же електричному ланцюзі (лінійної) кожну складову можна оцінювати незалежно. Якщо в ланцюзі будуть нелінійні елементи, вони викличуть викривлення, що приводить до комбінаційних складових спектрів. У цьому випадку аналіз істотно ускладнюється.

Проходження сигналу з завадою по електричних ланцюгах пов'язане із втратою інформації, величини яких оцінюються в розділі аналізу пропускних здатностей каналів зв'язку.

Вимірювання інформації

Оскільки інформатика має справу з процесами передачі і зберігання інформації, те важливе значення має кількісне вимірювання інформації. При цьому різні підходи до вимірювання інформації застосовуються в побуті, техніці і в теорії інформації.

Вимірювання інформації в побуті

Припустимо, що Ви одержали якесь повідомлення (наприклад прочитали статтю в улюбленому журналі). У цьому повідомлення міститься якась кількість інформації. Як оцінити яку кількість інформації ви одержали? Іншими словами, як зміряти інформацію?

Чи можна сказати, що чим більше стаття, тим більше за інформацію вона містить? Різні люди, що одержали одне і те ж повідомлення по різному оцінюють кількість інформації, що міститься в ньому. Це відбувається тому, що знання людей про ці події, явищах до отримання повідомлення були різні. Тому ті, хто знав про це мало, визнають, що одержали багато інформації, ті ж, хто знав більше, ніж написано в статті, скажуть, що не одержали інформації взагалі. Таким чином можна сказати, що кількість інформації залежить від того наскільки новою є ця інформація для одержувача.

При такому підході незрозуміло, по яких критеріях можна ввести одиницю вимірювання інформації. Отже, з погляду інформації як новизни ми не можемо оцінити кількість інформації, що міститься в науковому відкритті, новій теорії суспільного розвитку.

Вимірювання інформації в техніці

У техніці інформацією вважається будь-яка послідовність символів, що зберігається, оброблювана або передана. Часто використовують простий і грубий спосіб визначення кількості інформації, який може бути названий об'ємним. Він заснований на підрахунку кількості символів в повідомленні, тобто пов'язаний з його довжиною і не враховує змісту.

Довжина повідомлення залежить від числа різних символів, що вживаються для запису повідомлення. У обчислювальній техніці застосовуються дві стандартні одиниці вимірювання: біт (двійковий знак двійкового алфавіту {0,1}) мінімальна одиниця вимірювання інформації і байт (який дорівнює восьми бітам, є одним символом, тобто при введенні з клавіатури цього символу машині передається 1 байт інформації). Використовувані в обчислювальній техніці інші одиниці вимірювання інформації уже наведені вище.

Інформаційний об'єм повідомлення (інформаційна місткість повідомлення) кількість інформації в повідомленні, зміряне в бітах, байтах або похідних величинах.

Вимірювання інформації в теорії інформації (інформація, як знята невизначеність).

Палкий закоханий, знаходячись в розлуці, з об'єктом своєї любові, посилає телеграму; “Любиш?”. У відповідь приходить не менш лаконічна телеграма: “Так!”. Скільки інформації несе у відповідь телеграма? Альтернатив тут дві або “Так”, або “Ні”. Їх можна позначити знаками двійкового коду 1 і 0. Таким чином, у відповідь телеграму можна було б закодувати всього одним двійковим символом.

Чи можна сказати, що у відповідь телеграма несе одну одиницю інформації? Отримання інформації (її збільшення) одночасно означає збільшення знання або зменшення інформаційної невизначеності.

Книга лежить на одній з двох полиць - верхньої або нижньої. Повідомлення про те, що книга лежить на верхній полиці зменшує невизначеність в два рази.

У простому випадку вибір одного з двох повідомлень (“так” чи “ні”, 0 або 1) приймають за одиницю інформації. Вона названа “біт” або двійкова цифра. Питання цінності цієї інформації для одержувача це вже з іншої області і буде розглянуте нижче.

Повідомлення про те, як впала монета “гербом” або “решкою” несе один біт інформації.

Відомо, що Петренко живе на вулиці Весняній. Повідомлення про те, що номер його будинку парний, зменшило невизначеність удвічі, ми стали знати більше, але інформаційна невизначеність залишилася.

Чому в цьому випадку ми не можемо сказати, що інформаційна невизначеність зменшилася удвічі? Якщо вам важко відповісти на це питання, уявіть собі вулицю, на парному боці якої, наприклад, чотири будинки, а на непарній двадцять. Такі вулиці не така вже велика рідкість.

Дуже приблизно можна сказати, що кількість інформації в повідомленні про якусь подію співпадає з кількістю питань, які необхідно задати, щоб одержати ту ж інформацію, відповідь на ці питання може бути лише “так” чи “ні”.

У теорії інформації під кількістю інформації розуміють міру зменшення невизначеності знання. Знаходження такої міри вимагає оцінки і обліку кількості переданої інформації. У теорії інформації кількістю інформації називають числову характеристику сигналу, яка не залежить від його форми і змісту і характеризує невизначеність, яка зникає після отримання повідомлення у вигляді даного сигналу. В цьому випадку кількість інформації залежить від вірогідності отримання повідомлення про ту або іншу подію.

Для абсолютно достовірної події (подія обов'язково відбудеться, тому її імовірність дорівнює 1) кількість інформації в повідомленні про неї дорівнює 0. Чим неймовірніша подія, тим більшу інформацію про нього несе повідомлення. Лише при рівноімовірних відповідях відповідь “та” чи “ні” несе один біт інформації.

Існує безліч ситуацій, коли можливі події мають різну імовірність реалізації. Наприклад, якщо монета несиметрична (одна сторона важча іншій), то при її киданні вірогідності випадання “орла” і “решки” розрізнятимуться.

Ми уже мали нагоду обговорити формулу для обчислення кількості інформації, запропоновану Хартлі про об'єкт, який може знаходитися в одному з рівноімовірних N станів:

I = log₂N.

Формулу для обчислення кількості інформації для подій з різною вірогідністю запропонував К. Шеннон в 1948 р. В цьому випадку кількість інформації визначається за формулою:

,

де I кількість інформації, N кількість можливих подій, p_i імовірність окремих подій.

Наприклад, хай при киданні несиметричної чотиригранної піраміди вірогідності окремих подій будуть наступними: 1/2, 1/4, 1/8, 1/8. Тоді кількість інформації, яку ми одержимо після реалізації одного з них, можна розрахувати по формулі Шеннона:

I = (1/2*log1/2 + 1/4*log1/4 + 1/8*log1/8 + 1/8*log1/8) біт = 1,75 біт.