Математичні методи й моделі в лінгвістиці

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Математичні методи й моделі в лінгвістиці

Вступ

Застосування математичних методів у найрізноманітніших наукових дослідженнях є типовою ознакою сучасности. Причому математику все більше використовують не тільки в соціяльних науках, але й в гуманітарних. Причин для того є кілька. По-перше, надзвичайно потужний розвиток комп'ютерних технологій на якісному рівні змінив характер досліджень і значно розширив сферу застосування відповідного математичного апарату. По-друге, нові технічні можливості оброблення й аналізу великих масивів даних породжують новий клас задач. По-третє, яскраво виражений міждисциплінарний характер сучасних досліджень розширює межі застосування методів одних наук в інших. Не є винятком і математичне моделювання.

Серед гуманітарних дисциплін лінгвістика, мабуть, є однією з найбільш досліджених царин і при цьому однією з найбільш загадкових. Людське існування не можна уявити без мови, вона не просто є супутником людини, вона в певному розумінні і є людина. Мова -- це не тільки інструмент для спілкування. Це соціокультурний феномен, який супроводжує людство від

початку його існування, змінюється разом із людським соціюмом, впливає на розвиток цього соціюму і є найяскравішим відображенням процесів, які відбуваються з людством. Тому досліджуючи мову (в широкому розумінні цього поняття), ми постійно стикаємось із чинниками, які не є суто лінгвістичними. Як наслідок, у лінгвістичних дослідженнях застосовують методи різних наук - соціяльних і гуманітарних. Має застосування в лінгвістичних дослідженнях і математика. Причому способи реалізації математичних підходів є досить різноманітні: від розрахунку статистичних характеристик текстів до створення реґресійних моделей. Цікавими є не тільки самі моделі, але й спосіб їхньої побудови. Як це не дивно, але «ідеологія» побудови тієї чи тієї моделі має значення так само, як має значення конкретний «зміст» моделі. Іншими словами, шлях, яким дослідник приходить до формулювання моделі, має окрему цінність. Зокрема, останнім часом збільшується кількість наукових публікацій, у яких методи, застосовувані раніше для суто фізичних систем, використовують для моделювання в лінгвістиці (і не тільки). Такий «фізичний» спосіб моделювання має свої специфічні риси. Їхній аналіз є частиною статті.

Отже, ми обговоримо особливості застосування математичного моделювання в лінгвістиці. Тема надзвичайно широка, тому зосередимось лише на деяких її аспектах. Передусім нас цікавитимуть відповіді на такі запитання:

- Навіщо потрібне моделювання в лінгвістиці?

- Як створюються моделі в лінгвістиці і що вони описують?

- Чи має «фізичний» спосіб моделювання якісь особливості?

Також ми розглянемо кілька прикладів (переважно ілюстративних), які демонструють специфіку досліджуваних проблем та методів їхнього розв'язання.

1.Що і як ми моделюємо

Хоча на перший погляд видається, що моделювання - це певна універсальна процедура, яка має чітко означену кінцеву мету та суворо детермінований спосіб її досягнення, насправді, тут багато неоднозначного. Почати хоча би з того, що саме ми плануємо моделювати. Питання нетривіяльне, оскільки зовсім не кожен процес чи систему можна змоделювати математичними методами. Гарним прикладом є модель випадкової величини в теорії ймовірностей. Ідеться про те, що в певному «експерименті» отримуємо випадкове значення для певної величини. Наприклад, це може бути число, що випадає на кубику, чи номер, на який потрапляє кулька під час гри в казино. Зрозуміло, що жодне моделювання не дозволить нам передбачити результат подібних «експериментів». Однак моделювання має широке застосування навіть у таких «безнадійних» випадках. Ключовий момент полягає в тому, що саме ми моделюємо чи оцінюємо за допомогою математичних моделей. У наведених прикладах ми можемо математичними методами розрахувати параметри для закону розподілу випадкової величини, що дає нам змогу оцінити ймовірність настання тієї чи тієї події, пов'язаної з окремою випадковою величиною. Отже, принциповим є не тільки спосіб математичного опису процесу чи системи, а вибір самого об'єкта для моделювання.

Моделювання, зокрема й у лінгвістиці, не є самоціллю. Створюючи ту чи іншу модель, дослідник намагається розв'язати конкретну задачу. Можна виділити окремі класи лінгвістичних (чи пов'язаних із лінгвістикою) задач, розв'язання яких вимагає чи передбачає залучення математичного моделювання. Прикладом є створення програмних продуктів для виконання машинного (автоматизованого) перекладу текстів чи розроблення експертних систем для аналізу текстів та живої мови. Методи математичного моделювання мають застосування у психологічній лінгвістиці, статистичному аналізі корпусів мови, криптографії та в багатьох інших ситуаціях Юхан Тулдава, Проблемы и методы квантитативно-системного исследования лексики (Таллин: Валгус, 1987)..

2. Чи є «фізичний» підхід особливим

Загалом створення математичної моделі - це завдання для фахівців. Проблема в тому, що для моделювання лінгвістичних об'єктів та процесів, крім знання математики, необхідне глибинне розуміння об'єкта моделювання. Це є типовою ознакою дослідження, що виконують на межі різних наук. На практиці проблему розв'язують формуванням міждисциплінарних груп дослідників. З другого боку, важливу роль відіграє аспект, пов'язаний із кінцевою метою моделювання. Як це не дивно, але є відмінні концептуальні підходи в застосуванні математичних моделей. Різні точні науки тяжіють до різних концепцій застосування математичного апарату. Є свої особливості в економічних моделей, так само як є типові риси моделі, що їх використовують у фізиці. Оскільки методи моделювання в лінгвістиці виникли не з нічого, то, як наслідок, принцип створення моделей у лінгвістиці має «відбиток» того чи того маґістрального підходу. Для нас актуальною є відповідь на питання про адекватність підходів, які застосовують фізики для опису явищ неживої природи, для використання в лінгвістичних дослідженнях. І якщо ці підходи справді адекватні, то де і як вони можуть бути застосовані. Для цього нам необхідно врахувати, які взагалі є способи використання математичних моделей. Отже, можна умовно назвати три фундаментальні підходи чи концепції, які передбачають застосування математичних моделей на практиці.

Передусім це моделі, які описують певне явище чи процес і результати яких порівнюються з емпіричними даними (моделі першого типу). Як правило, такого типу моделі використовують у точних науках, і, зокрема, у фізиці. Типовою рисою таких моделей є те, що інтерес викликає саме кінцевий результат, який може бути одержаний у вигляді числа, і це число можна порівняти зі значенням, яке вимірюється в експерименті. Назагал математичні моделі розуміють як моделі саме такого типу. Справді, у багатьох ситуаціях нас цікавить саме зазначений спосіб моделювання. Водночас є й інші можливості для ефективного застосування математичного моделювання.

Навіть у точних науках використовують феноменологічні математичні моделі, що описують поведінку системи чи певний процес не на кількісному, а на якісному рівні (моделі другого типу) Владимир Арнольд, «Жесткие» и «мягкие» математические модели (Москва: МЦНМО, 2013).. Такі моделі створюють на основі найзагальніших уявлень щодо об'єкта, який моделюється, а функціональні залежності, які використовують у моделях, мають евристичний характер. Результати, одержані на основі таких моделей, дають опис системи лише на якісному рівні. Причому не йдеться про «неповноцінність» моделей. Навіть більше, часто такі моделі дозволяють передбачити (на якісному рівні) ефекти та процеси, які не є очевидними і які складно спрогнозувати за допомогою інших методів досліджень. Застосування цих моделей вимагає використовувати математичний апарат, не менш серйозний, ніж під час роботи з кількісними моделями. Серед іншого, надійність результатів, одержаних моделюванням, перевіряється за допомогою аналізу на топологічну стійкість вихідної моделі (на основі якої одержано результат) Там само..

Нарешті, є клас моделей, які дозволяють одержувати цілком конкретні кількісні результати, але головне призначення таких моделей (на відміну від моделей першого типу) полягає не в одержанні оцінок для результатів емпіричних вимірювань, а радше в класифікації систем на основі відповідних числових характеристик. Як правило, ці моделі статистичні (моделі третього типу).

У точних науках, таких як фізика, назагал використовують моделі першого чи другого типу. Моделі третього типу більш характерні для соціяльних та гуманітарних наук. Пояснення полягає не тільки в меті, яку дослідники намагаються досягти за допомогою моделювання. Важливим є також алгоритм побудови моделей та специфіка об'єктів, які описують за допомогою моделювання.

3. Теорії та моделі

«Фізичний» спосіб моделювання має одну важливу базову особливість - в основі фізичної моделі, як правило, лежить теорія. Тобто майже будь-яка сучасна фізична модель описує певну систему чи процес, і ця модель базується на певних уявленнях про характер взаємодій, які є в системі або які реалізуються в процесі. Таким моделям можна протиставити моделі «описові», які дозволяють описати систему чи навіть передбачити її динаміку. При цьому «описові» моделі не дають пояснення щодо механізмів взаємодії і не базуються на припущеннях про певний характер чи особливості цих механізмів. Фізика, до речі, дає приклади як суто «фізичних» моделей, так і «описових».

Одна з історично перших фізичних моделей - третій закон Кеплера. Закон стверджує, що квадрати періодів обертання планет відносяться як куби великих півосей їхніх еліптичних орбіт. Цю закономірність встановив експериментально Кеплер під час аналізу статистичних даних щодо руху планет. Цей закон має нормативний характер і не пояснює причин, унаслідок яких виконується зазначене співвідношення.

На противагу третьому закону Кеплера другий закон Ньютона встановлює зв'язок між прискоренням а тіла, масою m тіла, та силою Е , що діє на це тіло:

Цей закон насправді є диференціяльним рівнянням (оскільки компоненти вектора прискорення - це другі похідні від координат тіла, а сила залежить від координат), розв'язуючи яке, ми можемо отримати закон руху тіла. Зокрема, можна і отримати закони руху небесних тіл, і довести істинність третього закону Кеплера. Тобто маємо дві моделі, одна з них є більш загальною. Однак принципова відмінність між моделями не в цьому, а в тому, що за законом Ньютона ховається теорія, яка пояснює характер взаємодій у системі й наслідки їхнього впливу на динаміку об'єктів. А закон Кеплера є лише результатом оброблення статистичних даних - тобто фактично це вдало побудована реґресійна модель.

Отже, умовно моделі можна поділити на «фізичні» й «нефізичні». «Фізична» модель пояснює механізми взаємодій у системі та дозволяє передбачити поведінку системи в майбутньому. «Нефізична» модель встановлює кількісні співвідношення між характеристиками системи та дозволяє виконувати класифікацію систем чи робити оцінки для параметрів системи. Слід зазначити, що обидва типи моделей мають широке застосування. Тобто тут не йдеться про «правильні» чи «неправильні» моделі. Інша справа, що моделі різних типів мають різне походження й різну область застосування.

4. Закон Ціпфа та реальне життя

Добре відомим у лінгвістиці і поза її межами є закон Ціпфа, який пов'язує частоту слова F із його ранґом и George Zipf, Human Behavior and the Principle of Least Effort (Cambrige: Addison-Wesley, 1949); Wentian Li, “Zipf's law everywhere”, Glottometrics, 5, (2002): 14-21; Ioan-Iovitz Popescu, Gabriel Altmann, Reinhard Kohler, “Zipf's law another view”, Quality and Quantity, 44, 4, (2010): 713-731.. Відповідне співвідношення, яке багато разів було перевірено емпірично для різних текстів і різних мов, має вигляд:

де у є параметром розподілу і в багатьох випадках має близьке до одиниці значення. На практиці також часто застосовують модифікований закон Ці- пфа, або закон Ціпфа з поправкою Мандельброта Юхан Тулдава, Проблемы и методы квантитативно-системного исследования лексики (Таллин: Валгус, 1987).:

У цьому співвідношенні введено додатковий параметр розподілу п₀. Причина проста - виконати кращу апроксимацію статистичних даних (адже що більше параметрів у моделі, то її простіше «припасувати» до емпіричних даних).

Закон Ціпфа також може бути представлений у такому вигляді:

Тут ми маємо лінійну залежність між натуральним логарифмом частоти появи слова 1п(Р) та натуральним логарифмом ранґу слова 1п(п). Якщо таку залежність зобразити на графіку, на горизонтальній осі відклавши логарифм ранґу слова, а на вертикальній осі - логарифм частоти слова, то отримаємо пряму лінію. Такий графік наведено на рис. 1, на якому проілюстровано залежність логарифма частоти слова від логарифма ранґу слова для корпусу художніх текстів естонської мови Дані для розрахунку й побудови графіка на рис. 1 взято там само.. Зокрема, обсяг тексту становив 99 898 слів, обсяг словника становив 30 733 слова, і відповідно обчислені значення А = 4 095 та у = 0.86 для параметрів розподілу, що входять у закон Ціпфа.

Рис. 1. Частотний розподіл слів для естонсько мови

Закон Ціпфа емпіричний. Тобто в певному розумінні він нагадує третій закон Кеплера, оскільки обидва були одержані за допомогою оброблення й узагальнення статистичних даних. Питання про пояснення закону Ціпфа фактично залишається відкритим, хоча не можна сказати, що пояснення зовсім відсутні. Іншими словами, за законом Ціпфа, є не чітка теорія, а кілька концепцій, які в сукупності дають певні підстави для обґрунтування закону.

Також є низка моделей, які пояснюють утворення степеневої залежности між ранґом слова і його частотою в законі Ціпфа. Наприклад, модель Саймона базується на припущеннях, що додавання слів у текст є випадковим процесом, імовірність появи нового слова є сталою величиною, а ймовірність появи слова, що вже траплялось, залежить від частоти вживання цього слова Василь Пальчиков, Ефекти безмасштабності та тісного світу в складних мережах (Кандидатська дисертація, Львів: 2010).. У «термодинамічній» теорії Мандельброта Там само. письмова мова ототожнюється з кодуванням, у якому кожен символ має «вартість». Умова мінімальної «вартости» повідомлення дає степеневий ранґовий розподіл. Ще один спосіб пояснення закону Ціпфа має радше математичний характер. Зокрема, степеневий розподіл можна отримати як розв'язок такого диференціяльного рівняння:

і тут через дії позначено зміну частоти появи слова в тексті, а через дп - зміну ранґу слова. Отже, закон Ціпфа можна сформулювати так: відносна зміна частоти слова (величина дҐ/Ґ) пропорційна до відносної зміни ранґу слова (величина дп/п). Це так званий алометричний закон Юхан Тулдава, Проблемы и методы квантитативно-системного исследования лексики (Таллин:Валгус, 1987). Значення показника у залежить від рівня аналітичности мови, близьким до одиниці воно є, наприклад, для англійської, тоді як для української - як більш синтетичної (тобто з багатшою словозміною) - воно трохи менше, а для китайської (більш аналітичної) - дещо більше. Таку залежність потрібно враховувати, інтерпретуючи результати. - Прим. ред.. Однак і тут залишається не розв'язане питання про те, чому є саме таке співвідношення між відносною зміною ранґу й частоти слова.

Закон Ціпфа широко застосовують на практиці. Наприклад, для аналізу текстів чи живого мовлення окремих індивідів. Скажімо, відомо¹¹, що мова психічно здорових людей описується степеневим розподілом з показником у ~ 1. Для психічно хворих людей так само відбувається ранґовий розподіл слів (мається на увазі залежність частоти слова від його ранґу), але вже з показником у ~ 0.7. Цю обставину використовують у психолінгвістиці для аналізу психологічного стану індивідів (на предмет наявности психічних захворювань) Критерій застосовний лише для повсякденного мовлення. Вузькоспеціяльні, технічні й художні тексти в цю класифікацію не потрапляють.. Проілюструємо невеликим прикладом. Відправною точкою для реалізації відповідного дослідження є цитата з книги Ліни Костенко «Записки українського самашедшого» Ліна Костенко, Записки українського самашедшого (Львів: А-БА-БА-ГА-ЛА-МА-ГА, 2014).: «Втім, психологи з якоїсь медичної установи дійшли висновку, що Вінні-Пух шизофренік, бо у нього нав'язливі ідеї та неадекватна поведінка. А в кого вона тепер адекватна? Читав, що вже сьогодні кожна третя людина у світі має порушення психіки». Якщо виходи

ти з того, що тут висловлена гіпотеза щодо психічного стану такого казкового героя, як Вінні-Пух, то її можна перевірити. Для цього будується ран- ґовий розподіл словоформ у тексті казки про Вінні-Пуха, а також ранґовий розподіл слів у прямій мові Вінні-Пуха. Для обох випадків розраховується показник розподілу у. На рис. 2 наведено ранґовий розподіл для тексту казки, а на рис. 3 - для тексту прямої мови Вінні-Пуха Дані для побудови графіків на рис. 2-3 взято з роботи: Олексій Васильєв, Олександр Ча-лий, Ілона Васильєва, «Про екзотичні задачі фізики, Вінні-Пуха та закон Зіпфа», Журнал фізичних досліджень, 17, 1 (2013): 1001 [8 рр.]..

Рис. 2. Ранґовий розподіл словоформ для тексту казки про Вінні-Пуха

Рис. 3. Ранґовий розподіл словоформ для прямої мови Вінні-Пуха

Як показують розрахунки, для тексту казки про Вінні-Пуха параметр у ~ 1.016, тоді як для прямої мови Вінні-Пуха параметр у ~ 0.916. Обидва значення близькі до одиничного, а отже, немає підстав хвилюватись за психічний стан Вінні-Пуха Там само.. Слід також зазначити, що було проаналізовано український переклад казки. Якщо аналогічні обчислення виконати для ориґіналу англійською, то для тексту казки отримаємо значення параметра у ~ 1.26, а для прямої мови Вінні-Пуха параметр у ~ 1.08. Тому загальний висновок залишається незмінним.

5. Неуніверсальність моделей

Зовсім не кожна статистична модель (тобто модель, побудована на основі оброблення статистичних даних) є універсальною. Адже коли ми будуємо на основі статистичних даних модель, то передусім розраховуємо параметри розподілу (наприклад, показник у для розподілу Ціпфа). Від чого залежать значення параметрів розподілу? Очевидно, вони залежать від фактичних статистичних даних. Однак може статись ситуація, коли результати моделювання якісно залежать ще й від того, як ми групуємо статистичні дані. Як ілюстрацію розглянемо процес (дещо спрощений) побудови моделі для розподілу слів давнього походження за частотними зонами. Алгоритм побудови моделі такий: слова в частотному словнику об'єднують у частотні групи по 100 слів, у кожній групі підраховують кількість давніх слів, що виникли в певний момент Юхан Тулдава, Проблемы и методы квантитативно-системного исследования лексики (Таллин: Валгус, 1987).. Будують апроксимаційну формулу для залежности кількосте давніх слів у групі від номера групи. Використовують функціональну залежність виду:

і тут через п позначено номер групи, через Ґ(п) - кількість давніх слів у цій групі, параметр А визначається кількістю слів у групі, а параметри розподілу а та Ь знаходять на основі статистичних даних Там само.. На рис. 4 наведено результати моделювання для розподілу давніх слів XII століття для німецької мови, а на рис. 5 показано аналогічну залежність, але для розподілу за групами давніх слів XII століття для естонської мови (залежності побудовано на основі даних роботи Дані для побудови графіків на рис. 4-7 взято там само.).

Для німецької мови отримано значення для параметрів розподілу а = 0.07 та Ь = 1.0, а для розподілу давніх слів в естонській мові ці параметри дорівнюють а = 0.11 та Ь = 0.96. Водночас параметри не є універсальними і залежать, зокрема, від того, скільки слів належить до групи. Зокрема, якщо розглядати групи по 200 слів (тобто за значення параметра А = 200), отри маємо інші значення для параметрів a та b. Відповідні графіки наведено на рис. 6 та рис. 7.

Рис. 4. Розподіл давніх слів (XII століття) для німецької мови за умови, що група містить 100 слів

Рис. 5. Розподіл давніх слів (XII століття) для естонської мови за умови, що група містить 100 слів

Параметри розподілу змінюються. Для німецької мови маємо значення a = 0.13 та b = 1.04, а для естонської -- значення a = 0.19 та b = 1.02. Однак зовсім не це найважливіше. Річ у тім, що якщо виходити із припущення, що для груп зі 100 слів розподіл давніх слів визначається залежністю виду F(n) = A ¦ exp(a ¦ n^b), то за збільшення кількости членів у групі в два рази кількість давніх слів у такій групі мала би визначатись як F(n) + F(n + 1) (дві групи об'єднуються в одну). Однак є таке співвідношення:

Рис. 6. Розподіл давніх слів (XII століття) для німецької мови за умови, що група містить 200 слів

Рис. 7. Розподіл давніх слів (XII століття) для естонської мови за умови, що група містить 200 слів

І тут ми отримуємо зовсім іншу функціональну залежність порівняно з вихідною формулою для розподілу давніх слів у групах по 100 слів. Тому коли ми намагаємось описати «нові» статистичні дані «старою» формулою, отримуємо інші числові значення для параметрів розподілу. Іншими словами, йдеться не тільки про неуніверсальність значень параметрів розподілу, але й про неуніверсальність самої функціональної залежности.

6. Коли не працюють моделі

Спробуємо «локалізувати» проблему, із якою ми зіткнуся вище. Для цього необхідно врахувати спосіб, за яким побудовано моделі реґресій- ного типу (статистичні моделі, що встановлюють зв'язок між різними наборами даних). Умовно процес побудови моделі можна розділити на кілька етапів. Передусім слід вибрати чи встановити функціональну залежність, на основі якої буде виконуватись апроксимація. Тут універсальних рецептів немає. Досить часто береться якась загальна функція, що містить низку «припасованих» параметрів. Ці параметри впливають на загальний вигляд функціональної залежности й визначаються на основі статистичних даних. Наступний етап - це розрахунок параметрів, що входять у функціональну залежність. Базова ідея полягає в тому, щоби дібрати такі значення для параметрів, за яких теоретична крива (залежність, побудована на основі апроксимуючої функції) якомога краще б описувала реальні статистичні дані. Однак щоб можна було порівнювати, який спосіб опису «кращий», потрібен критерій. Як правило, таким критерієм є метод найменших квадратів: значення для параметрів у функціональній залежності добираються так, щоби сума квадратів відхилень теоретичних (розрахованих на основі апроксимаційної функції) значень досліджуваного чинника від його безпосередньо виміряних (емпіричних) значень була мінімальною.

Якщо загальний вигляд для функціональної залежности вибрано, то розрахунок значень параметрів, що входять у функціональну залежність, - питання технічне. Насправді найбільш проблемним етапом в описаній вище схемі є вибір загального вигляду для апроксимаційної функції. Якщо модель базується на певній теорії, то часто це дозволяє отримати загальний вигляд для такої кривої. Для фізики побудова моделі на основі теорії є звичайною ситуацією. Для лінгвістики наявність теорії в підґрунті моделі є радше винятком, ніж правилом. Якщо вигляд апроксимаційної кривої апріорі встановити складно, доцільним може бути використання нейронних мереж.

7. Нейронні мережі

Спосіб моделювання на основі нейронних мереж стає дедалі популярнішим, особливо в секторі задач, пов'язаних із обробленням великих масивів даних Дирк-Эмма Бэстенс, Виллем-Макс ван ден Берг, Дуглас Вуд, Нейронные сети и финансовые рынки: принятие решений в торговых операциях (Москва: ТВП, 1997).. Як і будь-який спосіб моделювання, він має свої переваги й недоліки. Головна ідея полягає в тому, що функціональна залежність, яку необхідно встановити за допомогою моделювання, інтерпретується як послідовність нелінійних перетворень. Базовими при цьому є поняття «нейрон» та «нейронна мережа».

Нейронна мережа - набір елементів, організованих у певну структуру і призначених для виконання нелінійних перетворень. Кожен елемент (нейрон) мережі отримує кілька значень «на вході», і генерує «сигнал» на виході. На рис. 8 наведено один із багатьох можливих способів організації ней- ронної мережі.

Рис. 8. Схема організації нейронної мережі

У цьому випадку нейронна мережа складається з кількох прошарків, і кожен прошарок містить певну кількість нейронів. Перший прошарок складається з одного нейрона. На єдиний нейрон у першому прошарку подається «сигнал» (значення арґументу у функціональній залежності, яка моделюється за допомогою нейронної мережі). Після перетворення на першому нейроні «сигнал» подається на кожен нейрон другого прошарку. Після перетворення «сигнал» з кожного нейрона другого прошарку передається на кожен із нейронів третього прошарку і так далі. «Сигнал» із нейронів передостаннього прошарку передається на єдиний нейрон останнього прошарку. «Сигнал», який отримують на виході нейрона з останнього прошарку, є результатом (значення функції). Важливим етапом у цій послідовності перетворень є спосіб, в який нейрон перетворює сигнали, що отримує на вході, на сигнал на виході. Перетворення (у спрощеному вигляді) виконується так: спочатку всі отримані на вході сигнали додаються з різними ваговими коефіцієнтами, а на основі отриманого числового значення за допомогою нелінійного перетворення отримують сигнал на виході нейрона. Функція, за допомогою якої виконується зазначене нелінійне перетворення, називається функцією активації нейрона. Це «індивідуальна» характеристика нейрона, і вибирати функцію активації нейрона можна по-різному. Популярними є так звані сигмоподібні функції активації Там само.. Це функціональні залежності такого виду:

Або такого:

Назва функцій пов'язана з тим, що графіки цих функціональних залежностей мають сигмоподібний вигляд, як це показано на рис. 9.

Рис. 9. Функції активації нейрона

Специфіка нейронних мереж передусім пов'язана з тим, що вони фактично дозволяють виконувати функціональну апроксимацію Там само.. Зокрема, відомо, що за допомогою нейронної мережі з трьома внутрішніми прошарками нейронів із сигмоподібною функцією активації можна змоделювати будь-яку неперервну за арґументом функціональну залежність. Отже, навіть не маючи жодного уявлення про характер функціональної залежности, що пов'язує статистичні дані, ми можемо встановлювати між ними зв'язок. Правда, робота з нейронними мережами має свої складності й недоліки. Скажімо, немає універсальних алгоритмів та критеріїв для визначення оптимальної структури мережі. Та й сама процедура визначення параметрів мережі є складною та дещо непередбачуваною. Водночас нейронні мережі в багатьох випадках дозволяють отримувати цілком прийнятні результати. Як невелику ілюстрацію застосування нейронних мереж розглянемо вже відомі нам задачі про розподіл давніх слів і ранґовий розподіл слів у тексті казки про Вінні-Пуха.

Для моделювання розподілу давніх слів використаємо надзвичайно просту нейронну мережу, яка містить лише чотири нейрони. Схему ней- ронної мережі представлено на рис. 10.

За допомогою оптимізації параметрів нейронної мережі будуємо модель, що описує розподіл давніх слів у німецькій мові. Результати моделювання на основі нейронної мережі представлено на рис. 11.

Рис. 10. Нейронна мережа для моделювання розподілу давніх слів

Рис. 11. Результати моделювання на основі нейронної мережі розподілу давніх слів у німецькій мові

Результати моделювання на основі нейронної мережі розподілу давніх слів в естонській мові представлено на рис. 12.

Для моделювання ранґового розподілу слів у тексті казки про Вінні-Пуха використовуємо дещо складнішу нейронну мережу, яка складається з восьми нейронів, що формують п'ять прошарків. Структуру нейронної мережі представлено на рис. 13.

Оптимізуючи параметри нейронної мережі, отримуємо залежність між ранґом слова в тексті та частотою його використання. Цю залежність представлено у графічному вигляді на рис. 14.

Рис. 12. Результати моделювання на основі нейронної мережі розподілу давніх слів в естонській мові

Рис. 14. Результат моделювання на основі нейронної мережі рангового розподілу слів у тексті казки про Вінні-Пуха

Рис. 13. Нейронна мережа для моделювання рангового розподілу слів у тексті казки про Вінні-Пуха

Як бачимо, тепер теоретична крива відрізняється від прямої лінії. Ще один цікавий момент пов'язаний із тим, що процес визначення параметрів нейронної мережі (так зване навчання нейронної мережі) відбувався з використанням статистичних даних тільки для групи високочастотних словоформ. Тому перша частина кривої на рис. 14 (позначена як «дані для моделювання») - це апроксимація статистичних даних на основі нейронної мережі. А друга частина кривої -- це фактично прогнозовані значення для частотного розподілу словоформ. Як бачимо, прогноз досить непогано збігається з фактичними даними. Однак найбільш важливим є той факт, що за умови використання нейронної мережі немає потреби заздалегідь визначати загальний вираз для функціональної залежности, на основі якої будується модель.

7. Замість епілогу

Сучасна наука розвивається швидко, бурхливо та різнопланово. Однією з характерних ознак цього розвитку є міждисциплінарний характер досліджень. Сучасні дослідницькі групи часто формуються з науковців, які працюють у різних наукових галузях. На рис. 15 наведено графік із даними щодо кількости спільних публікацій, що їх виконали фізики й економісти.

Рис. 15. Кількість спільних публікацій, що їх виконали фізики й економісти

Размещено на Allbest.ru