Методи аналізу і розпізнавання складних сигналів в автоматизованих системах мовного діалогу

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

МІНІСТЕРСТВО ОСВІТИ ТА НАУКИ УКРАЇНИ

КАРПОВ Олег Миколайович

УДК 534.4:621.391

Автореферат дисертації на здобуття вченого ступеня доктора технічних наук

МЕТОДИ АНАЛІЗУ І РОЗПІЗНАВАННЯ СКЛАДНИХ СИГНАЛІВ В АВТОМАТИЗОВАНИХ СИСТЕМАХ МОВНОГО ДІАЛОГУ

05.13.06 автоматизовані системи управління та прогресивні інформаційні технології

Київ 2003

Дисертацією є рукопис.

Робота виконана в Днiпропетровському національному унiверситеті Міністерства освіти і науки України.

Науковий консультант: доктор технічних наук, професор Щербак Леонід Миколайович, Національний авіаційний університет, завідувач кафедри.

Офiцiйні опоненти:

доктор технічних наук, професор Бондаренко Михайло Федорович, Харківський національний університет радіоелектроніки, ректор;

доктор технічних наук, професор Прокопенко Ігор Григорович, Національний авіаційний університет, професор;

доктор фізико-математичних наук, професор Шелепов Владіслав Юрійович, Донецький інститут штучного інтелекту, завідувач відділом.

Провiдна установа: Національний технічний університет України "Київський політехнічний інститут", кафедра автоматизації експериментальних досліджень, Міністерство освіти і науки України, м. Київ.

Захист вiдбудеться "29" травня 2003 р. о 14 годинi на засiданнi спецiалiзованої вченої ради Д 26.062.01 при Національному авіаційному університеті за адресою: 03058, м. Київ, проспект Космонавта Комарова, 1.

З дисертацiю можна ознайомитись у бiблiотецi Національного авіаційного унiверситету за адресою: 03058, м. Київ, проспект Космонавта Комарова, 1.

Автореферат розiсланий "25" квітня 2003 р.

Вчений секретар спецiалiзованої вченої ради Гузій М.М.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність проблеми. На протязі останніх десятиліть актуальною і важливою науково-техничною проблемою є обробка і розпізнавання мовних сигналів. Про це свідчать задачі аналізу, синтезу і розпізнавання мовного повідомлення, індивідуальності та емоційного стану і значне число публікацій.

Мовний сигнал є функцією багатьох змінних, яка формується складною біофізичною системою людини. У рамках кожної змінної можуть існувати локальні функції, обумовлені сукупністю параметрів, характерних для даної змінної, локальна сукупність із декількох таких функцій утворить окрему компоненту або складову, що характеризує локальну властивість сигналу.

Мета і задачі досліджень. Мета проведення широкого кола теоретичних і експериментальних досліджень по обґрунтуванню і реалізації методів аналізу і розпізнавання складних сигналів і розробка по результатам досліджень автоматизованих систем мовного діалогу. Для вирішення такої науково-технічної проблеми необхідно розв'язати наступні основні задачі.

1. Теоретичне обґрунтування моделей і методів аналізу та розпізнавання сигналів багатьох змінних. 2. Розробка методів, алгоритмів і обчислювальних процедур аналізу сигналів на основі параметричних функцій систем, які створюють сигнал. 3. Розробка автоматизованих систем та інформаційних технологій аналізу і розпізнавання мовних сигналів.

При виришенні проблеми уявлення багатовимірних функцій як суперпозиції функцій меншого числа змінних зробив значний внесок Колмогоров А.М., у проблеми аналізу-синтезу і розпізнавання мови Вінцюк Т.К., Загоруйко М.Г., Трунін-Донской В. М., Бондаренко М.Ф., Цемель Г.І., Ивахненко О.Г., Богіно В.І., Лобанов В.М, Оппенгейм Э., Джелінек Ф., Фант Г., Фланаган Дж. Л. і ін.

Зв'язок теми досліджень з планами НДР. Теоретичні й експериментальні дослідження по темі дисертації виконувалися в рамках НДР Дніпропетровського держуніверситету і планів тих організацій, для яких призначені результати робіт. Результати досліджень автора протягом 1976 - 2000 гг застосовувалися в таких НДР: д/б тема N 18-26 (держ. реєс. N 01860021140); 1997-1999рр ( д/б тема Міністерства освіти України (держ. реєс. N 11-1-97) “Обґрунтування та розробка засобів діагностики особливостей емоційної і когнітивної діяльності оператора”; д/т 785(держ. реєс. N 76037515) "Розробка пристрою виділення ознак мови для оцінки емоційного стану людини"; д/т 785/80 (держ. реєс. N81067416) "Оцінка емоційної втоми оператора по характеристиках мови"; д/т 785/82 (держ. реєс. N 01830005375) "Аналіз мови операторів із метою виявлення індивідуальних особливостей"; д/т 785/83 (держ. реєс. N 01830005603), що входять у наукову тематику координаційного плану НДР по психології на 1981-1985 р., дослідження проводилися також на підставі наказу Мінвуза СРСР N1065 від 26.09.80 р.

Об'єкт досліджень мовний сигнал це функція багатьох змінних, як суперпозиція функцій меншої кількості змінних.

Предмет досліджень методи, алгоритми й архітектура систем обробки і розпізнавання мовних сигналів, структурна апроксимація ієрархії інформації про мовний сигнал по ланцюжках описів і опрацювання: аналіз сигналів, параметричне, сегментне, символьне, складове, словесне, змістовне уявлення для рішення задачі розпізнавання мовної інформації. Методи досліджень базуються на теорії функціонального аналізу функцій багатьох змінних, цифрової обробки сигналів, теорії апроксимації функцій і ортогональних перетворень, фонетиці, лінгвістиці, базах знань.

Задачі досліджень:

1. Теоретичне обґрунтування і розробка методів аналізу, адекватних складності мовного сигналу.

2. Обґрунтувати і розробити ефективні методи аналізу основного тону.

3. Розробити детерміновані моделі динаміки спектрів Фур'є сигналів на скінченому інтервалі часу як функцій деяких параметрів.

4. Розробити структури даних, які об'єднують різнорідну інформацію про параметричне, фонетичне і відповідне символьне уявлення мовного повідомлення.

5. Розробити детерміновані правила (методи) сегментації мовного потоку, описати правила переходу від неперервного мовного сигналу до опису дискретними лінгвістичними (фонетичними) одиницями (перехід від однієї категорії інформації до іншої).

6. Здійснити алгоритми побудови ланцюжків аналізу, що враховують взаємодію компонент мовного сигналу, розробити і реалізувати алгоритми сплайн-синтезу послідовностей, які розпізнаються.

7. Розробити технологію побудови проектів складних програмних систем і реалізації ППП для дослідження і розпізнавання мови.

Наукова новизна і значення роботи.

1. Вперше запропоновані: а) перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу (Сonsecutive Еxtraction Тransform CET) і на методі послідовних наближень SAT ( Sequential Approximation Transform); б) сплайн-синтез і ідентифікація сегментних-складових послідовностей.

2. Вперше теоретично й експериментально обґрунтовані детерміновані моделі СЕТ, SAT і розподілена частотна функція (РЧФ) у часовій і частотній областях, сегментації і побудови смугової частотної функції (СЧФ) мовотворного тракту.

3. Розроблено алгоритм сегментації мовного сигналу методом верифікації.

4. Вирішено задачу опису мовного сигналу і його спектра, як функції багатьох змінних у базисі елементарних функцій.

5. Запропоновано і реалізований метод двовимірного сплайн-синтезу і ідентифікації сегментних-складових послідовностей, який дозволяє згенерувати мовну послідовність, яка розпізнається по заданому параметричному уявленню компонент..

6. Розроблено інформаційну технологію побудови варіантів складних програмних систем, яка заснована на застосуванні препроцесорних засобів мов сучасного рівня.

Практичне значення результатів.

1. Перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу (consecutive extraction transform CET) і на методі послідовних наближень (SAT Sequential Approximation Transform) дозволяє розв'язувати задачі виділення окремих сигналів і їхніх спектрів із їх взаємної спектральної області, в якой вони перетинаються і моделювати функції багатьох змінних з використанням класів елементарних. Методи були застосовані при виконанні д/б теми N 18-26.

2. Алгоритм сплайн-синтезу і ідентифікація сегментних-складових послідовностей дозволяє згенерувати мовну послідовність, яка розпізнається, по заданому параметричному уявленню складів.

3. Розроблено технологію проектування складних програмних систем на базі передпроцесорних засобів і об'єктно-орієнтованого програмування мови високого рівня СІ, побудований пакет прикладних програм устрою розпізнавання. Технологія застосована при виконанні г/т 785 і г/т 780.

4. Побудовано текстовий редактор із мовним керуванням і реалізовано пословне і фонемне розпізнавання.

Окремі результати досліджень впроваджені з відповідним (соціальним, інформаційним і економічним) ефектом на підприємствах, навчальних закладах, військових частинах, медичних установах:

1. В/ч 35333, м. Москва, в/ч 27177-В, м. Ленінград (Росія);

2. Інститут психології АН СРСР, інститут вищої нервової діяльності АН СРСР (Росія).

3. Підприємство цивільної авіації ( Дніпропетровський об'єднаний авіазагін);

4. 9-а міська клінічна лікарня м. Дніпропетровська, Дніпропетровська обласна лікарня ім. Мечникова.

5. У навчальному процесі Дніпропетровського національного університету, Ленінградського держуніверситету, Київського національного університету, Московського державного педагогічного інституту іноземних мов ім. М. Тореза (МГПИИЯ).

Розроблені засоби розпізнавання демонструвалися на республіканських, всесоюзних і міжнародних виставках і відзначені 6 дипломами 1, 2, 3 ступені, отримані 1 срібна і 9 бронзових медалей ВДНГ СРСР.

Особистий внесок автора. Викладені в дисертації основні результати отримані автором самостійно. У роботах із співавторами дисертанту належить: пропозиція ідеї, конкретизація задачі, розробка основних теоретичних положень, алгоритмів і схем аналізу і розпізнавання мовних сигналів, а також їхніх застосування для прикладних цілей. Автору належать: методи СЕТ і SAT; параметричні моделі опису спектра; теоретичне обгрунтування оптимальної послідовності зіставлення мовних параметрів при розпізнаванні; метод сегментації мови шляхом верифікації тривалих сегментів; одновимірний опис спектрів згладжуючими сплайнами і метод двовимірного сплайн-синтезу і ідентифікації сегментно-складових послідовностей; метод опису багатовимірних функцій у базисах елементарних функцій; інформаційна технологія побудови класів проектів складних програмних систем. У роботах [16] здобувачу належить ідея і розробка формули винаходу, у роботі [6] розробка функціональної схеми блока формування параметрів, у роботах [10; 21; 22] постановка задачі, виконання досліджень і інтерпретація результатів

Апробація роботи. Основні положення і результати досліджень доповідалися і одержали позитивну оцінку на науково-технічних конференціях і семінарах: 1976-1989 рр Всесоюзная школа-семинар "Автоматическое распознавание слуховых образов АРСО-9АРСО-15” ( гг. Минск, Тбилиси, Ереван, Киев, Новосибирск, Каунас, Таллин)”, Всесоюзный симпозиум "Речь, эмоции и личность" (Ленинград, 11-14 ноября 1975г) и (27-28 февраля 1978г, Ленинград); 1-а Всесоюзная конф. "Методы анализа надежности программного обеспечения вычислительных систем реального времени на основе моделей нечеткой логики и качественных описаний" (Киев, КИИГА, 1987); 1-а Всеукраiньска конф. "Обробка сигналiв i зображень та розпiзнавання образiв" (Київ, 7-22 листопада 1992 р); Международная конф. "Теория приближений и задач вычислительной математики" (26-28 мая 1993, Днепропетровск); 3-я Укр. конф."Автоматика-96" (Севастополь, 1996); 3-я Всеукр. міжнародна конф. "Обробка сигналів і зображень та розпізнавання образів" 26-30 листопаду (Київ, 1996); 4-я Укр. конф. "Автоматика-97" (Черкассы, 1997); Міждерж. конф. "Компьютерне моделювання" (Днепродзержинск, 1998); Міжн. конф. з управління АВТОМАТІКА-2000, (м. Львів, 2000); міжн. конф. Авіа-2000, (Киев, 2000); межрег. конф. “Компьютерне моделювання”, (Днепродзержинск, 2000); міжн. конф. Авіа-2001, (Киев, 2001).

Публікації. За матеріалами дисертації опубліковано і депоновано 101 наукових праць. З них: 1 монографія, 3 статті в наукових журналах, 37 у фахових наукових збірниках, 6 авторських свідоцтв, 2 навчальних посібника, 52 матеріалів і тез конференцій.

Дисертація складається з вступу, семи розділів, висновків, актів впровадження, додатків, списку літератури (із 256 джерел посилань). Загальний обсяг дисертації 216 сторінок.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У розділі 1 поставлена задача аналізу мовних сигналів, яка виходить із припущення про те, що мовний сигнал можна уявити як сукупність компонент , де компоненти, що утримують інформацію про властивості мовних сигналів, а саме, про фонетичну структуру повідомлення, індивідуальність і емоційний стан людини. Проста модель сигналу це уявлення його у вигляді суми компонент, кількість і властивості яких змінюються як функція часу

, .

Компоненти визначаються параметрами, які характеризують іх частотні і часові властивості

,

де функція генератора сигналу, описує частотні, часові властивості компонент , тобто

, (1)

де параметр генератора сигналу, степінь загасання компоненти, резонансна частота, положення максимуму по часу, коефіцієнти підсилення частотної і часової компоненти.

Задача опису сигналу є задачею вибору вигляду функцій , , і визначення параметрів компонент ,. Таким чином, функція уявляється як композиція функцій , , , , а параметри ,, в свою чергу, є функціями часу.

Для організації розв'язку початкова функція дискретизується з частотою , формуючи сигнал , який потім розбивається на інтервали аналізу з кількістю відліків N на інтервалі при , де n кількість інтервалів . Таким чином, початковий сигнал можна представити як двовимірний масив. Ілюстрація такого масиву на рис.1, при

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 1

Постановка задачі визначення параметрів , в часовій області можна розв'язувати як найкраще наближення вигляду [1]

Для відомих перетворень Лапласа функцій , і обчислених спектрів Фур'є (при N=256, ) на кожному інтервалі аналізу (рис.1) компоненти спектрально-часового опису по Колмогорову мають вигляд

,

де частотна функція генератора сигналу, описує частотні, часові властивості компонент , тобто композиція спектрально-часового уявлення сигналу має вигляд

. (2)

Задачу визначення параметрів , в частотній області можна розв'язувати як найкраще наближення вигляду

У тексті розділу наведені результати системного аналізу методів опису і розпізнавання мови. Викладено методи первинної обробки мови, у яких описані базисні функції аналізу, параметри і алгоритми сегментації. Огляд пристроїв і програмних засобів розпізнавання мови містить опис деяких найбільш типових устроїв і систем. На основі проведеного аналізу поставлена задача розпізнавання мови як структурної апроксимації різноманітних категорій інформації. В основу первинного аналізу сигналів і їх спектрів покладена теорема Колмогорова А.М. про те, що складна функція може бути подана у вигляді суперпозиції функцій одної змінної.

У розділі 2 наведені методи й алгоритми в задачах обробки і ідентифікації мовних сигналів. Наведений перелік задач, розв'язуваних у дисертації, і визначені методи їх розв'язування:

а) Сформульована постановка задач послівного і фонемного розпізнавання мовних сигналів.

б) Викладена постановка задачі сплайн-синтезу й ідентифікації сегментного-складового розпізнавання.

в). Описана двоетапна схема сегментації і, відповідно, для кожного етапу обрані свої типи мовних одиниць, що частково перетинаються. Для першого етапу в якості мовних одиниць узяті сегменти, зформовані по групових ознаках: П паузи, Ш шумові, Т тональні, де Т включає можливі сполучення ГС, СГ, СС, ГГ голосних Г и тональних приголосних С; Ш включає сполучення ШШ. На другому етапі здійснюється аналіз параметрів для поділу станів Т або Ш на можливі складові частини Ш-Ш, Г-С, С-Г, С-С, Г-Г. На цьому етапі здійснюється верифікація тривалих сегментів на належність складових його відліків до одного або декількох класів фонем.

г). Наведені принципи і методи моделювання мовних сигналів. Мовний сигнал, як носій інформації, містить інформацію про зміст повідомлення, індивідуальності і функціонального стану особи, що говорить, тобто являє собою деяку інформаційну сукупність, у котрої кожна компонента має свою власну ієрархію вхідних її складових. У залежності від цілей розпізнавання (індивідуальності, команд, функціонального стана) одна частина сигналу відноситься до корисної s_к(t), інші до шумової s_ш(t). Загальна форма такої взаємодії рекомендується у виді узагальненого оператора моделі (УОМ):

M[s(t)]=@{s_к (t)#s_ш (t)}, ,

де @ деяка операція над сукупністю s_п (t) і s_ш(t);

# деяка операція взаємодії компонент s_к (t) і s_ш (t).

Можливі операції @ це складання, інтегрування, диференціювання, і ін. або порожня операція, операції # арифметичні, логічні або операції порівняння. До найпростіших операндів належать елементи з заданих класів функцій. Кожний із сигналів s_к (t) і s_ш (t) у свою чергу може бути складним, що містить компоненти, сполучені знаками операцій @, #, при цьому глибина взаємодії сигналів довільна.

Для рішення задачі аналізу розглянуте уявлення багатовимірних функцій у базисі елементарних функцій стосовно до мовного сигналу і його спектра та запропоновано перетворення, засноване на різницевій схемі послідовного вилучення складового сигналу або спектра (consecutive extraction transform CET) ) і на методі послідовних наближень (SAT sequential Approximation Transform), що полягає в послідовному збільшенні порядку системи, що описує спектр. Перетворення дозволяє знайти параметри мовотворного тракту акустичної і біомеханічної систем.

У розділі 3 розглянута технологія обробки інформації про мовний сигнал у часовій області уявлення мовного сигналу, як функції багатьох змінних в класі екстремальних (дзвіноподібних) функцій в частотній області. Отримано функції, у базисі яких реалізується перетворення CET або SAT. Перетворення визначає параметри акустичної і біомеханічної систем: a) коефіцієнти підсилення с_i, резонансні частоти _i, степінь загасання _i при вилученні основних складових; б) розподілену частотну функцію (РЧФ) для заданої послідовності частот _i, послідовність _i розподіл по частотам добротностей елементів мовотворного тракту. Параметри _i, _i розподілені на частотах 100 Гц для біомеханічної системи, на частотах f>100 Гц для акустичної системи.

Розглянемо, як приклад екстремальної функції для і-го резонатору, властивості резонансної ланки другого порядку з імпульсними характеристиками базисними функціями опису системи в часовій області

w_i(t) =w_1i(t)=k₁ sin _it, або w_i(t) =w₂i(t)=k₂ cos _it, (3)

(тут k₁=k₂= / _i, _0i =_i/ , декремент загасання), і передаточними функціями виду

W_1i()=_i /[(j + _i)²+_i²], або W_2i()=(j+_i)/[(j+_i)²+_i²]. (4)

Функції (3)-(4) базисні функції опису системи в частотній області. Найбільше близькими аналітичними функціями до функції генератора тонального сигналу є такі:

s_ги(t)=q^ksink₀t=, або s_ги(t)=q^kcosk₀t=, (5)

з частотною функцією-спектром для (5)

S_ги(k)=q^k = , або S_ги( )= q^k/k = /(/₀) =/( T) (6)

де k=_к/₀, Т=2/₀ ,q<1.

Функції (5) (6) це базисні функції опису генератора в часовій і частотній області. У цілому (3)-(6) являють собою базисні функції першого роду. Часова функція на виході резонатора має вигляд згортки

s_i(t)=с_i= с_i=

=с_i =

=[А_i(t) +В_i(t) ], (7)

_i=2F_ri, _i=_i(t)=_0i(t), (_(i),t)=f_icos(t)=cos _it, (_(i),t)=f_isin(t)=sin _it,

де _i коефіцієнт загасання, _i резонасна частота, _0i частота вільних коливань, _i степінь загасання.

Вираз (7) описує зв'язок між вихідним сигналом у i-у резонаторі, резонансною частотою F_ri(t), частотною характеристикою генератора збудження S_ги( ,t) і добротністю _i резонатора

А_i(t) = с_i [ -

- ]. (8)

В_i(t) = с_i [ +

+ ]. (9)

Мовний сигнал s(t) являє собою суму сигналів "n" резонаторів (1).

Вирази (8), (9) описують базисні функції другого роду для СЕТ у часовій області. Інтервал часу аналізу вибирається в межах T_l=(10-20) mс. Задача визначення параметрів частотної функції акустичної системи у часовій області є розв'язок задачі CET для визначення q, c_(i), _(i), _(i) у базисі функцій А_i(t), Вi(t) як для вилучення основних складових, так і для визначення q, c_(k), _(k) для заданої послідовності _(k)= k₀.

Відповідно до теореми Колмогорова А.М. вихідна функція мовного сигналу s(t) може бути подана як:

s(t)=A(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)( ₍₁₎,t)+ B(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)(₍₁₎,t)+s_{(1 )}(t) (10)

s₍₁₎(t)=s(t)-A(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)( ₍₁₎,t)+ B(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)(₍₁₎ ,t).

s₍₁₎(t)=A(k,q,c₍₂₎,₍₂₎,₍₂₎,_k,t)( ₍₂₎,t)+ B(k,q,c₍₂₎,₍₂₎,₍₂₎,_k,t)(₍₂₎,t)+ s₍₂₎(t),

s_(i-1)(t)=A(k,q,c_(i),_(i),_(i),_k,t)( _(i),t)+ B(k,q,c_(i),_(i),_(i),_k,t)(_(i),t)+ s_(i)(t)

Параметр q визначається на першому кроці, вилучення складових s_(i)(t) продовжується доти, поки виконується співвідношення

, (11)

де потужність s_(i)(t), потужність сигналу s(t), наприклад, для =0,9.

Для (5), (6) аргумент у дискретному виді рекомендується як x_j=2j/N, де N кількість відліків на інтервалі часу аналізу (Т_l=1020 мс), що адаптується відносно тривалості періоду основного тону Т_от= N₀t, t крок дискретизації по часу початкового сигналу.

Для опису (1) параметри q,c_(i),_(i),_(i) визначаються так

=

На першому кроці визначаються q, c₍₁₎, ₍₁₎, ₍₁₎, N₀

= = s(t)-[A(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)( ₍₁₎,t) + B(k,q,c₍₁₎,₍₁₎,₍₁₎,_k,t)(₍₁₎,t)]} ²;

=0; =0; =0; = 0; =0. (12)

Така задача зводиться до рішення систем нелінійних алгебраїчних рівнянь [12]. Біомеханічна система реалізує переміщення стінок акустичної системи з інфранизькими частотами переміщень і коливань м'язів, що формують низькочастотну структуру мовного сигналу: послідовність фонем, структуру зміни обвідних фонем, що у межах тривалості, низькочастотні накладення і модуляції, обумовлені індивідуальністю й емоційним станом людини, перехідними процесами в м'язах при зміні геометричних розмірів акустичної системи. Для біомеханічної системи задача визначення параметрів частотної функції вирішується при максимальній тривалості голосних звуків звичайного темпу мови, що складає Т_ф0,3с. Для вибухових "п, т, к, б, д, г" параметри обчислюються засобами аналізу акустичної системи.

У розділі 4 викладені методи обробки спектрів (у частотній області) для одновимірного випадку. Мовотворний тракт розглядається як "чорна скринька",

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

S_g()S()

на виході якої визначена спектральна функція S(), а для неї може бути побудовано опис згладжуючим сплайном Y(). Задачею є апроксимація функції W() мовотворного тракту у базисі функцій другого порядку

W_i(p) = ,W_i(_k)² =

при подачі на вхід системи сигналу зі спектром S_g(_k)=q^k= .

Фазо-частотна і спектральна функції мовного сигналу відновляються одновимірним згладжуючим сплайном. Фаза визначається як _k=arc tg (b_k/a_k), де 0 _k 2, парна і непарна складова спектра Фур'є.

Припустимо, задано спектральний опис мовного висловлення у виді масиву значень . Сплайн-моделювання здійснюється в класі функцій, що згладжують, як одновимірний опис спектральних параметрів функції Y(,) для фіксованих інтервалів часу. Припустимо, згладжування спектрального опису зводиться до задачі знаходження

= [ S(_k,Т_lN) - Y(,)]²

для сплайн-моделі з неперервними похідними у вузлах склеювання по .

Повний опис спектральної функції в смузі 0-8000 Гц для фіксованого інтервалу часу можна реалізувати моделлю

Y()=A ₁₃ (-₀₎³+ A₁₂ (-₀₎²+A₁₁ (-₀₎+A_{10 0} < ₁, / A₉₃ (-₈₎³+ A₉₂ (-₈₎²+A₉₁ (-₈₎+A_{90 8} < ₉.

для коректного опису формантної структури голосних звуків і плавної спектральної функції гучних звуків найкраще положення вузлів _j=Kj₀ відповідає K₁=3, K₂=6, K₃=9, K₄=12, K₅=20, K₆=30, K₇=45, K₈=60, K₉=80.

Відновлення частотної функції мовотворного тракту по спектральної функції мовного сигналу реалізується апроксимацією спектральної функції в базисі передаточних функцій резонансних ланок другого порядку. Припустимо, визначений спектральний зріз мовного сигналу S(_k,Т_lN), де Т_lN інтервал часу аналізу, , а спектр сигналу голосового джерела має вигляд

S_g(_k) =q^k = для _k=k₀, T=2/₀, q<1.

Для опису (2) побудуємо модель Z(_k,Т_l) функції S(_k,Т_lN), як суперпозицію (13) "n" творів модулів передаточних функцій ланок другого порядку на спектр голосового джерела або у виді добутку "n" модулів функцій передаточних ланок другого порядку на спектр голосового джерела.

1. Уявлення спектрально-часових функцій у базисі дробово-раціональних функцій і функції Гауса

Розглянемо моделі апроксимації вигляду

Z₁(_k,t_l)= ,

lnZ₂(_k, t_l) = ,

для функції збудження зі спектром ,

де , T=1/₀, , <1, Т інтервал аналізу. Для моделей були прийняти наступні припущення.

1). Сегмент промови, що відповідає фонемі, по частоті _k у загальному випадку містить декілька максимумів (для голосних це формантні області).

2). Висловлення (слово) містить декілька сегментів (фонем) у часі.

3). На інтервалі тривалості сегмента в деякій частотній області (формантної) функція енергії спектра може мати декілька локальних максимумів.

4). Для заданого сегмента максимуми функцій на різних частотах у загальному випадку не збігаються в часу.

Методи послідовних наближень SAT і послідовних вилучень CET

Припустимо, що моделі Z₁(_k,t_l), Z₂(_k,t_l) функції S(_k,t_l) утримують

= , , ,

Компонента спектра знаходиться у вигляді:

=

=.

=

= + +

+ ),

На кожному кроці "n=1,2,…" параметри при визначаються за схемою SAT

= [S(_k,t_l)- ]²,

= ln S(_k,t_l)- ]²

за схемою СЕТ

= S_(i-1)(_k,tl)- ]²

= [ln _(i-1)(_k,tl)- ]²

На першому кроці (n=1) визначаються . Для моделі (25) на другому кроці (n=2) визначаються , . Сукупність { } визначається для наступних кроків при . У моделі (26) на другому кроці (n=2) при відомих визначаються . У загальному випадку, часу може відповідати декілька максимумів із частотами _(i), тому при i=1n визначається сукупність { }. Для заданих частот _j будуються розподілені та смугові частотні функції РЧФ, СЧФ.

2. Моделі апроксимації

Z₁(_k,t_l)= ,

lnZ₃(_k,t_l) =

зі спектром вхідної функції.

A. Локон Аньєзi крива 3-го порядку

, ,

де параметри визначають форму локона.

Складову спектра будемо шукати у вигляді

= =

=

=

= .

+

+ - +

На кожному кроці "n" параметри q, a_(i), _(i) визначаються по методу найменших квадратів за схемою SAT

= ]²,

= .

за схемою СЕТ

= [S_(i-1)(_k,tl)- ]².

= =

При n=1 визначаються . Для наступних кроків для моделі CET визначаються , для моделі SAT сукупність { } при тому, що параметр на заданому сегменті промови може мати декілька значень (декілька максимумів за часом). У загальному випадку, часу може відповідати декілька максимумів із частотами _(i), тому при визначається сукупність .

Б. Функція Гауса

Одне з рішень визначаємо в класі функцій виду

,

Складову спектра будемо визначати у виді

= =

= ,де.

= ,

ln = -

+ .

На кожному кроці "n" параметри q, c_(i), _(i), _(i), при визначаються по методу найменших квадратів за схемою SAT

= [S(_k,tl)- ]²,

= [ln(_k,tl)- ]²

за схемою СЕТ

= [S_(i-1)(_k,tl)- ]²,

= [ ln S_(i-1)(_k,tl) - ln ]²

При n=1 визначаються , для моделі . Для наступних кроків CET визначаються , для SAT сукупності { } або { } при тому, що параметр на заданому сегменті мови може мати декілька значень (декілька максимумів за часом).

Наведені послідовності розв'язків задач аналізу для наступних функцій:

В. Експоненційиа функція вигляду

W()= ,

максимум якої при _k=-b/(2), t_l = -d/(2) при , .

Складові спектра визначаються у вигляді

= =

= при .

Г. Експоненційна функція вигляду

W()= , ,

максимум якої при и при , .

Компоненти спектру визначаються у вигляді

===

= при .

У розділі 6 приведені алгоритми розпізнавання. Стратегія сплайн-синтезу й ідентифікації. Дво-трьохсимвольним складам відповідають по (24) сегмента мови ("ар" 2 сегмента, "ара" 3 сегмента, "род" 4 сегмента, тому, що перед "д" буде сегмент "пауза"). Складове розпізнавання засноване на таких властивостях:

вкладеність , Е_g2Е_h3 , Е_h3E_q4, {Е_g2,Е_h3}E_q4;

стикування складів слів=;

Результат розпізнавання будується як {}={(... )₁,... , _p,... ,_N}.

Повна схема зіставлення сплайн-ідентифікація. Для кожній пари складів будуються ланцюжки порівнянь сегментів при параметричному перетині складів:

а) розривний стик складів E_k,n-1 із E_{l ,1} або E_k,n із E_{l ,2}

d_kl ={E_k # + El # }, (39)

при{ # , # }, n>2,

{ # , # }, n2, (40)

{ # , # }, n2, p=1,2,...

де {,} послідовність; n, n1=2,3,4 кількість сегментів у складі слова;

б) для кожної пари сегментів {E_k, E_l} забезпечується неперервне поєднання як

Y₁={E_k, E_l}={ ,.., , ,..., },

Y₂={E_k, E_l}={ ,. ., , ,... , } ,

Y₁, Y₂ описують ту саму послідовність фонем при неперервному поєднанні передостаннього сегмента складу Ek із першим сегментом складу E_l і останнього сегмента складу E_k із другим сегментом складу E_l , забезпечуючи перетин сегментів і .

Рішення задачі розпізнавання полягає в мінімізації

d= [Y₁#{ , }Y₂#{ , } ],

де # операція зіставлення.

На першому кроці виконується повний перебір для складів E_k, склади E_l вибираються відповідно до останньої фонеми складу E_k. Далі для кожного кроку здійснюється зменшення підмножини складів E_g, E_h, E_q, що беруть участь у розпізнаванні. Результат розпізнавання {}={₁,... , _p,... ,_N}.

Згладжуючи сплайни призначені для опису початкового спектрально-часового зображення і РЧФ, які мають змінну швидкість зміни відповідної функції спектра в залежності від частоти . На нижніх частотах в області першої F1 і другої F2 формант спектр змінюється швидко, на верхніх частотах компоненти спектра змінюються повільніше. Функція , що фільтрує, для різних інтервалів аналізу має різні параметри частоти зрізу. Сплайн першого ступеню з одним вузлом і c частотою зрізу

Y₁(_r,₁₎ = a1(_r,₁₎+ a2, _{0 k}, _{r 1},

Y(_i,_r,t)= (44)

Y₂(_r,₂₎ = b1(_r,₂₎+ b2, _{1 k}, _{r 2}.

Для сплайна довільної степені з одним вузлом по частоті

Y(_i,_r,t)= ap ^p-g(_r,_i), _{0 k}, _{r 1},

bp ^p-g(_r,_i), _{1 k}, _{r 2}.

Двовимірний фільтр-ядро по поверхні в координатах і t:

(_r,t)= .

Схеми сплайн-синтезу і сплайн-ідентифікації. Кожний склад і E_k містить групи , по двох, трьох або чотирьох сегментів у вигляді сукупності двовимірних спектрів або параметрів мовотворної системи q, . Між сегментами визначені часові межі Tj. Відповідно до розглянутої теорії аналізу можна побудувати три форми параметричного уявлення: а) SAT або СЕТ сукупність параметрів ql,c_(li), _(li), _(li) для (трьох-п'яти) i-х основних складових сигналу або спектру, як функції часу ; б) РЧФ на заданих частотах _m= m₀; в) СЧФ, сформована з РЧФ. Сплайн-опис параметрів одновимірні або двовимірні накладаються на 2-3-4-сегментні склади в залежності від алгоритму сплайн-синтезу. Склад може бути описаний з одним, двома або трьома вузлами для СЕТ, СЧФ, РЧФ. Алгоритми сплайн-синтезу мають наступний вигляд.

А. Cплайн-синтез без сплайн-опису і без перетину складів.

Б. Розривний сплайн-синтез без сплайн-опису, із перетином складів. В. Cплайн-синтез з сплайн-описом і без перетину складів. Для СЕТ і СЧФ на кроку "p" будується двовимірний сплайн з (1-3) вузлами за часом.

Г. Сплайн-синтез з сплайн-описом, із перетином складів. Для СЕТ і СЧФ для "m" основних складових або частотних смуг на кроці "p" будується двовимірний сплайн (А) з (1-3) вузлами за часом.

Д. Сплайн-синтез із сплайн-описом, із перетином складів. Для РЧФ на кроці "p" будується двовимірний сплайн (B) з (1-3) вузлами за часом.

Синхронізація процесів аналізу і розпізнавання. Кожна еталонна послідовність Y_k містить [y_k0(),... , y_ki(),... ,y_km()] елементів, що об'єднуються в _k груп, кожна група в еталонній послідовності містить _j фонем, j=1_k, вхідна послідовність X складається з x₀(),... ,x_l(),... , x_r() елементів, що об'єднуються в груп послідовності, кожна група вхідної послідовності містить _p фонем, p=1.

Задача сегментації визначити межі між групами або фонемами. Сегментація мови верифікацією на належність до деякого класу елементів [y_k0(),...,y_ki(),... , y_km()]; [x₀(),... ,x_l(),... ,x_r()] з близькими параметрами здійснюється за правилом

d=extrem {x_u}#{x_t }.

u,,t

Межа визначається як

d₁ =max {x_u}#{x_u+},

u=v+; v=0, , 2 ,... ,r-2 ; =1

за умови

T_seg >0,2 сек,

де крок верифікації( у даній роботі =3;2;2); # операція зіставлення (бітового в Хемінговому або десяткового в Евклідовому просторах). У Евклідовому просторі

d1u= , d2u =

При сегментації по групових ознаках можуть утворитися довгі сегменти типу Ш-Ш, С-С, Г-Г, С-Г-С, Г-С-Г. У якості ознаки необхідності перевірки сегмента на наявність внутрішньої межі застосовується умова. Якщо внутрішньої межі немає, то на даному інтервалі не буде максимуму d. На інтервалі може бути декілька максимумів. У цьому випадку вибирається глобальний максимум на інтервалі T_seg і сегмент ділиться на два нових. Кожний сегмент, що знову утворився, перевіряється за умовою і, якщо необхідно, ділиться на дві частини, реалізуючи розподіл за правилом і умовою. Для повної сегментації достатньо три рекурсії з кроком =3;2;2 відліків.

Метод ієрархії при розв'язку задачі розпізнавання мови. Задача побудови систем розпізнавання мови на довільного диктора містить такі частини: а) вибір системи параметрів і їхнє нормування; б) вибір методу поелементного зіставлення реалізацій і послідовності зіставлення параметрів або їхньої сукупності; в) забезпечення реального масштабу часу розпізнавання.

У якості параметрів застосовується матриця акустичних параметрів: інтенсивність, частоти, степінь загасання, які обчислені методами СЕТ і SAT (СЧФ). Задача розпізнавання полягає у виборі оптимальної послідовності розпізнавання і звуженні підмножин розпізнаваємих слів за часом Т и по надійності розпізнавання:

_k = f(y_k ,U_k ), T_k = f_t (y_k ,U_k ), U_k = U_k,i,

де y_k k-я послідовність рівнів, а U_k,l=f_u (y _k)- підмножина слів рівня l, l=(1m).

На кожному рівні визначається деяка підмножина слів U_k,l, для яких властиві деякі загальні ознаки. Граничними випадками можуть бути: а) ознака притаманна усім словам; б) ознака не притаманна жодному слову; в) ознака притаманна тільки одному слову; г) ознака притаманна не порожній підмножині, що містить частину поочної підмножини. Коефіцієнт розподілу поточних підмножин Q_l= , де n₀ обсяг словника, n_l кількість слів підмножини U_l, яким притаманна дана ознака при l=1m, а Q_l задає коефіцієнт розподілу вихідної множини U для незалежної класифікації по окремих рівнях. Пошук здійснюється по випадковим значенням ознак і тут можливі варіанти.

1. У залежності від часу розпізнавання по кожній ознаці при T₁=T₂=... T_m рівні розташовуються в порядку зростання коефіцієнтів розподілу Q . 2. При Q₁=Q₂=... Q _m-1 рівні розташовуються в порядку зростання T . 3. При T₁=T₂=... T_n і Q₁=Q₂=... Q _m-1 порядок проходження рівнів не має значення. 4. Усі T_i і Q_i у загальному випадку різноманітні.

Оптимальна послідовність етапів розпізнавання має вигляд

... ...

У розділі 7 наведена технологія побудови устроїв розпізнавання промови. Загальна схема проектування містить: 1. Блок аналізу мовних сигналів у базисах функцій СЕТ, РЧФ, СЧФ, Фур'є, Мат'є, Лежандра, Чебишева, Уолша, Ерміта та ін. Опис параметрів за допомогою інтерполяційних сплайнів і сплайнів, що згладжують. 2. Вибір типів мовних одиниць: 3. Сегментація. 4. Вибір метрики і критеріїв порівняння. 5. Вибір методів порівняння.

Практичне розв'язання задачі на основі екстремальних функцій полягає у наступному. Функція в області утримує довільну кількість сплесків спектральної енергії, розташованих довільним чином в заданої області. Необхідно функцію сегментувати і апроксимувати в класі функцій , , для цього визначити параметри сплесків функції як параметри функцій , . Для розв'язку задачі в області будується сітка , де M кількість сегментів, N кількість пар граничних частот. Межі кліток сітки визначають початкові значення параметрів по частоті і часу. Розв'язання задачі реалізовано у класі функцій локону Аньєзі

, ,

де визначають форму локона, складова спектру має вигляд

=

=.

Різницева схема вилучення складових СЕТ у прямому вигляді для спектральної функції S(_k,t_l)

+,

=

+ ,

+

Відбір складових здійснюється для кожної клітини сітки , .

Параметри визначаються по методу найменших квадратів для

=[

-]².

Метод покоординатного спуску для рішення задачі мінімізації полягає у виборі напрямку зміни параметрів за правилом:

, , , ,

, , із точністю EPS.

Для кожного вигляду екстремальних функцій існує свій параметр, який визначає ширину відповідної функції щодо положення її максимуму. Для локона Аньєзі такими параметрами є: по частоті, за часом.

Алгоритм сегментації використовує властивість екстремальних функцій, що їх дотичні, проведені в точках перетину, перетинаючи з віссю часу, утворюють границі сегментів, а ширина сегменту . У свою чергу в реалізованому алгоритмі пошук сплесків у часі здійснюється для, як задача розбиття вихідного опису на M сегментів. Для цього вибирається вихідний інтервал аналізу тривалістю , де тривалість неперервного звуку (голосного, згодного, шумового), . На кожному наступному кроці початок інтервалу аналізу зміщується на величину (аналіз для кожного сегмента здійснюється у всьому частотному діапазоні). У результаті сегментації фонема може бути зображена у вигляді послідовності з одного і більше сегментів. Задача розпізнавання вирішується як задача зіставлення частотних параметрів екстремальних функцій a_(i,j) , b_(i,j) , c_(i,j) .

Проектування складних програмних систем. Класу розв'язуваних задач {z_i} відповідає один проект c_j, сукупність проектів утворює клас або множину взаємозалежних проектів p_k. Кожний проект являє собою параметричну модель вихідного тексту програми, що реалізує клас задач. Взаємодію задач, класів і проектів можна уявити так: c_j ={z₁ ,z₂ ,... ,z_i ,... ,z_nkj} сукупність задач z_i класу проекту c_j ; p_k ={c₁ ,c₂ ,... ,c_j ,... ,c_mk} сукупність p_k взаємозалежних проектів-класів c_j або локальна система проектів (ЛСП); sm={p₁ ,p₂ ,... ,p_k,... ,p_r} (super main) узагальнений уявлення системи проектів (УУСП).

Для реалізації технології проектування застосовуються мови програмування C++, GNU C++, Delphi.

Побудований базовий алгоритм розпізнавання на основі функцій Аньєзі, Гауса та ін. В частотній області діапазон частот (1006000) Гц розбивається на 15 шарів з кроком зміни частоти шару 400 Гц. Для кожного шару на сегменті заданих частотних межах обчислюються параметри функцій Аньєзі, Гаусу або ін., розв'язуючи задачу апроксимації початкового спектрально-часового уявлення як суму локонів

,

при.

Для обчислених значень параметрів будується п'ять груп опису еталонних послідовностей кожного слова (складу):

1) максимуми функцій локону; 2) синтезоване спектрально-часове уявлення вигляду; 3) бітове уявлення із синтезованого спектрально-часового уявлення; 4) двовимірний сплайн-опис спектрально-часового уявлення двовимірного фільтру; 5) початкове спектрально-часове уявлення .

При розпізнаванні реалізована ієрархія. Проста схема розпізнавання для словників до 1000 слів оперує з уявленнями:

Вид 2) вид 5) ,

для котрих задана внутрішня ієрархія, яка сформована послідовністю шарів в граничних частотах

(1002000) Гц (1003000) Гц (1004000) Гц

(1004000) Гц (1005000)Гц (1006000)Гц.

На кожному кроці внутрішньої ієрархії реалізується ділення обсягу розпізнаваємої підмножини на два. Повна схема утримує всі параметричні уявлення: Вид 1) вид 2) вид 3) вид 4) вид 5).

Порівняння по уявленню “вид 1)” має найбільшу швидкодію, порівняння по уявленням “вид 2)”, "вид 5)" найбільшу надійність. Кожен рівень порівняння постачає наступному половину еталонних послідовностей і зменшує розпізнаваєму підмножину. На останньому етапі приймається остаточне рішення. Експериментальні дослідження на словнику 800 слів виявили високу стійкість отриманих вірних відповідей розпізнавання. На етапі навчання надійність розпізнавання складає не менше 98%. В процесі експлуатації для окремих слів здійснюється донавчання. Програмне середовище реалізоване в оболонці мови Delphi в двох арифметиках: з плаваючою точкою і в цілочисленному вигляді з форматом уявлення параметрів як слово (16 біт). Уявлення в цілочисленному вигляді дало можливість отримати час розпізнавання для указаного словника, близькій до реального висловлення.

ВИСНОВКИ

Результати вирішення науково-технічної проблеми по створенню теоретичних основ аналізу і розпізнаванню мовних сигналів функцій багатьох змінних як суперпозиції функцій меньшого числа змінних і розробки методів реалізації при обробці мовних сигналів зводяться до наступного:

1. Вперше запропонований і реалізований метод побудови частотної функції мовотворного тракту людини шляхом послідовного вилучення компонент у часовій і частотній областях (Consecutive Extraction Transform CET) і послідовних наближень SAT ( Sequential Approximation Transform). Розроблені алгоритми і схеми аналізу в прямому і логарифмічному видах при розв'язку задач визначення механізму формування мовних сигналів у часовій і частотній областях. Дано опис мовного сигналу в базисі функцій CET- і SAT- перетворень при розв'язку задач структурної апроксимації спектрів у різних базисах.

2. Запропоновано і реалізовано 5 методів формування функції сегментації: верифікацією послідовності параметрів; диференціюванням функцій у частототних смугах; ідентифікацією відрізків мови символами Г, С, У, Ш по групових ознаках; виділенням із обвідних сигналів у частотних смугах сигналів в діапазоні частот (312) Гц; по методу СЕТ, що у сукупності дозволяє розв'язати у повному обсязі задачу сегментації.

3. Для структурної апроксимації параметричних функцій у виді СЕТ- і SAT-перетворень сигналів реалізовано сплайн-перетворення для фонемних і сегментно-складових послідовностей, що дозволяє розв'язати задачу опису і синтезу функцій параметрів при розпізнаванні, що визначає послідовність переходу від однієї категорії інформації до іншої, так наприклад, від параметричної до фонетичної, від символьної до словесної, при цьому мінімізуються часові витрати розпізнавання мови.

4. Теоретично й експериментально обгрунтована модель адаптивного аналізу основного тону (ОТ), яка заснована на дробових номерах коефіцієнтів Фур'є, що дозволяє здійснити синхронізацію процесу розпізнавання.

5. Розроблено обчислювальні схеми, алгоритми і програмне забезпечення сплайн-синтезу і сплайн-ідентифікації мовних сигналів.

6. Обгрунтована і реалізована оптимальна послідовність порівняння мовних параметрів при розпізнаванні, що дозволяє побудувати ієрархію розпізнавання у виді подвійкового дерева розподілу словника еталонів на підсловарі. мовотворний сигнал частотний

7. Для аналізу і наступного об'єднання різноманітних категорій інформації про мовний сигнал розроблена концепція проектування класів програмних систем із застосуванням передпроцесорних засобів мови програмування СІ і об'єктно-орієнтованого програмування, що дозволяє генерувати і модифікувати програмні засоби. Розроблені алгоритми і програмне середовище розпізнавання мови, протестовані і реалізовані для значного об'єму словників на мові DELPHI.

8. Результати вирішення даної науково-техничної проблеми впроваджені у організаціях різних галузей науки і техніки та учбовому процесі.

ОСНОВНИЙ ЗМІСТ ДИСЕРТАЦІЇ ОПУБЛІКОВАНО В РОБОТАХ

1. Карпов О.Н. Технология построения устройств распознавания речи. Монография. Д.: Изд-во ДНУ. 2001. 184 с.

2. Карпов О.Н. Представление функций многих переменных в классе функций меньшего числа переменных. Методы анализа речевых сигналов. Монография. Д.: Изд-во ДНУ. 2003. 112 с.

3. Карпов О.Н. Текстовый редактор с речевым управлением // Проблемы управления и информатики. К., 1997. N2. C. 132145.

4. Карпов О.Н. Сплайн-описание слоговой структуры речи // Математичне моделювання. Днепродзержинск: ДТУ, 1998. С. 42-47.

5. Карпов О.Н. Технология первичной обработки информации о речевом сигнале // Актуальні проблеми автоматизації та інформаційних технологій. Д., 2001. Т.4. С. 31 40.