Подобрено извличане на параметри на функции от говорни сигнали с помощта на алгоритъм за машинно обучение (1)

Резюме: Разпознаването на говор се отнася до способността на софтуера или хардуера да получава говорен сигнал, да идентифицира характеристиките на говорещия в говорния сигнал и да разпознава говорещия след това. Като цяло процесът на разпознаване на реч включва три основни стъпки: акустична обработка, извличане на характеристики и класифициране/разпознаване. Целта на извличането на характеристики е да се илюстрира говорен сигнал с помощта на предварително определен брой компоненти на сигнала. Това е така, защото цялата информация в акустичния сигнал е прекалено тромава за обработка и част от информацията е неуместна в задачата за идентификация. Това проучване предлага подход, базиран на машинно обучение, който извършва извличане на параметри на функции от речеви сигнали, за да подобри производителността на приложенията за разпознаване на реч в интелигентни градски среди в реално време. Освен това принципът на картографиране на блок от основната памет към кеша се използва ефективно за намаляване на изчислителното време. Размерът на блока на кеш паметта е параметър, който силно влияе върху производителността на кеша. По-специално, прилагането на такива процеси в системи в реално време изисква висока изчислителна скорост. Скоростта на обработка играе важна роля при разпознаването на реч в системите в реално време. Това изисква използването на съвременни технологии и бързи алгоритми, които увеличават ускорението при извличане на характеристиките на параметрите от речеви сигнали. Проблемите с овърклокването по време на цифровата обработка на речеви сигнали все още не са напълно разрешени. Експерименталните резултати показват, че предложеният метод успешно извлича характеристиките на сигнала и постига безпроблемна класификация в сравнение с други конвенционални алгоритми за разпознаване на реч.

Cistanche deserticola

Ключови думи: гласово разпознаване; паралелно изчисление; разпределено изчисление; многоядрен процесор; извличане на характеристики; спектрален анализ

1. Въведение

Установяването на комуникационни подходи между хората и компютърните технологии е критична задача в съвременния изкуствен интелект. Един от най-лесните методи за потребителите да въвеждат информация е чрез речеви сигнали. Следователно технологията за обработка на говорни сигнали и нейните инструменти са се превърнали в необходима част от информационното общество. Разпознаването на реч е основен изследователски аспект на обработката на речеви сигнали и жизненоважна техника за взаимодействие човек-компютър. Речевите сигнали съдържат семантична, лична и информация за околната среда [1]. Общият подход към обработката на говорния сигнал е да се използва краткосрочен анализ, при който сигналът се разделя на времеви прозорци с фиксиран размер, като се приема, че параметрите на сигнала не се променят. Между прозорците се поставя припокриване, за да се получи по-точно представяне на сигнала. Към всеки прозорец се прилагат алгоритми за извличане на функции като спектрален анализ и линейно предсказване. Тези процеси обаче трябва също така да вземат предвид скоростта и времето.

Пустинен женшен

Времето е значителен проблем в няколко области на обработка на сигнали в реално време. Коефициентът на скорост на обработка може да бъде увеличен чрез ефективно използване на ресурсите на процесора и разработване на нови и бързи алгоритми за намаляване на времето за цифрова обработка. Проблемите с високопроизводителните изчисления обаче все още не са напълно разрешени [2]. Освен това е постигнат значителен напредък в автоматичното разпознаване на реч с разработването на хардуер и софтуер за цифрова обработка на сигнали. Въпреки този напредък обаче, машините не могат да достигнат производителността на своите човешки партньори по отношение на точност и скорост на разпознаване, особено при разпознаване на реч, независимо от говорещия. По този начин голямо количество изследвания, проведени върху разпознаването на реч, са фокусирани върху проблеми с разпознаването на реч, които са независими от говорещия, поради широкия набор от приложения и ограниченията на наличните техники за разпознаване на реч [3].

В обобщение, основните приноси на изследването са както следва:

Чай от цистанче

Щракнете тук, за да видите продуктите за чай Cistanche deserticola

【Попитайте за повече】 Имейл:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Процесът на идентифициране на човек чрез речеви сигнали се състои от няколко етапа. Някои от тях изискват повече време за изчисление. Това е спектрален анализ. Един от параметрите, който е особено важен в алгоритмите за машинно обучение, е времето за обучение. В тази работа открихме, че процесът на извличане на характеристики е важен за идентифицирането на речеви сигнали. Освен това, машинното обучение отнема много време. Установено е, че процесът на спектрален анализ се състои от независими операции и е възможно паралелизиране.

Експериментите показват, че FFT и DCT спектралните трансформации дават добри резултати в спектралния анализ. Процесът на спектрален анализ е валиден за всеки сегмент от речевия сигнал. Това ни позволява ясно да разграничим тези характеристики от речевия сигнал. С помощта на инструментите OpenMP и TBB беше разработен паралелен изчислителен алгоритъм, който направи възможно ускоряването на изчисленията.

Размерът на сегмента е важен при разделянето на говорен сигнал на сегменти. По време на експериментите е установено, че размерът на сегмента на речевия сигнал зависи от кеш паметта на централния процесор. По-специално, установено е, че съпоставянето на сегмента с размера на кеша в многоядрените процесори има положителен ефект върху изчислителната скорост в машинното обучение.

Предложен е нов паралелен метод за внедряване за спектрални трансформации на сигнали за извличане на параметри на характеристики от речеви сигнали, използвайки алгоритъм за машинно обучение на многоядрени процесори, използващи TBB и OpenMP.

Установено е също, че ефективното използване на принципа на съпоставяне на блока от основна памет към кеша и размера на блока от кеш памет може да увеличи скоростта на обработка.

Добавка Cistanche близо до мен-Подобряване на паметта

Останалата част от този документ е организирана по следния начин. Раздел 2 прави преглед на съществуващите проучвания за извличане на специфични свойства на говорния сигнал. Раздел 3 описва стъпките за извличане на функции с експерименти. Раздел 4 представя предложения високопроизводителен изчислителен алгоритъм за извличане на параметрите на характеристиките от речеви сигнали в детайли. Експерименталните резултати, базирани на нашата реализация, са обсъдени в раздел 5. Раздел 6 подчертава ограниченията на предложения метод. И накрая, раздел 7 приключва проучването, като обобщава констатациите и отбелязва бъдещите насоки на изследване.

2. Свързани произведения

В момента се разработват и подобряват нови методи, алгоритми и по-модерни приложения за сегментиране на речеви сигнали и изчисляване на параметрични индикатори на избрани фрагменти, като по този начин се създава спектрограма на речеви сигнали с помощта на спектрален анализ [4–7]. Идентифицирането на говорещия с разнообразни гласови клипове по целия свят е решаваща и предизвикателна задача, особено при извличането на енергични и разграничителни характеристики [8]. Нова система за извличане на функцията Mel Frequency Cepstral Coefficients (MFCC), която е по-бърза и по-енергийно ефективна от традиционната реализация на MFCC, беше предложена от Korkmaz et al. [9]. Вместо да използват високочестотен филтър за предварително подчертаване, те използваха нискочестотен филтър. Те внедриха лентов филтър с високочестотен филтър, тъй като е необходимо предварително подчертаване, за да се увеличи енергията на сигнала във високите честоти. В нашата предишна работа [10] представихме нов метод, базиран на MFCC, за идентифициране на високоговорители. Вместо да използваме конвенционални MFCC, ние използваме пиксели от спектрограмата на Mel като набор от функции. Спектрограмата беше трансформирана в 2-D масив, за да се създаде нов набор от данни. За идентифициране на говорещия бяха приложени на практика няколко алгоритми за обучение с 10-техника за кръстосано потвърждаване на пъти. С помощта на многослоен перцептрон (MLP) с функция за активиране tanh е постигната най-добрата точност от 90,2 процента.

Извличането на характеристики се осъществява чрез промяна на формата на речта на вълната във форма на параметрично представяне при относително по-ниска скорост на данни за последваща обработка и анализ [11–14]. Подходите за извличане на характеристики обикновено дават многоизмерен вектор на характеристиките за всеки говорен сигнал. Извличането на характеристики е най-подходящата част от разпознаването на говорещия. Характеристиките на речта имат жизненоважна роля в отделянето на говорещия от другите. Извличането на характеристики намалява величината на речевия сигнал, без да причинява увреждане на мощността на речевия сигнал [15–17]. В [18] авторите въведоха нов подход, който използва фината настройка на параметрите на размера и изместването на прозореца за спектрален анализ, използван за изчисляване на първоначалното краткотрайно преобразуване на Фурие, за да подобри производителността на зависимо от говорещия автоматично разпознаване на реч (ASR) система. При липса на лекари неспециалистите могат да използват системи за подпомагане на вземането на решения, които са създадени с помощта на подходи на изкуствен интелект. Ранното и неинвазивно откриване на сърдечния статус може да се осъществи с помощта на фонокардиограмни (PCG) сигнали [19–21].

Доказано е, че конволюционните невронни мрежи (CNN) успешно симулират структурна локалност в пространството на характеристиките, както и използват обединяване в рамките на предубедена честотна област, за да намалят транслационните вариации и да се коригират за смущения и малки промени в пространството на характеристиките [22]. Мухамадиев и др. предложи модел за разпознаване на реч на Марков, скрит от край до край на дълбока невронна мрежа, и хибридна мрежа за внимание във връзка с времева класификация (CTC) за узбекския език и неговите диалекти. Предложеният подход намалява времето за обучение и подобрява точността на разпознаване на реч чрез ефективно използване на целевата функция на CTC в обучението по модел на внимание [23]. В [24] беше предложено извличане и класифициране на признаци с помощта на модел на едномерна конволюционна невронна мрежа (CNN), който разделя звуковите сигнали на сърцето на нормални и абнормни, директно независими от електрокардиограма (ЕКГ). Те твърдят, че точността на класификацията е по-висока в 1D CNN, отколкото в 2D CNN за сърдечните звукови сигнали, използвани в това изследване, когато ядрото на конволюцията е по-малко от 52, тъй като едно голямо ядро ​​на конволюция може да доведе до изчислителна сложност и отнема все повече време . В [25] дълбока невронна мрежа беше обучена да максимизира задната точност на последователностите на състоянията на акустичните модели относно последователностите на речеви характеристики, използвайки базата данни TIMIT (TIMIT Acoustic-Phonetic Continuous Speech Corpus).

3. Предварителна обработка: Преглед на материала

Добавка Cistanche близо до мен-Подобряване на паметта

За тази цел разработването на бързи алгоритми за извличане на характеристики на параметри от речеви сигнали и параметрични представяния, извличането на полезни и информативни проби за обработка и разработването на програми за изпълнение на спектрограми на избрани акустични сегменти са незаменими.

Системите за разпознаване на реч се състоят от две основни подсистеми:

Първична обработка на речеви сигнали (фонограма);

Класификация на акустични символи с помощта на интелигентен алгоритъм (спектрограма).

Първата подсистема генерира акустични символи като набор от информативни акустични свойства на сигналите и характеристиките на сигнала. Втората подсистема преобразува говорния сигнал в параметрична форма въз основа на получените акустични характеристики. Обработката на речеви сигнали се състои от следните етапи:

Разделяне на границите на говорния сигнал;

Цифрово филтриране;

Сегментиране;

Нанасяне на изглаждащ прозорец;

Спектрална трансформация и нормализация на спектрални честоти.

Тези стъпки се използват широко за извличане на параметри на функции от речеви сигнали и техните основни характеристики се разглеждат по-долу.

3.1. Разделяне на границите

Извличането само на части от речта от входящия сигнал или определянето на началния и крайния момент на изречение в шумна среда е основна задача при обработката на речта. За решаването на този проблем се използват следните свойства на речевия сигнал: кратковременната енергия на речевия сигнал, броят на точките, пресичащи се на нула, плътността на разпределението на стойностите на полето на мълчание в сигнала и спектрална ентропия. Традиционните системи за разпознаване на реч използват техники, които се основават на преходните и спектралните енергии на сигнала (напр. детекция на гласова активност), за да определят границите на речта от входящите речеви сигнали [26–28].

Основните параметри на речевия сигнал са краткотрайната енергия на речевия сигнал и броят точки, преминаващи през нулата. По правило параметрите на говорния сигнал се променят бързо във времето; следователно е обичайно да се обработва говорен сигнал на фрагменти с дължина от 10 до 30 ms, които не се припокриват. Речевият сигнал е неподвижен в рамките на този диапазон и областите на мълчание в речевия сигнал се премахват чрез изчисляване на преходната енергия. Алгоритъмът за решаване на тази задача е разделен на N последователности от 256 краткотрайни енергийни стойности на следващия говорен сигнал.

Изчисляването на енергията на всеки фрагмент чрез разделяне на речевия сигнал е подходящо за паралелни и разпределени изчисления. Всеки фрагмент се обработва независимо. Ако се приложи обработка в n-ядрен мултипроцесор, ще бъде възможно да се изчисли енергията на n фрагмента едновременно. Следователно е възможно да се увеличи ефективността на паралелната обработка по време на този етап [29–32].

3.2. Брой преминавания през нулата

Пресичането на нулата е точка, в която знакът на математическа функция се променя (напр. от положителен към отрицателен), което е представено чрез пресичане на оста (нулева стойност) в графиката на функцията [33]. Честотата на преминаване през нулата в сигнала може да бъде най-ясният индикатор за неговите спектрални свойства. Например, броят на точките, които преминават през нула в говорен сигнал, може да се определи с помощта на следното уравнение:

Фигура 1. Метод за разделяне на речта, базиран на спектрален ентропиен анализ.

3.3. Цифрово филтриране

В допълнение към типичния полезен сигнал присъстват различни видове шум. Тъй като шумът влияе отрицателно върху качеството на системите за разпознаване на реч, справянето с шума е неотложен проблем. За намаляване на нивата на шум в системата се използват два вида цифрови филтри: линеен филтър и начален филтър. Линейният филтър може да се счита за комбинация от ниско- и високочестотни филтри, тъй като улавя всички ниски и високи честоти. Първоначалното филтриране се прилага, за да се минимизира влиянието на локалните смущения върху характерните маркировки, които се използват за последваща идентификация. Речевият сигнал трябва да бъде прекаран през нискочестотен филтър за спектрално подравняване [35].

3.4. Сегментиране

Сегментирането е процес на разделяне на говорен сигнал на отделни, незастъпващи се фрагменти. Сигналът обикновено се разделя на речеви единици като изречения, думи, срички, фонеми или дори по-малки фонетични единици. Сегментирането на записи, които съдържат изказванията на много говорещи, може да се състои в приписване на части от изказвания на определени говорещи. Терминът "сегментни станции" понякога се използва за обозначаване на разделяне на речевия сигнал на кадри преди параметризирането му [36,37].

3.5. Спектрална трансформация

Необходимо е да се разграничат основните характеристики на говорните сигнали, които се използват в по-късните етапи от процеса на разпознаване на говор. Изходните характеристики се определят чрез анализ на спектралните свойства на говорните сигнали. Алгоритъмът за бързо преобразуване на Фурие обикновено се използва за получаване на спектралната честота на говорен сигнал [38,39].

3.6. Нормализация на спектралните честоти

Целият изчислителен процес в интелигентните алгоритми се основава на движещи се десетични числа. Следователно параметрите на обектите, които се класифицират с помощта на невронни мрежи, са ограничени до диапазона [{{0}}.0, 1.0]. Полученият спектър се нормализира между 0 и 1, за да се приложи спектрална обработка с помощта на невронната мрежа. За да се постигне това, всеки векторен компонент се разделя на своите максимални компоненти.

Методите за спектрална обработка позволяват използването на всички проби от данни, които са получени от речевия сигнал. Много речеви сигнали имат специфична честотна структура и спектрални свойства. Спектралните методи осигуряват високопрецизна обработка на речеви сигнали. Недостатъците на спектралната обработка включват ниска гъвкавост в локалните характеристики на сигналите, липса на спектрални измерения и относително високи изчислителни разходи.

Трансформацията на Фурие, вълновият анализ и много други алгоритми се използват широко в спектралната обработка на речеви сигнали. Трансформацията на Фурие се използва в много области на науката, включително обработката на реч. При обработката на речеви сигнали трансформацията на Фурие преобразува сигнала от времевото поле в спектралното поле като честотен компонент [40].

В предишни проучвания за спектрален анализ бяха приложени дискретна трансформация на Фурие (DFT), дискретна косинусова трансформация (DCT), краткосрочна трансформация на Фурие и вълнова трансформация. Тези методи бяха използвани за трансформиране на фрагменти от говорен сигнал в честотната област и изчисляване на спектъра. Пакетите TBB и OpenMP бяха използвани за създаване на паралелни алгоритми за спектрални трансформации. При тези методи командата разделя сигнала на рамки; например N=16, 32, … или 4096 за всеки кадър [4]. Размерът на всеки създаден кадър е равен на размера на блока на кеш паметта, тъй като кеш паметта е фактор, който влияе върху ефективността на паралелната обработка. Резултатите от ускорението са изобразени на Фигура 2.

Фигура 2. Резултати от ускорението за (а) четири- и (б) осем-ядрени процесори.

За софтуерната реализация на алгоритмите за паралелна обработка бяха извършени серийна и паралелна обработка на четири- и осем-ядрени процесори, които бяха приложени с помощта на персонални компютри и сървъри, както е посочено в таблица 1.

Таблица 1. Характеристики на процесорите Intel.

Основната характеристика на DCT алгоритъма е периодичността. Предимство на DCT е, че има тенденция да концентрира по-голямата част от енергията на сигнала върху малък брой фактори. Следните уравнения предоставят елементите на матрицата на коефициента:

където L(k) е стойността на DCT, k е индекс на коефициенти, x(n) представлява елементи от данни и N е размерът на рамката.

Параметрите на анализа на Фурие са в основата на методите, които се използват за генериране на характерни вектори в повечето системи за разпознаване на реч при цифровата обработка на речеви сигнали в рамките на спектралната област. Mel-честотните кепстрални коефициенти (MFCC) [41] и техниките за линейно предсказващо кодиране (LPC) [42,43] се използват в анализа на Фурие за генериране на спектрограмни изображения от речеви сигнали. Спектрите, получени с помощта на анализ на Фурие, предоставят кратка и точна информация относно говорния сигнал, както е показано на фигура 3.

Фигура 3. DFT: (a) промяна в честотния диапазон във времевата област и (b) спектрограма.

Двуизмерни (2D) сигнали бяха използвани за спектрален анализ в експериментите. Характеристиките на 2D спектралния анализ, които се използват в алгоритми за паралелна обработка на изображения, са подходящи за паралелна обработка в многоядрени процесори [38]. По-специално, векторите и матриците за права и обратна трансформация имат двоични измерения и съвместимостта на тази многоядрена процесорна архитектура може ефективно да увеличи изчислителната скорост. Затова приложихме последователна и паралелна обработка на компютър с различни характеристики на процесора за хардуерната реализация на алгоритмите, използвани за обработка на 2D сигнали (Таблица 2)

Таблица 2. Характеристики на прилагане на процесори Intel.

Целият 2D сигнал беше разделен на идентични фрагменти с различни размери на всеки етап [44]. Стойностите на избраните фрагменти бяха между разделителни способности на пикселите от 16 × 16 и 1024 × 1024. Скоростта на паралелния DCT алгоритъм, използващ пакета OpenMP, в сравнение с тази на последователния алгоритъм е представена на Фигура 4 Използването на паралелен 2D спектрален анализ алгоритъмът за многоядрени процесори дава резултат за овърклок, който е близък до броя на ядрата.

Фигура 4. Резултати от ускорението за 2D паралелен спектрален анализ.