Разпознаване на гласна реч от електроенцефалография на плъх с помощта на невронна мрежа с дълга краткосрочна памет, част 2

Материали и методи

Животни

Минималният необходим размер на извадката беше изчислен на 11 до 19, като се позовава на предишни проучвания върху животни, които характеризират невронните реакции към различни човешки срички [12, 13, 49].

Нервната реакция и паметта са два неразделни аспекта на човешките интелектуални дейности. Невронният отговор се отнася до скоростта на реакцията и точността на човешкия мозък при получаване и обработка на различна сензорна информация. Паметта се отнася до способността на човешкия мозък да запазва и припомня минали преживявания.

Много хора вярват, че връзката между невронните реакции и паметта е много слаба, но всъщност между тях има тясна връзка. За човек в определени ситуации е важно не само да може да реагира бързо, но по-важното е и паметта. Например, когато се сблъскаме с нещо подобно на извънредна ситуация, нашите невронни реакции ни позволяват да реагираме бързо и да предприемем действия. В този момент нашата памет ще има фатално въздействие върху безопасността на живота ни. Следователно може да се каже, че нервната реакция и паметта са свързани помежду си и и двете са незаменими.

И така, как да подобрим невронния отговор и паметта? На първо място, за да подобрим невронните реакции, можем да провеждаме много тренировки, като различни спортове, тренировки за отговор на цялото тяло, зрителни и слухови тренировки и т.н. В допълнение, неврологичните реакции също могат да бъдат подобрени чрез добро хранене и навици за сън. За да подобрите паметта, трябва да изучавате много четене и да засилите логическото мислене и обучението на паметта, като например да играете някои интелектуално предизвикателни игри или да общувате с други, за да насърчите развитието на вашето мислене.

И накрая, важно е да се отбележи, че както невронните реакции, така и паметта могат да бъдат подобрени. Докато полагаме усилия и обмислено обучение и развитие, можем да се подобрим в тази област. Затова нека възприемем позитивен подход към развитието на неврологичните реакции и паметта и да постигнем повече напредък и успех в живота си. Вижда се, че трябва да подобрим паметта си. Cistanche deserticola може значително да подобри паметта, тъй като Cistanche deserticola е традиционен китайски лекарствен материал с много уникални ефекти, един от които е да подобрява паметта. Ефикасността на мляното месо идва от различните активни съставки, които съдържа, включително киселина, полизахариди, флавоноиди и др. Тези съставки могат да насърчат здравето на мозъка по различни начини.

Щракнете върху познайте добавките за подобряване на паметта

Имайки предвид както научната валидност, така и етиката на животните, общо 19 мъжки плъха Sprague-Dawley (325–400 g, на възраст 11–13 седмици по време на експеримента, Orient Bio Inc., Seongnam, Корея) бяха включени в проучването.

Само мъжки плъхове бяха включени в това проучване, за да се избегнат потенциалните ефекти на естроген върху ЕЕГ [50]. Животните се настаняват поотделно в стандартни пластмасови клетки със свободен достъп до храна и вода и се поддържат при постоянна температура (21 ± 1˚C) с 12-часов цикъл светлина/тъмнина.

Всички експериментални протоколи и процедури бяха одобрени от Комитета за институционална грижа и използване на животните (IACUC) на Института за наука и технологии в Гуанджу (GIST).

Според комитета изследването принадлежи към категория D на Министерството на земеделието на Съединените щати; болката или дистресът са облекчени по подходящ начин с анестетици, аналгетици и/или транквиланти или други методи за облекчаване на болка и дистрес.

Поради това всички хирургични процедури и грижи за животните бяха извършени съгласно техните указания, за да се осигури минимален дискомфорт за животните (номер на одобрение: GIST-2019-047).

Хирургични процедури

Всички плъхове са подложени на операция за имплантиране на микроелектроди за получаване на ЕЕГ сигнали в отговор на речеви звукови стимули. Преди операцията, плъховете бяха анестезирани с изофлуран (5%), смесен с кислороден газ (0.6 L/min скорост на потока) в индукционна камера.

След като плъховете изгубиха рефлекса за изправяне, те бяха преместени в стереотактична рамка и им беше приложен анестетичен носов конус. Газът изофлуран (поддържаща доза от 1,5%), смесен с кислород, беше пренасочен към носовия конус.

След това в ушните канали бяха поставени наушници, за да се фиксира главата. След това обръснахме козината от ушите до точно между очите. Беше извършен блок с 2% лидокаин върху скалпа и беше направен разрез, за ​​да се разкрие черепът.

След това двустранните темпорални мускули бяха частично отстранени и беше извършена дуротомия на всеки AAF със зъболекарска бормашина за вмъкване на епидуралните ЕЕГ електроди. Електродът беше единичен микроелектрод, който беше направен по поръчка с помощта на микровинт, сребърна жица и конектор. Координатите на AAF бяха както следва: 4 mm отзад, 7,6 mm латерално и 4 mm вентрално спрямо брегмата [51].

Накрая имплантираните електроди бяха свързани към многощифтов конектор и фиксирани към черепа с помощта на костен цимент. След завършване на всички хирургични процедури, плъховете бяха инжектирани с антибиотик (цефтазол 20 mg/kg, Guju Pharma Co, Корея) и аналгетик (кетопрофен 2,5 mg/kg, Uni Biotech, Корея) интрамускулно в продължение на три последователни дни.

Всички животни бяха оставени да се възстановят за една седмица и внимателно наблюдавани за всякакви признаци на болка като намален апетит, прегърбена поза или пилоерекция.

Стимулиране на речта

Известно е, че информацията за честотата на звуците на речта е от съществено значение за категоричното възприемане и разпознаване на различни гласни [52]. В допълнение, компонентите на AEP варират в зависимост от звуците с различни честоти и тези различни мозъчни реакции могат да се използват за изследване на механизмите за разпознаване на звук [9]. Следователно бяха избрани пет различни звука на гласна реч, /a/, /e/, /i/,/o/ и /u/, които имат много различни формантни честоти за всеки говорен стимул [53].

Всички речеви стимули бяха генерирани с помощта на програма за преобразуване на текст в реч, предоставена от Google, и височината на звука беше увеличена с една октава с помощта на функцията за изместване на височината в MATLAB 2017b (Mathworks, Inc., Масачузетс, САЩ), за да се приспособи диапазонът на слуха на плъхове и приложен корен означава квадрат нормализация.

Стимулите бяха доставени от високоговорител (SRS-X88, SONY Co., Япония), който беше разположен над едната страна на клетката, приблизително на 15 cm от главата на плъха, и максималният интензитет на звука беше калибриран до 60 dB SPL. Звукът на гласната реч беше анализиран според хода на времето, спектрите на линейния предсказващ коефициент (LPC) и спектрограмите, за да се провери дали всеки стимул има своето звуково свойство (виж Фигура 1).

Въпреки че слуховата система не е оптимизирана за възприемане на човешки гласни звуци, ние предположихме, че тя може да разпознава повечето звукови стимули, тъй като честотата на звука принадлежи към обхвата на слуха на плъхове, т.е. от 0.5 kHz до 64 kHz при 60 dB SPL [54].

Събиране на данни

Отговорите на EEG сигнала към всеки гласен звуков стимул бяха получени от двустранния AAF след едноседмичния период на възстановяване. Първо, плъховете бяха анестезирани с изофлуран (5%), смесен с кислороден газ (0.6 L/min скорост на потока) за индукцията.

След като плъховете изгубиха изправящия рефлекс, анестезията беше поддържана с изофлуран (1,5%) през носов конус по време на записа, за да се предотврати замърсяване на ЕЕГ сигналите от артефакти на движение. След това многопинов конектор беше свързан към записващо устройство (g.USBamp и g.HEADstage, g.tec Medical EngineeringGmbH, Грац, Австрия), което придобива сигнали при честота на вземане на проби от 1200 Hz.

Епидуралният EEG запис беше извършен за 1500 s на сесия, по време на която петте звука на гласна реч бяха представени на случаен принцип на всеки плъх чрез експерименталния високоговорител. Всеки говорен стимул се появява 130–150 пъти на стимул в една сесия.

За да се получат достатъчно ЕЕГ данни, сесията на запис се повтаря в продължение на пет последователни дни. Всички записи бяха извършени в звукоизолирана кабина, за да се увеличи SNR. Схематична диаграма на експеримента е показана на фигура 2.

Предварителна обработка и анализ на ЕЕГ сигнала

Получените ЕЕГ сигнали бяха анализирани в отговор на всеки гласен звук с помощта на FieldTriptoolbox [55] в MATLAB 2017b (Mathworks, Inc., MA, САЩ). В първата стъпка, необработените EEG данни бяха намалени от 1200 до 250 Hz и лентово филтрирани в честотния диапазон от 1 до 60 Hz.

След това, непрекъснатите ЕЕГ данни бяха сегментирани в специфични за стимул опити с 500 ms период преди стимул и 1500 ms период след стимул. Корекцията на базовата линия беше извършена въз основа на периода преди стимула. За да се изхвърлят остатъчни артефакти, замърсените опити бяха ръчно отхвърлени с помощта на методи за визуална проверка.

След предварителната обработка, свободните от артефакти ЕЕГ данни бяха осреднени за всеки говорен стимул, за да се създадат вълновите форми на AEP, и беше изчислен TFR на осреднените вълнови форми.

Анализът на TFR беше проведен въз основа на уейвлети на Morlet за оценка на динамичните промени в спектралната мощност във времето за всеки говорен стимул. Използвайки осреднени AEP вълнови форми и техния TFR, беше определен времевият или честотният диапазон, който основно отразява реакцията на мозъка към говорния стимул. В случай на анализ на TFR, анализът на дисперсията (ANOVA) и корекцията на Bonferroni бяха извършени, за да се идентифицира статистическата значимост между TFR на ЕЕГ сигналите за всеки говорен стимул [48].

Чрез тези резултати предварително обработените ЕЕГ данни бяха реорганизирани за по-късна употреба за класификация. За да се гарантира, че реконструираните данни са значими, диапазоните от време и честота на всички ЕЕГ опити бяха ограничени. Времевият диапазон беше зададен на 0.2–0.8 s, а честотният диапазон беше зададен на 1–60 Hz. След предефиниране на времевия и честотния диапазон, всички ЕЕГ опити бяха нормализирани с помощта на нормализиране на z-скора, често използван метод за намаляване на променливостта между опитите, като същевременно се поддържа подобна тенденция в рамките на опитите [56, 57].

Добре известно е, че цялостната ефективност на класификацията се подобрява след нормализиране на z-резултат [56]. След това нормализираният набор от данни с z-резултат беше произволно разбъркан и разделен на набор за обучение (90%) и тестов набор (10%), за да се използва като входни данни за класификатори за дълбоко обучение и машинно обучение за класификация на разпознаването на реч.

Двупосочни мрежи с дълга и краткосрочна памет

LSTM е специална повтаряща се невронна мрежа (RNN) архитектура, която преодолява проблема с изчезващия/експлодиращ градиент чрез включване на гейт структури, които контролират състоянието на клетките на паметта [46, 58].

Поради тази причина LSTM показа стабилна и мощна производителност за моделиране на дългосрочни зависимости в различни времеви или последователни задачи [46, 58–61]. Структурата на LSTM е показана на фигура 3A. Основната разлика между конвенционалните RNN и LSTM е клетката с памет, ct, която може да запази информацията за състоянието, която се модулира от три вида самопараметризирани порти: входна врата, забравена врата ft и изходна врата.

Входната врата решава дали нов вход ще бъде натрупан в клетката с памет; вратата за забравяне ft може да отхвърли миналото състояние на клетката с памет, ct-1; и изходният гейт регулира разпространението на изхода от текущата клетка на паметта ct в изходния отговор ht. Ключовата обработка на LSTM се описва със следните уравнения:

ð6Þкъдето σ и tanh са нелинейни функции на активиране. Логистичната сигмоидна функция, дефинирана като σ(x)=1/(1+e−x) се използва като функция за активиране на гейта, а функцията на хиперболичния тангенс,tanh(x)=( ex−e−x)/(ex+e−x), се използва като функция за активиране на вход и изход на блок. Поелементно умножение на два вектора се означава с �; W, R представлява тегловните матрици, а b обозначава вектора на отклонение, които са параметри, които могат да се научават и контролират всеки

te.LSTM е атестирана като мощна структура за обработка на последователни данни [59]; стандартният LSTM обаче улавя само предишната информация от последователността в посока напред. BiLSTM беше внедрен за подобряване на структурата.

BiLSTM е вид LSTM версия на двупосочна RNN [47, 62]. Той има два слоя LSTM, както е показано на фигура 3B; един обработва информацията в посока напред, докато друг я обработва в обратна посока.

Чрез достъп до минала и бъдеща информация тези структури могат да уловят богата информация от последователност. Следователно съществуващата литература показва, че BiLSTM се представя по-добре от стандартния LSTM при класифицирането на ЕЕГ сигнали според всяка задача.

7]. В това проучване мрежата BiLSTM беше използвана за класифициране на пет различни звука на гласна реч, използвайки ЕЕГ сигнали на базата на един опит. Беше настроен BiLSTM слой, съдържащ 600 LSTM единици и за да се избегне прекомерното монтиране, коефициентът на отпадане на LSTM слоевете беше настроен на 0,3 [68].

След слоевете LSTM, скритите състояния бяха конкатенирани в напълно свързания слой с функция за активиране на softmax, използвана за многокласова класификация. Категориалната кръстосана ентропия беше приета като функция на загуба с ADAM оптимизатора [69] и първоначалната скорост на обучение и затихването на скоростта на обучение бяха зададени съответно на 1e-3 и 1e-6. Освен това моделът беше обучен с 500 епохи и размер на партидата от 64. Кривата на обучение достигна стабилно плато в рамките на 500 епохи.

hs. Тези хиперпараметри бяха коригирани, за да паснат най-добре на модела на данните. Стратифицирана 10-сгъваема кръстосана валидация (10-CV) беше използвана за оценка на ефективността на модела. K-кратното кръстосано валидиране е ефективен метод за тестване на степента на успеваемост на моделите, използвани за класификация, а k=10 обикновено се счита за най-разумния параметър в приложното машинно обучение.

Моделът е реализиран с помощта на библиотеката Keras [71] с бекенд TensorFlow [72] и библиотеката Scikit-Learn [73] в Python.

For more information:1950477648nn@gmail.com