Microsoft Word – Задълбочено обучение срещу традиционни модели_Абдел Хай_Финал. Част 2

За да се подготвят данните за модели на машинно обучение, бяха извършени следните техники за предварителна обработка на данни.

Данните и паметта са тясно свързани. В съвременното общество ние получаваме голямо количество информация и данни всеки ден, включително текст, снимки, видеоклипове и т.н. Ефективното обработване и организиране на тези данни изисква от нас силна памет.

От една страна, данните могат да ни осигурят поддръжка на паметта. Например, когато научаваме нови знания, можем да разбираме и овладяваме точки от знания по-бързо и по-добре, като запаметяваме съответните данни и факти. Този вид метод на обучение може да ни помогне да изградим силна памет и да поддържаме способността да контролираме знанията за дълго време.

От друга страна, данните също могат да ни помогнат да тренираме и подобрим паметта. Чрез различни методи за обучение на паметта можем гъвкаво да използваме данните, за да извършваме обучение на паметта, да подобрим паметта си до известна степен и по този начин да се адаптираме по-добре към развитието на обществото и нуждите на работата и живота.

Може да се види, че връзката между данните и паметта е много тясна и важна. Само чрез активно и ефективно обработване и използване на данни можем да използваме по-добре възможностите на паметта си и да постигнем по-добри резултати. Следователно трябва активно да се отнасяме към връзката между данни и памет, да провеждаме подходящо обучение и приложения и постоянно да подобряваме способностите си. Вижда се, че трябва да подобрим паметта и Cistanche deserticola може значително да подобри паметта, тъй като Cistanche deserticola може също да регулира баланса на невротрансмитерите, като например повишаване на нивата на ацетилхолин и растежни фактори. Тези вещества са много важни за паметта и ученето. В допълнение, месото може също да подобри притока на кръв и да насърчи доставката на кислород, което може да гарантира, че мозъкът получава достатъчно хранителни вещества и енергия, като по този начин подобрява мозъчната жизненост и издръжливост.

Щракнете върху познайте начините за подобряване на мозъчната функция

Категоричните характеристики бяха горещо кодирани; непрекъснатите и дискретни характеристики бяха нормализирани с помощта на техники за минимално-максимално нормализиране,32 определени като:

Имаше различен брой записи във всяка среща за всяка от следните характеристики. Така вместо това бяха изчислени следните статистически стойности. За диастолното и систолното кръвно налягане изчислихме минимални, максимални и средни стойности.

За BMI са използвани минимум, максимум, средна стойност и коефициент на вариация. Тези статистически стойности бяха нормализирани и използвани като характеристики. Освен това броят на характеристиките се различаваше при срещите поради различния брой лабораторни тестове, диагнози и процедури. Една среща може да има множество диагнози и/или процедурни кодове или нито един.

За да се коригира това и да се обедини размерността на векторите на характеристиките, бяха използвани следните техники за представяне на данни, за да се подобри обучението на моделите. За диагностика и кодове на процедури използвахме представянето на еднократно кодиране, където всяка стойност беше зададена на 0 или 1, което показва дали кодът на диагностика/процедура съществува или не за всяка среща. Променихме леко тази техника за представяне на данни за лабораторни тестове, тъй като всеки тест имаше свързан резултат.

Следователно заменихме 1, което показва, че съществува код, с лабораторния резултат. Лабораторните резултати бяха нормализирани с помощта на Уравнение 1. Тъй като резултатите бяха от различни единици и мерки, когато нормализирахме лабораторните резултати, взехме предвид минимума и максимума за всеки лабораторен код поотделно. Тази техника създаде многоразмерен рядък масив поради многото уникални кодове.
След това използвахме алгоритъма за декомпозиция на единична стойност (SVD), за да научим вграждане и намалена размерност. SVD беше използван, тъй като не приема квадратна матрица като вход и е по-добър за оскъдни данни.33 Лабораторните тестове бяха намалени до 50 компонента, процедура кодовете бяха намалени до 45 компонента, а диагностичните кодове бяха намалени до 25 компонента.

Бяха изследвани различни компоненти и беше наблюдавано съотношението на сумата на дисперсията, за да се определи оптималният брой компоненти за намаляване на размерността. Всички характеристики бяха свързани във вектор на характеристики за всяка среща. SVD беше приложен за всяка среща поотделно, за да се намалят и унифицират измеренията; измерението на срещите беше намалено до 50 характеристики на среща.

След това свързахме всички срещи за даден пациент във вектор на характеристиките, подреден последователно по дата на приемане. Разпределението по класове беше 27 511 пациенти без повторно приемане (отрицателен клас) и 9 130 пациенти, които бяха приети повторно (положителен клас).

Експериментални подходи

Проведохме обширни експерименти, използвайки данните от ЕЗД, за да постигнем следните цели:

- Прогнозирайте дали пациентите с диабет ще бъдат повторно приети в рамките на 30 дни

- Сравнете производителността на използваните DL методи с няколко традиционни модела

- Анализирайте колко предишни срещи (т.е. исторически данни) в рамките на 2 години е оптимално за прогнозиране на обратно приемане

- Оценявайте ефектите от включването на всички лабораторни тестове в данните срещу учене от подмножество тестове, избрани от експерт по домейн

В това проучване DL моделите приемат като вход 3-3-дименсионален тензор � x � x �, за да представят f характеристики за всяка от e срещи за p пациенти. Обратно, в традиционните модели данните обикновено се представят като 2-дименсионална матрица, като всички характеристики на всички срещи, съответстващи на един пациент, са свързани в дълъг вектор на характеристиките.

Размерността на всяка среща беше намалена и унифицирана до 50 характеристики, следователно в дълбокия модел � е с размер 50. В традиционния модел векторът на характеристиките се състои от всички срещи и следователно е с размер � x 50.

Пациентите имат различен брой срещи, което води до нееднакви размери; следователно векторите на характеристиките бяха подплатени с 0 за постигане на унифицирана форма. Представянето на данни, използвано като вход за DL и традиционните модели, е илюстрирано съответно в левия и десния панел на Фигура 1.
За да моделираме хетерогенни последователни данни, разработихме 2 варианта на DL модели и сравнихме и двата с няколко традиционни модела, използвани като базови линии. DL моделите, използвани в нашето изследване, бяха: 1) 1-мрежи с дълга краткосрочна памет (LSTM), които са вариант на повтаряща се невронна мрежа (RNN), която е способна да научава зависимост от реда на последователни данни32; и 2) двупосочен затворен рекуррентен модул (GRU), който е друг вариант на RNN.

Традиционните модели, използвани като базови линии, са: 1) Случайна гора (RF), метод на ансамбъл за класификация и регресия; по време на обучението той конструира множество дървета на решения;30 RF често постига най-съвременното представяне в съществуващата литература за прогнози, използвайки медицински данни. 2) Многослоен перцептрон (MLP), прост модел на невронна мрежа, който не отчита времева информация.

MLP се състои от множество слоеве персептрон, извършва обучение с обратно разпространение и използва нелинейна функция за активиране.31 3) Логистична регресия (LR), интерпретируем модел, използван често в съществуващата литература за прогнози за обратно приемане и прилаган към медицински данни; и 4) AdaBoost, който е по-малко склонен към пренастройване, тъй като неговите входни параметри не са съвместно оптимизирани.

DL моделите бяха внедрени с помощта на библиотеки на Python „Keras“, API от високо ниво на „TensorFlow“. Библиотеката "Scikit-learn" беше използвана за внедряване на традиционни модели в Python.

Архитектурата на предложения модел, LSTM, се състои от 128 неврона, последователен слой, слой за преоформяне, който беше използван за преоформяне на входа към 3-дименсионален тензор, и маскиращ слой със стойност на маската 0 използвани за пропускане на времевите стъпки, за които липсват данни.

Тъй като подпълването с 0s беше извършено за уеднаквяване на измеренията, маскиращият слой беше използван, за да се избегне всяко изчисление с липсващите стойности във всички слоеве след маскиращия слой, следователно липсващите стойности не бяха отчетени по време на обучението.

Освен това беше добавено отпадане между скрития и изходния слой. Използването на тази техника за произволен избор на даден процент за намаляване е често срещана техника за регулиране, която помага на модела да научи общи модели в данните.

RNN е вариант на невронни мрежи, които се състоят от скрити неврони, които са в състояние да анализират времеви EHR данни.32 RNN включва същата структура като основната невронна мрежа, но невроните в същия слой са свързани, което позволява на неврон да се учи от същото съседни слоеве, в допълнение към обучението от изходите на предишните слоеве и входните данни. По този начин RNN невроните включват два източника на входове, настоящето и близкото минало. Процесът на обучение се определя като:

За да се изчисли стойността �" на скрит неврон, �, нелинейна трансформационна функция, ReLU, се прилага към претеглената �стойност на неговия ляв скрит неврон �"#$ и претеглената � стойност на неговия вход �".

Прогнозите се изчисляват с помощта на асигмоидна функция на претеглената � сума на всички скрити неврони с добавено отклонение �. Недостатъкът на RNN е, че страда от проблема с изчезващия градиент, което означава, че теглата остават непроменени, което затруднява сближаването на модела, следователно моделът се бори да се учи.

За да се реши това, беше въведен слой LSTM, в който сигмоидните неврони на RNN са заменени с по-сложна структура на краткосрочната памет. LSTM споделя едни и същи тегла в слоевете, което намалява броя на параметрите, които мрежата изчислява.

GRU е алтернативно решение за премахване на проблема с градиента. Той замества простия неврон с затворена единица, която има по-малко параметри от LSTM невроните, тъй като му липсва изходен гейт.33

For more information:1950477648nn@gmail.com