Приложение на повтарящи се невронни мрежи с дългосрочна и краткосрочна памет за прогнозиране на скоростта на вятъра

Резюме:

Прогнозирането на скоростта на вятъра е един от най-важните и предизвикателни проблеми при прогнозирането на вятърната енергия за производството на електроенергия. Дългата краткосрочна памет беше използвана като решение за краткосрочната памет за справяне с проблема с изчезването или експлозията на градиентна информация по време на процеса на обучение, преживян от повтарящата се невронна мрежа (RNN), когато се използва за изучаване на времеви серии.

Дългосрочната памет е неделима от паметта. Паметта е доста сложен процес, който включва всички аспекти на човешкия мозък, включително усещане, възприятие, познание, внедряване, реакция и т.н. Нашата цел е да съхраняваме информацията, която получаваме, в дългосрочна памет за по-късна употреба.

Моделът на дългосрочната краткосрочна памет (LTM) е важен в този процес. LTM се отнася до способността ни да съхраняваме информация, която е обработена. Тоест LTM ни помага да съхраняваме информация от краткосрочната памет в мозъка. А за паметта дългосрочното съхранение е крайната цел.

В нашия живот много фактори, които произвеждат дългосрочна памет, са свързани с личния опит и дейности. Например, излагането на дадена ситуация за достатъчно дълго време, слушането на лекция или подобряването на паметта може да увеличи паметта.

Моделът на дългосрочната краткосрочна памет може просто да се обясни по следния начин: когато за първи път научим част от информацията, можем да я съхраним в краткосрочната памет. Тази информация ще се съхранява за определено време, но ще изчезне бързо. Въпреки това, ако се замислим дълбоко върху тази информация или я свържем с предишен опит, тя ще бъде прехвърлена в дългосрочната памет.

Следователно, ключът към подобряване на нашата дългосрочна памет е да поддържаме мозъка си активен, позитивно и креативно мислене. Можем да упражняваме мозъка си, като четем книги, играем интерактивни игри, изследваме нови неща и пишем дневници. По-специално, тясното комбиниране на обучение и изследване може по-добре да укрепи паметта.

Накратко, влиянието на модела на дългосрочната и краткосрочната памет върху паметта е от решаващо значение. В живота и обучението трябва да обръщаме внимание и да упражняваме паметта. Чрез активно мислене и упражнения можем непрекъснато да подобряваме способността си за дългосрочна памет и да научаваме нови знания по-лесно и ефективно. Вижда се, че трябва да подобрим паметта си. Cistanche може значително да подобри паметта, тъй като може също така да регулира баланса на невротрансмитерите, като например повишаване на нивата на ацетилхолин и растежни фактори, които са много важни за паметта и ученето. В допълнение, Cistanche може също така да подобри притока на кръв и да насърчи доставянето на кислород, което може да гарантира, че мозъкът получава достатъчно храна и енергия, като по този начин подобрява жизнеността и издръжливостта на мозъка.

Щракнете върху познайте добавките за подобряване на паметта

В това изследване този проблем е разгледан чрез предлагане на модел за прогнозиране, базиран на дълготрайна памет и дълбока невронна мрежа, разработена за прогнозиране на стойностите на скоростта на вятъра на множество времеви стъпки в бъдещето.

Метеорологичната база данни в Халифакс, Канада, беше използвана като източник за две серии от скорости на вятъра на час. Два различни сезона пролет (март 2015) и лято (юли 2015) бяха използвани за обучение и тестване на прогнозния модел. Резултатите показват, че използването на предложения модел може ефективно да подобри точността на прогнозирането на скоростта на вятъра.

Ключови думи: прогнозиране; дългосрочна памет; множество времеви редове; RNN; скорост на вятъра.

1. Въведение

Прогнозирането на скоростта на вятъра е много трудно предизвикателство в сравнение с други променливи на атмосферата и това се дължи на техния хаотичен и непостоянен характер, който причинява трудности при интегрирането на вятърната енергия в мрежата.

Тъй като скоростта на вятъра е един от най-развитите и най-евтините източници на зелена енергия, точното прогнозиране в краткосрочен план се превърна във важен въпрос и има решаващо въздействие върху електрическата мрежа. За прогнозиране на скоростта на вятъра в краткосрочен план бяха приложени както динамични, така и статистически методи, както и някои хибридни методи, които комбинират двата метода.

Изпълнението на модели за цифрово прогнозиране на времето (NWP) с висока разделителна способност изисква разбиране на много от основните принципи, които ги поддържат, включително асимилация на данни, познания за това как да се оцени моделът NWP в пространството и времето и как да се извърши валидиране и проверка на прогнозите. Това може да бъде скъпо от гледна точка на изчислително време.

Надеждните методи и техники за прогнозиране на скоростта на вятъра стават все по-важни за характеризиране и прогнозиране на вятърните ресурси [1]. Основната цел на всяка прогноза е да изгради, идентифицира, настрои и валидира модели на времеви серии.

Прогнозирането на времеви редове е един от най-важните приложни проблеми на машинното обучение и изкуствения интелект като цяло, тъй като подобряването на методите за прогнозиране ще направи възможно по-точното прогнозиране на поведението на различни фактори в различни области. Традиционно такива модели се основават на методите за статистически анализ и математическо моделиране, разработени през 60-те и 70-те години на миналия век [2].

Моделът ARIMA беше използван за прогнозиране на скоростта на вятъра с помощта на общи мерки за коефициента на грешка за точност на прогнозиране на модела [3]. Наскоро дълбокото обучение в общността за машинно обучение придоби значителна популярност, тъй като се счита за обща рамка, която улеснява обучението на дълбоки невронни мрежи с много скрити слоеве [4].

Наличието на големи масиви от данни, съчетано с подобряването на алгоритмите и експоненциалния растеж на изчислителната мощност, доведе до несравним скок на интерес към темата за машинното обучение.

Тези методи използват само исторически данни, за да научат случайните зависимости между миналото и бъдещето. Сред тези методи, повтарящи се невронни мрежи (RNN), които са предназначени да научат последователност от данни чрез преминаване на скрито състояние от една стъпка на последователността към следващата, комбинирано с входа, и пренасочването му напред и назад между входовете [5] .

Базираната на дълга краткосрочна памет повтаряща се невронна мрежа (LSTM-RNN) се използва за прогнозиране на вятърна енергия с 1 до 24 часа напред [6]. Беше направено сравнение между LSTM, машина за екстремно обучение (ELM) и SVM. Резултатите показват, че подходите за задълбочено обучение са по-ефективни от традиционните методи за машинно обучение за подобряване на точността на прогнозиране чрез структурата на невронната мрежа с насочен контур и специална скрита единица [7]. Проучванията предполагат, че свързването на модели на NWP и изкуствени невронни мрежи може да бъде от полза и да осигури по-добра точност в сравнение с конвенционалните методи за намаляване на мащаба на модела на NWP [8].

Численият метод за прогнозиране на времето (NWP) е един от най-използваните методи и е подходящ за дългосрочна, а не за краткосрочна и средносрочна прогноза поради голямото количество изчисления [9]. Направен е анализ на точността на прогнозиране на скоростта на вятъра на повтарящите се модели на невронни мрежи и те са представили по-добри резултати в сравнение с едновариантните и многовариантните модели ARIMA [10].

Бяха разработени линейни и нелинейни авторегресивни модели с и без външни променливи за прогнозиране на скоростта на вятъра в краткосрочен план. Три показателя за ефективност, MAE, RMSE и MAPE бяха използвани за измерване на точността на моделите [11].

Методът LSTM беше използван за прогнозиране на скоростта на вятъра и резултатите бяха сравнени с традиционна изкуствена невронна мрежа и авторегресивни интегрирани модели на подвижна средна, предложеният метод доказа по-добри резултати [12]. Моделът на дългосрочната памет (LSTM) беше направен за краткосрочна пространствено-времева прогноза за скоростта на вятъра за пет местоположения, използвайки двугодишни данни за историческа скорост на вятъра и авторегресия.

Моделът имаше за цел да подобри точността на прогнозиране за по-кратък времеви хоризонт. Например, използването на LSTM за два или три часа може да прогнозира хоризонти, простиращи се до петнадесет дни, като се използва NWP модел, който се актуализира обикновено с честота от шест часа [13]. Скоростта на обучение на RNN за прогнозиране на многовариантни времеви серии обикновено е относително бавна, особено когато се използва с голяма дълбочина на мрежата.

Напоследък разнообразието от RNN, наречено дългосрочна памет (LSTM), беше предпочитано поради превъзходната си производителност по време на фазата на обучение чрез по-добро решаване на проблеми с изчезващи и експлодиращи градиенти на стандартната RNN архитектура [14,15].

Бяха предложени модели на дълга краткосрочна памет (LSTM) и времеви конволюционни мрежи (TCN) за управлявано от данни прогнозиране на метеорологични условия и тяхното представяне беше сравнено с класически подходи за машинно обучение (стандартна регресия (SR), опорна векторна регресия (SVR), произволна гора ( RF)), подходи за статистическо машинно обучение (Авторегресивна интегрирана подвижна средна (ARIMA), векторна автоматична регресия (VAR) и векторен модел за коригиране на грешки (VECM)) и метод на динамичен ансамбъл (Арбитраж на експерт по прогнозиране (AFE)).

Резултатите от предложения модел демонстрират способността му да предсказва ефективно и точно време [16]. Въпреки непрекъснатото развитие на изследванията върху алгоритъма LSTM при дългосрочно прогнозиране на скоростта на вятъра, традиционният алгоритъм RNN за прогнозиране все още е предпочитан в повечето изследвания.

В тази статия акцентът е поставен върху приложението на алгоритъма LSTM в областта на прогнозирането на скоростта на вятъра и сравнението между ефективността на прогнозиране и точността на алгоритъма при различни времеви серии за скорост на вятъра е използвано за обучение и тестване.

2. Методология и източник на данни

2.1. Източници на данни

В това проучване предложеният модел беше приложен само за краткосрочно прогнозиране на скоростта на вятъра, за да се избегне високото изчислително време за извършване на динамично намаляване на мащаба чрез използване на NWP модели като модела за изследване и прогнозиране на времето (WRF). Данни за скоростта на вятъра от станцията Halifax Dockyard в Нова Скотия, която се намира на 44,66◦ северна ширина, 63,58◦ западна дължина.

Скоростта на вятъра е измерена на височина 3,80 m и е използвана като източник за два различни сезона, пролет (март 2015 г.) и лято (юли 2015 г.), както е показано на фигура 1.

И за двата сезона данните, записани на всеки час, (576 четения/24 дни) като наблюдения и (168 четения/7 дни), съответно, като групи за обучение и тестване. Предложеното внедряване на LSTM се вписва добре в набора от данни от времеви серии, който може да подобри точността на конвергенцията на процеса на обучение.

2.2. Повтарящи се невронни мрежи

Повтарящите се невронни мрежи (RNN) са невронни мрежи с последователни данни, чиято цел е да предскажат следващата стъпка в последователност от наблюдения спрямо предишни стъпки в същата последователност.

RNN съдържат скрити слоеве, разпределени във времето, което им позволява да съхраняват информация, получена в предишни етапи на четене на серийни данни. Скоростта на вятъра зависи в краткосрочен и дългосрочен план.

Простият RNN модел не е в състояние да се справи с дългосрочни времеви зависимости. Един проблем, който възниква от разгръщането на RNN е, че градиентът на някои от теглата започва да става твърде малък или твърде голям, ако мрежата се разгъне за твърде много времеви стъпки.

Това явление се нарича проблем с изчезващи градиенти и може да съхранява краткотрайна памет само защото включва функциите за активиране на скрития слой само от предишната времева стъпка и това причинява загуба на информация в дългосрочен план [17,18].

Тип мрежова архитектура, която решава този проблем, е LSTM. В типична реализация скритият слой се заменя от сложен блок от изчислителни единици, съставен от порти, които улавят грешката в блока, образувайки така наречената "въртележка на грешки" [5]. Фигура 2 показва структурата на RNN, където изходът от предишния скрит слой се въвежда в текущия скрит слой. Моделът RNN се изразява с

2.2. Повтарящи се невронни мрежи

Повтарящите се невронни мрежи (RNN) са невронни мрежи с последователни данни, чиято цел е да предскажат следващата стъпка в последователност от наблюдения спрямо предишни стъпки в същата последователност. RNN съдържат скрити слоеве, разпределени във времето, което им позволява да съхраняват информация, получена в предишни етапи на четене на серийни данни. Скоростта на вятъра зависи в краткосрочен и дългосрочен план.

Простият RNN модел не е в състояние да се справи с дългосрочни времеви зависимости. Един проблем, който възниква от разгръщането на RNN е, че градиентът на някои от теглата започва да става твърде малък или твърде голям, ако мрежата се разгъне за твърде много времеви стъпки. Това явление се нарича проблем с изчезващи градиенти и може да съхранява краткотрайна памет само защото включва функциите за активиране на скрития слой само от предишната времева стъпка и това причинява загуба на информация в дългосрочен план [17,18].

Тип мрежова архитектура, която решава този проблем, е LSTM. В типична реализация скритият слой се заменя от сложен блок от изчислителни единици, съставен от порти, които улавят грешката в блока, образувайки така наречената "въртележка на грешки" [5]. Фигура 2 показва структурата на RNN, където изходът от предишния скрит слой се въвежда в текущия скрит слой.

Моделът RNN се изразява чрез къде е входът, h е стойността на състоянието на скрития слой, оценява се в изходния слой в момент t, защо е теглото от входния слой, защо е теглото за забавения изход в момент t − 1, tanh е хиперболичният тангенс като функция на активиране на скрития слой, а σ е сигмоидната функция като функция на активиране на изходния слой.

2.3. Дълга краткосрочна памет

Мрежите с дълга краткосрочна памет са вид повтарящи се невронни мрежи (RNN), предназначени да избегнат проблема с дългосрочната зависимост, където всеки неврон съдържа клетка с памет, способна да съхранява предишната информация, използвана от RNN, или да я забрави, ако е необходимо [19] . В момента той се използва широко с успех при проблеми с прогнозиране на времеви редове.

LSTM-RNN е проектиран от клетка с памет, която съхранява дългосрочни зависимости. В допълнение към клетката с памет, клетката LSTM съдържа входна врата, изходна врата и забравена врата.

Всеки гейт в клетката получава текущия вход tx, скритото състояние ht-1 в предишния момент и информацията за състоянието Ct-1 на вътрешната памет на клетката, за да извърши различни операции и да определи дали да активира с помощта на логическа функция. Състоянието ht на модула, изходът в момент t и скритото състояние на входа в момент t1 се определят от нелинейно активиране tanh () и информацията на изходния гейт.

3. Резултати и дискусия

В това проучване софтуерът MATLAB (R2019b) беше използван за процеса на обучение на LSTM, който е усъвършенствана архитектура за RNN за предсказване на стойностите на бъдещите времеви стъпки на последователност. Регресионната мрежа на последователността беше обучена към LSTM последователността, където отговорите са тренировъчни последователности с променящи се стойности в една времева стъпка.

Тоест, за всяка времева стъпка от входната последователност, LSTM мрежата се научава да прогнозира стойността на следващата времева стъпка. В тази работа, за да се оцени цялостно и систематично ефективността и приложимостта на предложения модел, бяха избрани две серии от данни за скоростта на вятъра за два различни сезона поради техните различни климатични характеристики, които са съответно пролет (март 2015 г.) и лято (юли 2015 г. ).

Всяка поредица от данни беше разделена на 1–576 (24 дни) като наблюдения и съответно 577–744 (7 дни) като тренировъчни и тестови групи. Данните за обучението са стандартизирани, за да имат нулева средна стойност и дисперсия на единица по време на прогнозиране, за да се предотврати отклонение в обучението. Най-добрият параметър за обучение за получаване на най-ниската RMSE се намира при използване на първоначална скорост на обучение от 0.005.

Фигури 4 и 5 показват сравнението на наблюдаваните стойности с прогнозираните стойности на сериите от часови скорости на вятъра, събрани съответно през пролетта (1–31 март 2015 г.) и лятото (1–31 юли 2015 г.), за оценка на LSTM, който беше обучен веднъж ( стойност на предишната прогноза) и се използва повторно за прогнозиране на всяка времева стъпка между прогнозите, която е представена от уравнения (2)–(4). Това означава, че не се правят актуализации, след като моделът за първи път пасне на данните за обучението и моделът в този случай се нарича фиксиран модел, тъй като няма актуализации.

Опциите за мрежово обучение на LSTM бяха избрани за 200 скрити модула. Първоначалната скорост на обучение е 0,005, а максималният брой итерации е фиксиран на 250. Прагът на градиента е зададен на 1, за да се предотврати експлозия на градиентите. Скоростта на обучение се намалява след 125 епохи чрез умножаване по коефициент 0,2. И на двете фигури 6 и 7 LSTM е актуализиран с нови данни за прогнозиране на времевите серии чрез използване на прогнозираните стойности и актуализираните стойности на състоянието от набора от тестове и предоставени на моделът за прогнозата за следващата времева стъпка. Специално модифицираният LSTM прие Ct−1 към входните, забравените и изходните гейтове.

Това е така, защото всеки път, когато LSTM продължи, Ct-1 засяга входа, забравянето и изхода на LSTM. Всички прогнози се събират в набора от тестови данни и се изчислява резултат за грешка, за да се обобщи умението на модела. Използва се средната квадратична грешка (RMSE), тъй като тя наказва големите грешки и води до резултат в същите единици като прогнозираните данни, което е скорост на вятъра на час.

Тук прогнозите са по-точни при актуализиране на състоянието на мрежата с наблюдаваните стойности вместо прогнозираните стойности. От резултатите се наблюдава, че и в двете серии пролет (март 2015 г.) и лято (юли 2015 г.) стойността на RMSE е спаднала съответно с 4,5845 и 4,9392, когато се използва актуализацията на LSTM, и това се дължи на различните характеристики на всяка.

В тази работа и въз основа на различни предишни проучвания според различни модели се отбелязва, че точността на моделите за прогнозиране се различава в зависимост от различните характеристики на информацията и следователно досега не е достигнат модел, който да работи със същата точност с различна информация . Таблица 1 показва грешките за двете серии от данни (юли 2015 г.) и (март 2015 г.) в предложения модел LSTM, като се използват показателите за грешка RMSE.

4. Изводи

Необходим е точен модел за прогнозиране на източниците на скорост на вятъра, за да се предостави съществена информация, която да даде възможност на мрежовите оператори и системните дизайнери да генерират оптимална вятърна електроцентрала и да балансират търсенето и предлагането на енергийния пазар.

В това изследване е предложена модифицирана дългосрочна краткосрочна памет (LSTM) за прогнозиране на скоростта на вятъра. Тъй като действителната стойност на времевите стъпки между прогнозите може да бъде достъпна, скоростта на вятъра се прогнозира чрез актуализиране на състоянието на мрежата във всяка прогноза, като се използва наблюдаваната стойност вместо портите.

Това е така, защото всеки път, когато LSTM продължи, състоянието на клетката засяга входа, забравянето и изхода на LSTM. Резултатите от модела демонстрираха подобрена точност при прогнозиране на скоростта на вятъра.

Авторски принос: Conceptualization, ME; методика, МЕ; софтуер, ME; валидиране, ME; формален анализ, ME и AM; писане-Изготвяне на оригинална чернова, ME; писане-Рецензия и редакция, AM; надзор, АМ; администрация на проекта, AM Всички автори са прочели и са съгласни с публикуваната версия на ръкописа.

Финансиране: Това изследване е частично финансирано от Министерството на образованието на Либия, грант номер 3772.

Изявление на институционалния съвет за преглед: Не е приложимо.

Изявление за информирано съгласие: Не е приложимо.

Изявление за наличност на данни: Не е приложимо.

Конфликти на интереси: Авторите декларират липса на конфликт на интереси.

Референции

1. Монфаред, М.; Rastegar, H.; Kojabadi, HM Нова стратегия за прогнозиране на скоростта на вятъра с помощта на изкуствени интелигентни методи. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Кутия, GE; Дженкинс, GM; Reinsel, GC; Ljung, GM Анализ на времевите редове: прогнозиране и контрол, 5-то издание; John Wiley & Sons: Hoboken, NJ, САЩ, 2015 г.; стр. 129–171.

3. Елсарайти, М.; Мерабет, А.; Al-Durra, A. Анализ на времеви редове и прогнозиране на данни за скоростта на вятъра. В сборника на годишната среща на IEEEIIndustry Applications Society, Балтимор, Мериленд, САЩ, 29 септември – 3 октомври 2019 г.; стр. 1–5.

4. Ядав, AP; Кумар, А.; Behera, L. RNN-базирано прогнозиране на слънчевата радиация с помощта на адаптивна скорост на обучение. В Международната конференция за рояк, еволюционни и меметични изчисления; Springer: Cham, Швейцария, 2013; стр. 442–452.

5. Hochreiter, S.; Schmidhuber, J. Дълга краткосрочна памет. Невронен компютър. 1997, 9, 1735–1780. [CrossRef] [PubMed]

6. Кумар, Д.; Mathur, HD; Bhanot, S.; Bansal, RC Прогнозиране на слънчева и вятърна енергия с помощта на LSTM RNN за контрол на честотата на натоварване в изолирана микромрежа. Вътр. J. Модел. Симул. 2020. [CrossRef]

7. Ши, X.; Лей, X.; Хуанг, Q.; Хуанг, С.; Рен, К.; Hu, Y. Почасово прогнозиране на вятърната мощност за ден напред, използвайки хибридния модел на разлагане на вариационния модел и дълга краткосрочна памет. Енергии 2018, 11, 3227. [CrossRef]

8. Родригес, ER; Оливейра, И.; Cunha, R.; Netto, M. DeepDownscale: Стратегия за задълбочено обучение за прогноза за времето с висока разделителна способност. В сборника на 2018 IEEE 14th International Conference on e-Science (e-Science), Амстердам, Холандия, 29 октомври – 1 ноември 2018 г.; IEEE: Ню Йорк, Ню Йорк, САЩ, 2018 г.; стр. 415–422.

9. Чен, Н.; Qian, Z.; Набни, IT; Meng, X. Прогнози за вятърна енергия, използващи процеси на Гаус и числено прогнозиране на времето. IEEE Trans. Power Syst. 2013, 29, 656–665. [CrossRef]

10. Као, К.; Ewing, BT; Thompson, MA Прогнозиране на скоростта на вятъра с повтарящи се невронни мрежи. евро J. Oper. Рез. 2012, 221,148–154. [CrossRef]

11. Лидия, М.; Кумар, СС; Селвакумар, AI; Kumar, GE Линейни и нелинейни авторегресивни модели за краткосрочно прогнозиране на скоростта на вятъра. Преобразуване на енергия Управл. 2016, 112, 115–124. [CrossRef]

12. Гадери, А.; Sanandaji, BM; Гадери, Ф. Дълбока прогноза: Пространствено-времево прогнозиране, базирано на дълбоко обучение; Университет Корнел: Итака, Ню Йорк, САЩ, 2017 г.

For more information:1950477648nn@gmail.com