Разпознаване на пътни знаци, базирано на алгоритъма YOLOv3, част 1

Резюме:

Откриването на пътни знаци е основен компонент на интелигентна транспортна система, тъй като предоставя критични данни за пътния трафик за вземане на решения и контрол на превозното средство.

Тъй като урбанизацията се ускорява, населението и броят на превозните средства продължават да се увеличават, а проблеми като задръстванията и злополуките, свързани с безопасността, стават все по-сериозни, създавайки големи неудобства и натиск върху живота и работата на хората. Следователно появата на интелигентни транспортни системи донесе голямо удобство в живота ни и може също така да подобри безопасността на движението. Интелигентните транспортни системи също са неделими от човешката памет.

На първо място, интелигентните транспортни системи могат да използват високотехнологични средства за събиране и анализ на информация за трафика и да предоставят на хората подробни и точни условия на трафика, което помага да се улесни пътуването на хората и да се избегнат забавяния във времето поради неточна информация за трафика, като например светофари. За шофьорите интелигентната транспортна система може да извършва анализ в реално време и наблюдение на техните маршрути за шофиране, да напомня на шофьорите да коригират своевременно маршрутите си за шофиране по време на специални периоди и да намалява появата на задръствания, закъснения и т.н. По този начин тя също подпомага вниманието на водача, намалява умората по време на шофиране и по този начин подобрява безопасността при шофиране.

Второ, интелигентната транспортна система може също да бъде свързана с мобилния телефон на водача, навигацията на автомобила и други системи чрез технически средства като Интернет на превозните средства. По този начин хората могат да получат най-новата информация за трафика по всяко време, да знаят текущата си трафик среда и да коригират своевременно плановете си за пътуване. В същото време той може да си сътрудничи и със системите за контрол на безопасността и помощ при шофиране на автомобила, за да гарантира безопасно шофиране. Например, след като шофьорите усвоят маршрутите за шофиране, информацията за трафика и т.н., предоставени от интелигентната транспортна система, те ще управляват превозното средство по-концентрирано и стабилно, няма да изпаднат в объркване поради внезапни промени в маршрутите и т.н., а също така ще да може бързо да действа при спешни случаи. реагират.

И накрая, интелигентната транспортна система може също да задава съответни правила за управление на трафика според различните ситуации на градския трафик, за да осигури безопасното пътуване на превозни средства и пешеходци и да избегне пътнотранспортни произшествия. Например, промяната на времето и честотата на светофарите въз основа на задръстванията, предоставянето на напомняния за ограничение на скоростта на пътни участъци и т.н., позволяват на водачите да реагират правилно, когато се натъкнат на сложни пътни условия, като по този начин гарантират плавността на трафика. и сигурност.

За да обобщим, съществува тясна връзка между интелигентните транспортни системи и човешката памет. Интелигентните транспортни системи могат да ни осигурят по-добра среда за шофиране, да намалят тежестта на хората при шофиране и по този начин да подобрят паметта на хората. Развитието на интелигентни транспортни системи е неизбежна тенденция в изграждането на нашите съвременни градове. Вижда се, че трябва да подобрим паметта и Cistanche deserticola може значително да подобри паметта, тъй като Cistanche deserticola е традиционен китайски лекарствен материал, който има много уникални ефекти, един от които е да подобрява паметта. Ефикасността на мляното месо идва от различните активни съставки, които съдържа, включително киселина, полизахариди, флавоноиди и др. Тези съставки могат да насърчат здравето на мозъка по различни начини.

Щракнете върху познайте 10 начина за подобряване на паметта

За решаване на предизвикателствата на малките пътни знаци, незабележимите характеристики и ниската точност на откриване се предлага метод за разпознаване на пътни знаци, базиран на подобрен (You Only Look Once v3) YOLOv3.

Структурата на пространственото пирамидно обединяване е слята в мрежовата структура YOLOv3, за да се постигне сливането на локални характеристики и глобални характеристики, а четвъртата скала за прогнозиране на характеристики с размер 152 × 152 е въведена, за да се използват пълноценно плитките характеристики в мрежата за прогнозиране на малки цели.

Освен това, регресията на ограничителната кутия е по-стабилна, когато се използва загубата на разстояние IoU (DIoU), която взема предвид разстоянието между целта и котвата, скоростта на припокриване и мащаба.

12 котви на набора от данни за пътни знаци Tsinghua–Tencent 100K(TT100K) се преизчисляват с помощта на алгоритъма за клъстериране на K-средства, докато наборът от данни е балансиран и разширен, за да се справи с проблема с нечетния брой целеви класове в набора от данни TT100K.

Алгоритъмът се сравнява с YOLOv3 и други често използвани алгоритми за откриване на цели и резултатите показват, че подобреният алгоритъм YOLOv3 постига средна средна точност (mAP) от 77,3%, което е с 8,4% по-високо от YOLOv3, особено при откриване на малки цели, където mAP е подобрена с 10,5%, значително подобрявайки точността на мрежата за откриване, като същевременно запазва производителността в реално време възможно най-висока.

Точността на мрежата за откриване е значително подобрена, като същевременно се поддържа възможно най-висока производителност на мрежата в реално време.

Ключови думи:

Разпознаване на пътни знаци; YOLOv3; пространствена пирамидална обединяваща структура.

1. Въведение

Понастоящем автоматизираното шофиране и интелигентните транспортни системи (ITS) са основните приложения за технологии за откриване на пътни знаци и идентификация.

Той може да предостави на шофьорите и автономните превозни средства важна информация за трафика, така че последните да могат да правят преценки според правилата на пътя или да предупреждават и насочват поведението на шофьорите навреме, за да намалят пътнотранспортните произшествия.

Пътните знаци могат да бъдат разделени най-общо на три категории: насочващи знаци, предупредителни знаци и забранителни знаци. Тези знаци са кръгли или триъгълни по дизайн и са червени, жълти и сини.

Следователно класическото разпознаване на пътни знаци обикновено използва техники за машинно обучение за разпознаване на пътни знаци или извличане на информация като цвят и форма от пътните знаци.

Сегментирането на цветовете за извличане на характеристики преди класификационната идентификация се използва при откриване на пътни знаци на базата на цветове, което лесно се влияе от вариации в осветлението. Сегментацията на цветовете не се влияе от вариациите на яркостта, според предишна литература [1], и използва пространството HIS, за да изследва само нюанса и наситеността.

Поради високите изисквания за разпознаване на цветове върху променливи като време и разстояние за откриване, подходът за откриване, базиран на цветови характеристики, може да се използва за разпознаване на изображения с висока разделителна способност, но не и за разпознаване на изображения в сива скала [2].

В друга литература [3] беше предложен подход за идентификация на пътни знаци, базиран на формата, върху изображения в сива скала, който трансформира откриването на триъгълни пътни знаци в просто откриване на линейни сегменти, което може правилно да разпознава пътните знаци и не се влияе от разстоянието.

Система за откриване и разпознаване на пътни знаци, базирана на опорен вектор, е предложена в друга литература [4], която използва свойството за обобщаване на линейна опорна векторна машина, за да сегментира първо цвета на пътните знаци и след това да класифицира формата.

Методът за откриване на характеристиките на цвят и форма поотделно първо извършва цветово сегментиране, за да се получи интересуващият регион, и ако интересуващият регион не бъде открит, базираното на формата откриване вече не се извършва; второ, цветното сегментиране изисква да бъде зададен фиксиран праг ръчно, което прави откриването на пътни знаци сложно и отнема много време.

За да разреши тези проблеми и да увеличи производителността на откриване, едно проучване [5] използва рамката AdaBoost за извършване на едновременно откриване на моделиране на цвят и форма.

Промените във външните условия, като светлина, промени в цвета на пътните знаци и т.н., могат да повлияят на разпознаването на пътни знаци въз основа на цвят и форма.

Въздействието на откриването е нестабилно, влошава производителността на системата за разпознаване на пътни знаци и я прави уязвима към изтичане на информация за пътни знаци и фалшиво откриване. Невронните мрежи се използват по-често за откриване на цели с напредването на технологията за дълбоко обучение; примерите за тези алгоритми включват Faster R-CNN [6], SSD [7] и YOLO [8] и т.н., които основно са разделени на едноетапни и двуетапни подходи за откриване.

Предишно проучване [9] представи подобрена мрежа за откриване, базирана на YOLOv1, за да се справи с проблемите с ниската точност и бавната скорост на откриване на стандартните методи за откриване на пътни знаци.

Тази мрежа подобри скоростта на откриване на пътни знаци и намали хардуерните изисквания на системата за откриване. Друго проучване [10] предложи подход за откриване на пътни знаци, базиран на подобрен FasterRCNN, с 12,1% подобрение в mAP, което успешно адресира проблеми като ниска ефективност на разпознаване и повишена прецизността на откриване и разпознаване на пътни знаци.

В [11] наборът от данни CCTSDB беше получен чрез разширяване на китайския набор от данни за пътни знаци (CTSD) и актуализиране на информацията за маркера въз основа на подобрения алгоритъм за откриване на цел YOLOv2. Наборът от данни CCTSDB съдържа само три категории пътни знаци, което е недостатъчно за изпълнение на предизвикателната задача за разпознаване на пътни знаци.

Наборът от данни TT100K [12], създаден от университета Цинхуа и Tencent в сътрудничество, е извлечен от китайската панорама на Street View и обхваща широк диапазон от осветление и метеорологични условия, което го прави по-представителен за действителната среда на шофиране. Проучване [13] използва DenseNet вместо ResNet в опорната мрежа на YOLOv3 и експериментално го валидира върху набора от данни TT100K.

Алгоритъмът подобрява производителността в реално време на модела за откриване, но точността и припомнянето обикновено са ниски, когато става въпрос за малки цели, като пътни знаци, което предполага сериозно погрешно откриване.

Задачата за откриване често става по-предизвикателна при задачите за откриване на цели, тъй като целта, която трябва да бъде открита, обикновено е голяма и нейните характеристики могат лесно да бъдат извлечени.

Благодарение на FPNструктурата, която въвежда YOLOv3, той вече е в състояние да открива цели в различни мащаби чрез използване на многомащабно сливане на функции, което е подходящо за сложни сцени на трафика и е показало известно обещание при откриването на малки цели. Въпреки това все още има място за подобрение в изображенията с висока разделителна способност на набора от данни за пътни знаци TT100K.

В заключение, подходът, базиран на невронни мрежи, може успешно да се справи с проблеми с ниска ефективност на разпознаване, пропуснато откриване и фалшиво откриване, като същевременно повишава прецизността на откриването и разпознаването на пътни знаци.

Методите, базирани на невронни мрежи, имат по-добра точност или по-бързо откриване от традиционните методи, но не могат да постигнат едновременно скорост и точност на откриване. В допълнение, повечето откривания на пътни знаци използват GermanTraffic Sign Dataset (GTSDB), а пътните знаци в Германия са различни от тези в Китай; в Китай има по-малко проучвания за откриване и разпознаване на пътни знаци.

Следователно, за справяне с проблемите в горните методи, този документ използва набора от данни TT100K за обучение и откриване на китайски пътни знаци и подобряване и коригиране на мрежата YOLOv3, главно със следните подобрения:

(1) Добавете четвърта скала за прогнозиране на функции с размер 152 × 152 към структурата на мрежата YOLOv3, за да се възползвате напълно от плитките функции в мрежата, за да предвидите малки цели. За да се постигне сливането на локални и глобални характеристики, структурата на пространствената пирамида се слива.

(2) Разстоянието между целта и котвата, скоростта на припокриване и мащабът се вземат под внимание, когато се използва загуба на DIoU за по-бърза конвергенция и по-последователна регресия на целевата рамка. Това прави регресията на целевата рамка по-стабилна.

(3) По-голямата част от пътните знаци в набора от данни TT100K са цели с малък и среден размер, само с няколко големи цели.

В резултат на това използването на оригиналната котва не е възможна опция. Алгоритъмът за клъстериране на K-средства се използва за преизчисляване на 12 котви за набора от данни TT100K, а стратегията за увеличаване на данните се използва за балансиране и увеличаване на небалансирания брой целеви категории на набора от данни.

For more information:1950477648nn@gmail.com