Разпознаване на пътни знаци, базирано на алгоритъма YOLOv3, част 3

3.3. Генериране на априорни рамки на базата на алгоритъм за групиране на K-Means

Механизмът за закрепване беше внедрен в YOLOv2, а броят на закрепванията беше увеличен до девет в YOLOv3, за да направят генерираните кандидат региони по-сходни с оригиналните етикетирани рамки и да повишат извикването на мрежата за откриване.

Има силна връзка между маркираните кадри и паметта. Маркиращите рамки могат да ни помогнат да създадем фиксирана, редовна и подредена рамка на паметта, което улеснява запомнянето на големи количества информация. Например, когато изучаваме език, можем да използваме маркирани рамки, за да запомним нови думи и граматически правила. Когато преглеждаме историята, можем да използваме маркирани кадри, за да запомним исторически събития и времеви линии. По този начин можем да направим абстрактното знание по-конкретно и разбираемо.

В същото време маркирането на рамки може също така да стимулира асоциативната способност на нашия мозък, като по този начин подобрява нашата памет. Тъй като нашата памет се основава на асоцииране и връзка, чрез установяване на маркирани рамки можем по-естествено да свържем новите знания със съществуващите знания, задълбочавайки паметта и разбирането.

Човешката памет може да бъде тренирана и подобрена. Чрез постоянна практика и използване на техники за памет като маркиране на рамки, можем да подобрим паметта си и да се справяме по-добре със сложна информация и задачи в живота и работата.

Накратко, маркирането на кадри е много ефективна техника за запаметяване. Може да ни помогне да запомним важна информация по-бързо и точно. Освен това може да стимулира асоциативните ни способности и да подобри паметта ни. Нека използваме активно маркирани рамки, за да подобряваме непрекъснато уменията си за памет! Вижда се, че трябва да подобрим паметта и Cistanche deserticola може значително да подобри паметта, тъй като Cistanche deserticola е традиционен китайски лекарствен материал, който има много уникални ефекти, един от които е да подобрява паметта. Ефикасността на мляното месо идва от различните активни съставки, които съдържа, включително киселина, полизахариди, флавоноиди и др. Тези съставки могат да насърчат здравето на мозъка по различни начини.

Кликнете върху Know, за да подобрите краткосрочната памет

Не беше подходящо да се използва оригиналната котва, тъй като пътните знаци са предимно малки и средни цели, с по-малко големи цели в набора от данни TT100K. За конкретен набор от данни, изборът на подходяща начална котва може да подобри ефекта на откриване, да направи мрежата по-лесна за научаване и да увеличи скоростта на откриване на ограничителната кутия.

Потокът на алгоритъма за клъстериране на K-средни за получаване на кандидат кутии е показан на Фигура 7.

В набора от данни TT100K подобрената мрежова структура YOLOv3 включва скала за прогнозиране на функции, което води до четири скали и дванадесет котви: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) и (41, 44).

4. Експерименти и анализ на резултатите

4.1. Набор от данни и индикатори за оценка

Има няколко големи, публично достъпни набора от данни за пътни знаци, повечето от които използват GTSDB, но GTSDB не е същото като китайските пътни знаци. CTSDB, CCTSDB и TT100K, между другото, са набори от данни за китайски пътни знаци.

CCTSDB беше разширен въз основа на CTSDB и категориите му бяха разделени на предупредителни знаци, указателни знаци и забранителни знаци, без подробна класификация на пътните знаци.

Колекцията от пътни знаци TT100K е създадена в сътрудничество между Tencent и университета Цинхуа. Той предлага задълбочена категоризация и идентификация на пътните знаци, покрива различни климатични и светлинни обстоятелства и е по-точен за реални ситуации на шофиране.

Следователно в този документ беше използван набор от данни за пътни знаци TT100K и някои от пътните знаци и информацията за категорията са показани на фигура 8.

Наборът от данни TT100K съдържа 100 000 снимки с разделителна способност 2048 x 2048 пиксела, въпреки че има немаркирани изображения на пътни знаци, а някои категории имат само няколко изображения или дублирани изображения, което намалява ефекта на откриване.

Поради това тази статия премахна немаркираните и дублиращи се изображения на пътни знаци от набора от данни и избра 45 категории с голям брой пътни знаци, където 45 категории на пътни знаци бяха: pn, pne, i5, pll, pl40, po,pl50, pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 и w32, а номерът на всяка категория пътни знаци е показан на фигура 9.

Фигура 9 показва, че дори да са избрани 45 категории с голям брой пътни знаци, все още има значителен дисбаланс в количеството данни между всяка категория, което води до лоша точност на прогнозиране на модела. В резултат на това, както е илюстрирано на Фигура 10, тази работа балансира и разшири набора от данни чрез използване на тактики като дитъринг на цветовете, шум по Гаус и завъртане на изображението, за да се гарантира, че количеството на всяка категория е възможно най-равномерно.

Подходът Mosaic чете четири изображения наведнъж, мащабира и променя цветовата гама на всяко изображение, подрежда ги в четири посоки и след това съединява изображенията, за да създаде истинската рамка на целта.

Методът за подобряване свързва четири изображения, еквивалентно на изчисляване на параметрите на четири изображения с един вход. Това може да намали броя на изображенията за пакетно въвеждане, да намали трудността на обучението и цената на обучението, да подобри скоростта на обучение и до голяма степен да обогати броя на пробите в набора от данни, което е благоприятно за учене.

в тази статия показателите за оценка на набора от данни COCO, включително mAPou - 050AP, APM, AP и няколко други показателя, бяха използвани за оценка на ефективността на модела. По-специално, повечето от пътните знаци в набора от данни за пътни знаци TT100K принадлежат на малки цели, така че трябва да се обърне специално внимание на точността на откриване на малки цели. Конкретните значения на показателите за оценка са както следва:

AP: Площта под PR кривата, където PR е съответно прецизност и припомняне:

API {{0}}.50: Когато прагът на IoU е зададен на 0,50, това е средната стойност на всички категории на AP в набора от данни, което е индексът за оценка на набора от данни на PASCAL VOC и съответства към APIoU=0.50 в индекса за оценка на COCO mAPloU= 0.50: Когато прагът на loU е зададен на 0,50, това е средната стойност на всички категории AP в набора от данни, което е индексът за оценка на набора от данни PASCAL VOC и съответства на APloU=0.5 в индекса за оценка на COCO.

AP: средна стойност на mAP за малки обекти: площ < 322 и loU=диапазон (0.5, 1.00, 0.05) за общо от 10 oUs.

APm: средни обекти: 322 < площ < 962 и loU=диапазон (0.5, 1.00, 0.05) средна стойност на mAP за общо 10 IoU.

AP: средна стойност на mAP за големи обекти: площ > 962 и loU=диапазон (0.5, 1.00, 0.05 за общо 10 IoUs.

4.2. Експериментални резултати и анализ

4.2.1. Подобрен YOLOv3 сравнителен експеримент

Три YOLOv3 мрежи с подобрени методи бяха сравнени и тествани в това проучване, като се използва набор от данни за пътни знаци TT100K и входни изображения с размер 608 × 608 пиксела. Фигура 11 показва картата и AR на M-YOLOv3, обучен върху набора от данни TT100.

Резултатите от откриване за различни размери на цели са показани на Фигура 12 и Таблица 1. Сред тях YOLOv3-DK възприе стратегията за подобряване на функцията за загуба DIoU загуба и котвата за повторно групиране; YOLOv3-SPP възприе стратегията за термоядрено пространство на пирамидалната структура; YOLOv3-4l прие стратегията за добавяне на четвъртия прогностичен слой с характеристики със 152 × 152 скали; и M-YOLOv3 беше мрежовата структура YOLOv3, използваща всички подобрени стратегии.

Таблица 1 и Фигура 12 показват, че средната средна точност на оригиналния YOLOv3 без използване на каквито и да било стратегии е 68,9%. За разлика от това, картата на надградения YOLOv3 с всички методи беше 77,3%, подобрение от 8,4% в откриването.

Функцията за загуба на DIoU и техниката за повторно клъстериране на котва подобриха точността на откриване с 1,3%; обаче, подобрението се дължи на по-бързата конвергенция на функцията за загуба по време на тренировка, което направи регресията на целевата кутия по-стабилна и подобри степента на припомняне. По-изразени подобрения в mAP са наблюдавани в YOLOv3, който включва SPP структура и постига 73,2%.

Структурата на SPP комбинира локални и глобални характеристики, подобрявайки способността на картата на характеристиките да се изразява и значително увеличава точността на откриване. Използвайки метода за добавяне на четвърти слой с характеристики на прогнозиране с 152 × 152 скали, тяхAP също беше значително подобрен.

Точността на откриването на малки цели беше подобрена с 10,5% в сравнение с YOLOv3, който използва пълноценно плитките функции в мрежата за прогнозиране на малки цели, което води до значително подобрен ефект на откриване, но с цената на повишена сложност на мрежата и обработка . Най-доброто подобрение беше M-YOLOv3, което комбинира трите процедури за подобрение и постигна mAP от 77,3%, което е с 8,4% по-високо от средната средна точност на оригиналния YOLOv30. Фигура 13 изобразява резултатите от теста на M-YOLOv3 на TT100K.

4.2.2. Сравнение на подобрения алгоритъм YOLOv3 с други алгоритми

M-YOLOv3 беше сравнен с няколко други класически алгоритъма за откриване на цели, за да се потвърди допълнително разпознаването на откриване на подобрената мрежа и резултатите са показани в таблица 2.

Таблица 2 показва, че M-YOLOv3 има най-високата mAP от 77,3%, а SSD има най-добрата производителност в реално време, с FPS от 42. В сравнение с оригиналния алгоритъм YOLOv3, средната средна точност е значително подобрена, въпреки че в реално време производителността беше намалена. В сравнение с едноетапния алгоритъм SSD, mAP се подобри с 12%, но все още имаше разлика в производителността в реално време. В сравнение с двустепенния алгоритъм за откриване на целта Faster-RCNN, FPS беше подобрен до 22, а mAP също беше подобрен с 1,7%, което подобри скоростта на откриване, както и точността на откриване. Опитите показаха, че M-YOLOv3 се представя по-добре по отношение на точността и скоростта на откриване.

4.2.3. Подобрен ефект на разпознаване на YOLOv3 върху пътни знаци в специална среда

Поради различни фактори, като силно светлинно излъчване, нощно време и специална среда на запушване на пътни знаци, които ще повлияят на откриването и разпознаването на пътни знаци в реални сценарии на шофиране, беше необходимо също така да се вземе предвид ефектът на разпознаване на модела върху пътните знаци в специални среди. При определени обстоятелства надграденият модел YOLOv3 беше използван за разпознаване на пътни знаци, както е показано на фигура 13.

На Фигура 14 ефектът на откриване на YOLOv3 се сравнява с този на M-YOLOv3 в специална среда. Както е показано на фигура 14(b1,c1), алгоритъмът YOLOv3 не успя да открие затъмнения пътен знак в случай на затъмнен пътен знак, докато подобреният алгоритъм YOLOv3 точно идентифицира затъмнения пътен знак; както е показано на фигура 14(b2,c2), алгоритъмът YOLOv3 имаше проблеми с фалшиво откриване и пропуснато откриване за разпознаване на пътни знаци в среда на силно светлинно излъчване, докато подобреният алгоритъм YOLOv3 разпознаваше всички пътни знаци точно.

Подобреният алгоритъм YOLOv3 увеличава четвъртата скала за предсказване на характеристиките за малки цели, подобрявайки ефекта на откриване на малки цели, докато алгоритъмът YOLOv3 имаше проблеми с пропуснато откриване и ниска достоверност за малки цели, както е показано на Фигура 14(b3,c3); в слабо осветени среди, като например през нощта, подобреният алгоритъм YOLOv3 разпознава пътни знаци, както е илюстрирано на фигура 14(b4,c4); обаче методът YOLOv3 не открива цели. В резултат на това при определени ситуации актуализираният алгоритъм YOLOv3 все още дава по-добри резултати при откриване.

5. Изводи

В това изследване беше предложена мрежа за откриване и разпознаване на пътни знаци, базирана на модифицирания YOLOv3, за справяне с трудностите, свързани с трудни за откриване малки цели и ниска точност на откриване при задачите за откриване и идентификация на пътни знаци.

Новата пространствена пирамидална структура за обединяване позволи сливането на локални и глобални характеристики в това проучване, както и увеличи четвъртата скала за прогнозиране на характеристиките за малки цели, за да подобри ефекта на откриване на малки цели. За да се направи регресията на целевата рамка по-стабилна, беше използвана загубата на DIoU, която имаше по-бърза конвергенция и беше по-последователна с регресията на целевата рамка.

Точността на мрежата за откриване беше значително подобрена чрез възможно най-малко увреждане на мрежата в реално време. mAP се увеличи с 8,4 точки. Надграденият алгоритъм YOLOv3 подобри сложността на мрежата и намали скоростта на откриване. Откриването в реално време обаче е все още далеч; следователно следващата изследователска област ще бъде повишаване на скоростта на откриване, за да се постигне ефектът от откриването в реално време.

Авторски принос: Методология и писане - подготовка на оригинален проект, AL и CG; формален анализ и разследване, YS; обработка на данни, NX; ресурси, AL; валидиране, WH Всички автори са прочели и са съгласни с публикуваната версия на ръкописа.

Финансиране: Този проект беше подкрепен от Програмата за наука и технологии за младежки иновации на провинция Шандонг (Грант № 2019KJB019), Китайската фондация за естествени науки на провинция Шандонг (Грант № ZR2021MF131, ZR2015EL019 и ZR2020ME126) и Националната фондация за природни науки на Китай (грант № 61601265 и 51505258). Този проект беше финансиран от Китайската постдокторска научна фондация (Грант № 2021M701405), Отвореният проект на Държавната ключова лаборатория за механично поведение и системна безопасност на конструкции за пътно инженерство, Китай (Грант № 1903), Отвореният проект за безопасност и контрол на движението в Хъбей Ключова лаборатория, Китай (Грант № JTKY2019002) и Големият проект за иновации в областта на науката и технологиите в провинция Шандонг (Грант № 2022CXGC020706).

Изявление на институционалния съвет за преглед: Не е приложимо.

Изявление за информирано съгласие: Не е приложимо.

Изявление за наличност на данни: Не е приложимо.

Благодарности: Благодарим на всички автори за техния принос към написването на тази статия.

Конфликти на интереси: Авторите декларират липса на конфликт на интереси.

Препратки

1. Де ла Ескалера, А.; Armingol, JM; Мата, М. Разпознаване и анализ на пътни знаци за интелигентни превозни средства. Изображение Vis. Изчисл. 2003, 21, 247–258. [CrossRef]

2. Саадна, Й.; Behloul, A. Преглед на методите за откриване и класифициране на пътни знаци. Вътр. J. Multimed. Информация. Retr. 2017, 6,193–210. [CrossRef]

3. Бумедиен, М.; Cudel, C.; Басет, М.; Ouamri, A. Откриване на триъгълни пътни знаци на базата на RSLD алгоритъм. Мах. Vis. Appl.2013, 24, 1721–1732. [CrossRef]

4. Maldonado-Bascón, S.; Lafuente-Arroyo, S.; Gil-Jimenez, P.; Gomez-Moreno, H.; Lopez-Ferreras, F. Откриване и разпознаване на пътни знаци въз основа на опорни векторни машини. IEEE Trans. Intell. трансп. Syst. 2007, 8, 264–278. [CrossRef]

5. Bahlmann, C.; Zhu, Y.; Рамеш, В.; Пелкофер, М.; Koehler, T. Система за откриване, проследяване и разпознаване на пътни знаци с помощта на информация за цвят, форма и движение. В сборника на сборника на IEEE. Симпозиум за интелигентни превозни средства, 2005 г., Лас Вегас, Невада, САЩ, 6–8 юни 2005 г.; стр. 255–260.

6. Рен, С.; Той, К.; Гиршик, Р.; Sun, J. Faster R-CNN: Към откриване на обекти в реално време с регионални мрежи за предложения.Adv. Невронна информация. Процес. Syst. 2015, 28, 91–99. [CrossRef] [PubMed]

7. Лю, В.; Ангелов, Д.; Ерхан, Д.; Szegedy, C.; Рийд, С.; Fu, C.-Y.; Berg, AC SSD: MultiBox детектор за едно изстрелване. В EuropeanConference on Computer Vision; Springer: Cham, Швейцария, 2016; стр. 21–37.

8. Редмън, Дж.; Диввала, С.; Гиршик, Р.; Фархади, А. Поглеждате само веднъж: Унифицирано откриване на обекти в реално време. В сборника на Конференцията на IEEE за компютърно зрение и разпознаване на образи, Лас Вегас, Невада, САЩ, 27–30 юни 2016 г.; IEEE: Пискатауей, Ню Джърси, САЩ, 2016 г.; стр. 779–788.

9. Уанг, З.; Guo, H. Изследване на откриването на пътни знаци на базата на конволюционна невронна мрежа. В сборника с доклади от 12-ия международен симпозиум за визуална информационна комуникация и взаимодействие, Шанхай, Китай, 20–22 септември 2019 г.; стр. 1–5.

10. Хан, К.; Гао, Г.; Zhang, Y. Откриване на малки пътни знаци в реално време с преработен по-бърз RCNN. Мултимедия. Инструменти Appl. 2019, 78, 13263–13278. [CrossRef]

11. Джан, Дж.; Хуанг, М.; Джин, X.; Li, X. Китайски алгоритъм за откриване на пътни знаци в реално време, базиран на модифициран YOLOv2. Algorithms 2017, 10, 127. [CrossRef]

12. Джу, З.; Liang, D.; Джан, С.; Хуанг, X.; Li, B.; Hu, S. Откриване и класифициране на пътни знаци в природата. В сборника на конференцията IEEE за компютърно зрение и разпознаване на образи 2016 г., Лас Вегас, Невада, САЩ, 27–30 юни 2016 г.; стр. 2110–2118.

For more information:1950477648nn@gmail.com