Семантична екземплярна сегментация на бъбречни кисти в MR изображения: Напълно автоматизиран 3D подход, разработен чрез активно обучение

Адриана В. Грегъри¹ и др

Резюме

Обща сумабъбрекобем (TKV) е основният образен биомаркер, използван за проследяване на прогресията на заболяването и за класифициране на пациенти, засегнати от автозомно доминантна поликистозабъбрекзаболяване(ADPKD) за клинични изпитвания. Въпреки това, пациенти с подобни TKV могат да имат драстично различни кистозни прояви и фенотипове. В опит да определим количествено тези кистозни разлики, ние разработихме първия алгоритъм за сегментиране на 3D семантична инстанция на киста забъбрецив MR изображения. Преформулирахме както задачата за откриване/локализация на обекти, така и задачата за сегментиране, базирана на екземпляр, в задача за семантично сегментиране. Това ни позволи да разрешим ефикасно този уникален проблем с изображенията дори при пациенти с хиляди кисти. За да направи това, конволюционна невронна мрежа (CNN) беше обучена да научи ръбовете на кистата и ядрата на кистата. Изображенията бяха преобразувани от сегментации на екземпляри на кисти в семантични сегментации на крайно ядро ​​чрез прилагане на 3D оператор за морфология на ерозия към версии на изображенията с увеличена извадка. Намалените кисти бяха означени като сърцевина; ерозираните зони бяха разширени в 2D и означени като ръб. Мрежата беше обучена на 3{{10}} MR изображения и валидирана на 10 MR изображения с помощта на процедура за четирикратно кръстосано валидиране. Окончателният модел на ансамбъла беше тестван върху 20 MR изображения, които не се виждаха по време на първоначалното обучение/валидиране. Резултатите от тестовата група бяха сравнени със сегментации от двама читатели. Представеният модел постигна средна стойност на R2 от 0,94 за брой на кистите, 1.00 за общ обем на кистите, 0,94 за кистозен индекс и среден коефициент на Dice от 0,85. Тези резултати демонстрират осъществимостта на автоматичното извършване на сегментиране на кисти при пациенти с ADPKD.

Ключови думиАвтозомно доминантна поликистозабъбрекзаболяване· Магнитен резонанс · Триизмерна сегментация на екземпляри · Обем на кистата · Конволюционни невронни мрежи

Контакт:ali.ma@wecistanche.com

Cistanche para que sirve предотвратява бъбречно заболяване, щракнете тук, за да получите пробата

Въведение

Автозомно доминантна поликистозабъбрекзаболяване(ADPKD) е генетично заболяване с приблизително 140 000 души, диагностицирани в момента в САЩ [1]. Характеризира се с развитието на множество кисти вбъбреци. Тъй като броят и размерът на кистите се увеличават, те пречат нана бъбрецитеспособността да филтрират отпадъчните продукти от кръвта и често водят до краен стадий на бъбречно заболяване [2].

Много проучвания показват, че общобъбрекобем (TKV) е полезен прогностичен биомаркер в комбинация с възрастта и изчислената скорост на гломерулна филтрация за използване в клинични изпитвания и за прогнозиране на намаляване на бъбречната функция [3–5]. Въпреки че TKV е важен, има много повече структурна информация, която може да бъде характеризирана. Например, други биомаркери, получени от изображения, като брой и размер на кистата, биха предоставили допълнителна информация относно статуса на заболяването [6]. Пациентите с ADPKD със сходни TKV могат да имат различнибъбрексъстави на кисти (т.е. няколко големи кисти, много малки кисти или комбинация от големи и малки кисти). Тази добавена информация вероятно е клинично значима и понастоящем е един от факторите, използвани за класифицирането на типични и атипични образни групи при пациенти с ADPKD [7]. Освен това Bae et al. [8] наскоро предложиха изключването на видни екзофитни кисти да подобри класификацията на пациентите. Тази оценка на кистите обаче често се извършва ръчно, като се използва елипсоидното уравнение за приближаване на обемите на кистите или чрез зависещи от потребителя полуавтоматизирани методи.

През последните няколко години машинното обучение (особено задълбочено обучение) беше успешно приложено за сегментиране на естествени изображения (т.е. изображения, направени с RGB камера) [9–11]. В резултат на това изследователите в анализа на медицински изображения са превели и разработили нови технологии за сегментиране на няколко органа и тъкани [12]. В ADPKD са внедрени напълно автоматизирани методи, използващи дълбоки невронни мрежи, за сегментиране на поликистозабъбреципри компютърна томография със и без усилване на контраста, достигайки коефициент на Dice съответно {{0}}.86 и 0,92 [13, 14]. Напълно автоматизирани модели също са внедрени за T2-претеглени MR изображения [15, 16], показващи точни резултати (Dice=0.97).

Сегментирането на екземпляри обаче отива една крачка напред и е в състояние да сегментира примери от същия клас (напр. отделяне на всеки екземпляр на автомобил или клетка в изображение). Mask R-CNN [17] е широко използван метод за генериране на сегментиране на екземпляри чрез прилагане на алгоритъм за откриване на обекти. Повечето приложения на Mask R-CNN са насочени към сегментиране на естествени изображения [18–21] и някои за хистопатология и 2D медицински изображения [22–26]. За 3D изображения обаче по-високото измерение на сканиранията може значително да увеличи изискванията за памет на GPU. Само няколко радиологични проучвания съобщават за използването на Mask R-CNN за сегментиране на белодробни възли в КТ на гръдния кош [27] и оценка на кръвоизлива в КТ на главата [28]. Задачата за сегментиране на кисти на екземпляри, от друга страна, представлява по-голямо предизвикателство, не само поради по-големия брой екземпляри (до хиляди кисти), което прави внедряването й с помощта на подход за откриване на обекти неосъществимо, но и поради силно свързаната /клъстерен характер на кистите при ADPKD.

Някои проучвания са приложили по-традиционни подходи за сегментиране за генериране на екземплярни и семантични сегментации на кисти за ултразвук и CT изображения [29–32], чрез прилагане на методи, базирани на интензитет и форма. При ЯМР образната диагностика са внедрени два полуавтоматизирани подхода за извършванебъбрексегментации на кисти. Първият подход използва метод за клъстериране на k-средни стойности, последван от анализ на свързани компоненти, за да осигури сегментиране на киста [33]. Вторият подход използва регионално базиран метод за създаване на двоични карти на интензитета на сигнала за генериране на семантична сегментация на киста [34]. Повечето от тези подходи разчитат на информация за интензитета, която може да включва други области с подобни стойности на интензитет като бъбречното легенче и изключва някои кисти с различен интензитет на сигнала (напр. хеморагични кисти). Един напълно автоматизиран метод може да е в състояние да преодолее тези проблеми и да осигури по-точни параметри за количествено определяне на кистата, особено за тежки случаи, когато ръчното сегментиране и полуавтоматизираните методи не се изпълняват лесно. По този начин, в тази статия, ние предлагаме модел за задълбочено обучение за сегментиране на кисти в 3D екземпляр, за да се измери общият обем на кистите (TCV), както и броя на кистите и кистозния индекс.

Материали и методи

Това ретроспективно образно изследване беше прегледано и одобрено от нашия институционален съвет за преглед. 3D ръчно сегментиране на отделни кисти в MR изображения от пациенти с ADPKD е много трудна и отнемаща време задача. За да се облекчи процесът на създаване на референтен стандартен набор от данни, беше внедрен първоначален модел. Първоначалният модел беше обучен на 15 3D MR изображения, валидиран на 5 изображения и тестван на допълнителни 5 изображения. Резултатът и рамката на първоначалния модел бяха използвани за подобрения краен модел.

Първоначален модел: Набор от данни за ЯМР

Двадесет и пет (n= 25) пациенти с ADPKD и налични ЯМР изображения, представителни за различни етапи на развитие на кисти ибъбрекуголемяване бяха идентифицирани от нашата база данни за изображения на PKD. Само коронарни T{{0}}претеглени наситени с мазнини сканирания, които не показват артефакти на замъгляване и получени с 3-T напрегнатост на полето (n= 23) и 1.5-T поле сила (n= 2) бяха избрани за това изследване. Тъй като изображенията са направени за период от няколко години, специфичното придобиване на MR варира, но всички се състоят от размер на матрицата 256 × 256 × Z (с FOV и Z, достатъчно големи, за да покрият пълния обхват на бъбреците). Средният размер на воксела на изображението беше 1,37 mm (диапазон 0.82 до 1,56 mm) в равнина, със средна дебелина на среза от 3.0 mm (диапазон 3.0 до 9,0 мм).

TKVs, получени чрез прилагане на автоматичнибъбрексегментиране [35] бяха налични за всички случаи. Сканиранията бяха сортирани въз основа на техния TKV и рандомизирани в набори за обучение (n=15), валидиране (n= 5) и тест (n= 5), както е показано на Фиг. 1 чрез стратифицирани вземане на проби, за да се осигури подобно разпределение на размера на бъбреците между групите.

Първоначален модел: Референтен стандарт

Сегментиране на киста: комплект тестове

Кистите бяха проследени ръчно от двама обучени читатели с помощта на софтуера PKD-GUI (достъпен онлайн на https://github. com/TLKline/InstanceCystSeg), разработен вътрешно. Софтуерът позволява проследяване на свободна ръка и окончателните сегменти бяха запазени като компресирани NIFTI файлове. Четящите са използвали само един етикет, за да проследят всички кисти, с изключение на бъбречното легенче, съдовете, нормалната бъбречна тъкан и областите с висок интензитет, по-малки от 4 воксела, които не могат да бъдат разграничени от шума в изображението. Освен това, читателите бяха заслепени за информацията за пациента и проследяването на другия читател.

Сегментиране на екземплярна киста: комплект тестове

Първоначален екземпляр на сегментиране на кисти беше генериран от ръчното проследяване на кисти чрез прилагане на 3D алгоритъм за водосбор към 3D карта на евклидово разстояние въз основа на MRI и изображения на сегментиране на кисти (MATLAB, v.R2018b). Алгоритъмът присвои различни етикети на всяка киста във възходящ ред. Сегментирането на екземпляра на кистата по-късно беше прегледано от същия читател, който извърши ръчното сегментиране на кистата и беше коригирано, когато е необходимо (т.е. чрез разделяне или сливане на етикети) с помощта на вътрешния софтуер, описан по-горе.

Първоначален модел: Предварителна обработка на данни

Референтен стандарт: комплекти за обучение и валидиране

За да се ускори процесът на сегментиране на киста за наборите за обучение и валидиране, беше използван предварително разработен автоматизиран алгоритъм за семантична сегментация на киста за извършване на сегментиране на киста с един етикет [36]. След това получената сегментация премина през процеса на 3D водораздел, описан в предишния раздел. Накрая изображенията бяха прегледани от Reader 1.

Преди обучението на модела за задълбочено обучение, маските за сегментиране бяха преобразувани в семантични сегменти като ръб на киста и ядро ​​на киста. Ръбът беше получен чрез изваждане на маската на кистата с 3D разширената маска на кистата (използвайки 6-свързан структуриращ елемент). Ядрото на кистата беше същото като маската на кистата. Процесът на преобразуване беше извършен по начин киста по киста (MATLAB, v.R2018b).

Първоначален модел: Семантична екземплярна киста сегментация

Модел на дълбоко обучение

Моделът на задълбочено обучение се основава на U-Net невронната мрежа [37], използвайки начални модули, подобни на предишната работа [36]. Входът към модела се състои от 4 изображения:

3 последователни MR среза и 1бъбрекмаска за сегментиране, съответстваща на средното входно MR изображение. Резултатът от модела е прогнозираното изображение на крайно ядро ​​за средното входно изображение (фиг. 2). За първия и последния ядрено-магнитен резонанс срезове на изследване, първото и третото входни изображения бяха съответно матрици с нулева подплата.

Обучение на модела

Моделът беше обучен на графичен процесор на NVidia (модел: Tesla P40), използвайки библиотеката Keras Python и Python 3.6.1. Броят на епохите беше зададен на 200 с размер на партидата 6. Оценката на сегментацията беше оценена чрез функцията за загуба на Jaccard, където r е референтната сегментация, p е прогнозираната сегментация и N е броят на воксели. Оптимизаторът на Адам беше използван със скорост на обучение=1e−3.

Първоначален модел: Последваща обработка на данни

За да се присвои индивидуален етикет на всяка киста, алгоритъм за свързани компоненти с 6 съседни вокселни връзки беше приложен към сегментирането на ядрата на изхода на модела за дълбоко обучение.

Краен модел: Набор от данни за ЯМР

Тридесет и пет (n=35) 3D MR изображения от пациенти с ADPKD и налични 1.5-T или 3-TT2-претеглени наситени с мазнини коронарни изображения, представителни за по-широк набор от различни етапи на развитие на кисти и уголемяване на бъбреците бяха добавени към набора от данни от първоначалния модел. TKV сегментациите бяха налични за всички случаи. Общо 6 0 MR изображения с размер на матрицата 256 × 256 × Z или 512 × 512 × Z (с FOV и Z, достатъчно големи, за да покрият пълния обхват на бъбреците) съставляват крайния набор от данни. Средният размер на воксела на изображението беше 1,41 mm (диапазон 0.8 до 1,88 mm) в равнината, със средна дебелина на среза от 4.0 mm (диапазон 3.0 до 9,0 мм).

Изображенията бяха сортирани въз основа на техните TKV измервания. Четиридесет MR изображения (включително 25 изображения от първоначалния модел) бяха използвани за обучение и валидиране с помощта на техника за четирикратно кръстосано валидиране. Останалите 20 MR изображения бяха използвани за тестване. Фигура 3 показва разпределенията на TKV за всички набори.

Краен модел: Референтен стандарт

Сегментирането на екземплярна киста на новодобавените 35 MR изображения беше генерирано с помощта на първоначалния модел. Двама независими читатели ревизираха изображенията за тестване (n= 20) и един читател ревизира изображенията за обучение/валидиране (n=15). И накрая, всичките 60 екземпляра на маски за сегментиране на кисти и съответните MR изображения бяха взети нагоре до размер на матрицата 512 × 512 × 3Z чрез използване съответно на билинейни и бикубични интерполации. Беше приложена операция за отваряне на всеки екземпляр на киста, за да се запази точната сегментация на екземпляра след последваща обработка (т.е. разширяване след ерозия на ядрото).

Сегментациите на екземпляра бяха преобразувани в семантични сегменти на крайно ядро, където ядрото беше резултат от 3D екземплярите на ерозирала киста, а ръбът беше получен чрез добавяне на 3D вътрешни и 2D външни ръбове на екземпляр на киста. 3D и 2D морфологичните операции бяха извършени с помощта на 3 × 3 × 3 вокселно 6-ядро за свързване и 3 × 3 вокселно 4-конактивно ядро, съответно.

Окончателен модел: Ансамбълно обучение

Четири модела бяха получени от четирикратните комплекти за кръстосано валидиране, използвайки U-Net архитектурата, показана на Фиг. 2. Трите модела с най-добра производителност на комплекта за валидиране бяха комбинирани като окончателен модел на ансамбъла. Резултатът беше генериран чрез гласуване с мнозинство от трите периферни и основни сегменти. Диаграма на окончателния модел на ансамбъла е показана на фиг. 4.

Краен модел: последваща обработка

От първоначалните резултати от модела беше наблюдавано, че поради по-ниската разделителна способност на изображението по Z-ос, някои кистови ядра са свързани със задни/предни кисти. За да подобрим преобразуването от семантично към сегментиране на екземпляри и със знанието, че кистите имат форма, подобна на сфера, ние първо изчислихме 3D картата на евклидовото разстояние върху сегментацията на ядрата. След това алгоритъмът 3D Watershed беше приложен за разделяне на всички кисти, които може да не бъдат разделени от сегментирането на ръба. След това, с цел да се запазят ядрата на цистите, съставени главно от няколко воксела, които могат да бъдат загубени след алгоритъма Watershed, алгоритъм за свързани компоненти с 6-свързаност на най-близкия съсед беше приложен към разликата между прогнозираната карта на ядрото и 3D Вододелен изход. Етикетите на сегментирането на екземпляра на 3D свързаните компоненти бяха присвоени, като се започне от един плюс последния етикет от изхода на 3D Watershed. След това сегментирането на екземпляра на свързаните компоненти беше добавено към сегментирането на екземпляра на водораздела. И накрая, всички случаи на кисти бяха разширени в 3D чрез 3 × 3 × 3 воксел 6-свързан структуриращ елемент. Последната стъпка на последваща обработка беше намаляване на семплирането на изображението до първоначалната му форма.

Статистически анализ

Първоначалният модел и моделът на ансамбъла бяха оценени чрез сравняване на автоматизираните екземплярни сегментации на кисти с 3D референтни стандартни сегментации на кисти. Сегментирането на екземпляра беше бинаризирано за вокселно сравнение с помощта на индекса на Jaccard, коефициента на Sorensen-Dice, точността, припомнянето и промяната на абсолютния относителен обем. TCV, изчислени като сбор от всички сегментирани воксели, умножени по обема на вокселите, бяха оценени чрез анализ на Bland-Altman и линейна регресия. Общият брой на кистите беше оценен с помощта на линейна регресия. И накрая, кистозният индекс, определен като процент от обема на кистата спрямо общия обембъбрекобем, беше оценен чрез анализ на Bland-Altman и линейна регресия. Статистическият анализ беше извършен с помощта на JMP (JMP, версия 14) и MedCalc (статистически софтуер MedCalc, версия 19.1.3).

Резултати

Първоначален модел: Тестов комплект от 5 случая — Сегментиране на киста

Резултатите от TCV, изчислени от сегментирането, извършено от Reader 1, Reader 2, и тези, получени автоматично с първоначалния режим (подредени въз основа на възходящ TKV), се наблюдават в таблица 1. Анализът на Bland-Altman доведе до отклонение и прецизност от − 8,9 процента ±7.0 процента между Reader 1 и Reader 2, 0.9 процента ±32,2 процента между Reader 1 и първоначалния модел и 9,5 процента ± 30,8 процента между Reader 2 и първоначалния модел .

Първоначален модел: Тестов набор от 5 случая — Анализ на броя на кистите

Общият брой на кистите е K1, 102, 115, 224; К2, 96, 99, 105; К3, 274, 178, 183; К4, 676, 755, 721; и K5, 279, 177, 145 кисти, съответно за Читатели 1, 2 и първоначалния модел. Линейният регресионен анализ доведе до R2=0.94 между Reader 1 и Reader 2, R2=0.82 между Reader 1 и първоначалния модел и R2=0.96 между Reader 2 и първоначален модел.

Представителен срез от три случая на тестване, показващ разликите между Reader 1, Reader 2 и първоначалния модел, е представен на Фиг. 5. Жълтите стрелки сочат към кисти, които са сегментирани по различен начин между четците или между четците и автоматизирания метод. В повечето случаи моделът присвои един етикет на групираните кисти. Червената стрелка показва разлика между Reader 1 и Reader 2, където Reader 1 изключи яркия интензитет, който се вижда като част от бъбречното легенче, но Reader 2 интерпретира областта като киста.

Окончателен модел: Тестов набор от 20 случая — Сегментиране на киста

Таблица 3 обобщава показателите за сходство между Reader 1, Reader 2 и крайния модел за 20-сета от тестови случаи. Забелязахме, че показателите за сходство между Reader 1 и Reader 2 показват по-високо съгласие в сравнение с резултатите от първоначалния набор от тестове за 5-случаи. Това може да бъде причинено от ефект на отклонение, тъй като и двата четеца са започнали от първоначално сегментиране на екземпляр, генерирано от първоначалния модел. Освен това наблюдавахме подобна производителност между крайния модел и двата читателя, като взехме предвид, че наборът от тестове включва широк спектър от фенотипове на ADPKD.

Анализът на Bland-Altman на TCV доведе до отклонение и прецизност от 12,5 процента ± 10,1 процента между Reader 1 и Reader 2, 10,2 процента ± 11,2 процента между Reader 1 и модела на ансамбъла, − 2,3 процента ± 9,9 процента между Reader 2 и модела модел на ансамбъл и 4,3 процента ± 9,3 процента между средната стойност на Reader 1 с Reader 2 и модела на ансамбъла. Линейният регресионен анализ доведе до перфектно съответствие (R2=1.00) между Reader 1 и модела на ансамбъла, Reader 2 и модела на ансамбъла и средната стойност на читателя с модела на ансамбъла. Регресионният анализ между Reader 1 и Reader 2 показа почти перфектна корелация с R2=0.98. Фигура 6 показва диаграмите на Bland-Altman и линейната регресия за TCV.

Анализът на Bland-Altman на кистозния индекс доведе до отклонение и прецизност от 12,6 процента ± 10,5 процента между Reader 1 и Reader 2, 10,2 процента ± 11,2 процента между Reader 1 и модела на ансамбъла, − 2,4 процента ± 9,8 процента между Reader 2 и моделът на ансамбъла и 4,3 процента ± 9,4 процента между двете средни стойности на читателите и модела на ансамбъла. Най-добрата корелация на индекса на кистите беше между средната стойност на двата читателя и модела на ансамбъла (R2=0.94). Анализът на линейната регресия доведе до R2=0.90 между Reader 1 и Reader 2, R2=0.92 между Reader 1 и модела на ансамбъла, R2=0.90 между Reader 2 и ансамбъла модел. Фигура 7 показва диаграмите на Bland-Altman и линейната регресия за кистозния индекс.

Окончателен модел: Тестов набор от 20 случая — Анализ на броя на кистите

Общият брой кисти, получени от екземплярните сегменти на кисти, бяха анализирани чрез корелация (фиг. 8). Reader 2 и моделът на ансамбъла показаха най-силна корелация с R2=0.96, където моделът откри малко повече кисти от Reader 2. Сравнението между Reader 1 и окончателния модел на ансамбъла показва добро съответствие (R{{6} }.88), където Reader 2 идентифицира повече кисти от модела на ансамбъла за повечето случаи. Средният брой на кистите между наблюдателите обаче показа отлично съответствие с броя на кистите на ансамбълния модел (R2=0.94) (фиг. 8d). И накрая, сравнението между Reader 1 и Reader 2 показа най-ниско съответствие с R2=0.83, където Reader 1 идентифицира повече кисти от Reader 2.

Представителен отрязък от три тестови случая е представен на Фиг. 9. Можем да наблюдаваме, че автоматизираният метод осигурява добро сегментиране на екземпляри за ADPKD случаи с множество групирани кисти (които са най-предизвикателните случаи за алгоритъма) и резултатите изглеждат визуално на наравно с сегментирането на екземплярите от двата читателя.

И накрая, сравнение между TKV (т.е. основният образен биомаркер за оценка на ADPKD) и TCV и броя на кистите е показано на Фиг. 10. Линеен регресионен анализ показва, че 98 процента от вариацията в TCV се обяснява с линейната му връзка с TKV; въпреки това, само 53 процента от вариацията в броя на кистите се обяснява с линейната му връзка с TKV. Това предоставя доказателство, че броят на кистите може да предложи допълнителна фенотипна информация извън TKV.

Дискусия

В това проучване представяме първия подход за задълбочено обучение за сегментиране на множество клъстерирани случаи на кисти в MR изображения за пациенти с ADPKD. Сравнението на прогнозирания TCV, броя на кистите и кистозния индекс с резултатите от двама читатели показа, че автоматизиран подход може да произведе точни 3D сегментации на кисти.

Моделите за дълбоко обучение изискват големи количества данни, за да постигнат най-добри резултати. Липсата на 3D анотирани изображения беше основна пречка в началото на проучването. 5-те ръчно сегментирани изображения в първоначалния набор от тестове изискваха няколко седмици за завършване и бяха много трудоемки. Най-предизвикателните изображения са тези от пациенти с напреднало/тежко ADPKD, където множество кисти са групирани заедно и границите не са толкова дефинирани, както когато кистите са заобиколени отбъбрекпаренхим. За да се преодолее това препятствие, проучването беше разделено на два раздела, за да се реши този проблем чрез активно учене. Първата част от проучването включва първоначален модел, обучен върху малък набор от данни. Втората част от проучването включваше разработването на крайния модел с помощта на по-голям набор от данни, където референтният стандарт беше инициализиран от първоначалния модел.

Резултатите от това проучване са наравно с резултатите, получени от Bae et al. [33], където той предложи полуавтоматизиран метод за генериране на екземплярни сегментации на кисти. Отклонението на TCV, докладвано с помощта на полуавтоматизираното сегментиране в сравнение с базиран на регион обем, е -9 процента с R2=0.98 за брой кисти. В нашето проучване отклонението на TCV между четците и напълно автоматизирания метод беше съответно 10,2% и −2,3% с R2=0.94 за брой кисти. Струва си да се спомене, че наборът от тестове в нашето проучване включва случаи с по-висок TCV и по-голям брой кисти, а предложеният модел на ансамбъл не изисква никакво въвеждане от потребителя.

Кистите в MR изображения могат да бъдат показани с различен интензитет в зависимост от състава на кистата. Повечето кисти при ADPKD са прости кисти (т.е. не съдържат твърди компоненти) и се показват като хиперинтензивни области на T2-претеглени MR изображения. Усложнените кисти (напр. протеинови, хеморагични, инфектирани кисти) обаче често се разглеждат като хипоинтензивни области [38]. Друг източник на разлика в интензитета на кистата се наблюдава в зависимост от силата на магнитното поле на MR скенера. Скенерите с три тесла имат по-висока сила на магнитното поле и осигуряват по-висок SNR, следователно по-добро качество на изображението и контраст на киста. За да се осигури точно сегментиране на кистата, е необходим автоматизиран метод

да бъде с инвариантен интензитет. С цел увеличаване на възможността за обобщаване на модела, крайният модел на ансамбъла беше обучен върху изображения, получени с 1.5-T и 3-T MR скенери. Освен това, ние включихме изображения, представящи сложни кисти в широк спектър от фенотипове на ADPKD и изображения с различни разделителни способности. Освен това кохортата включва случаи с TKV, вариращи от обеми, близки до нормалнитебъбреци(~ 290 mL) до случаи, достигащи почти 10,000 mL, което на практика покрива цялата гама телевизори в ADPKD. Два примера за подобрена обобщаемост на модела на ансамбъла спрямо първоначалния модел могат да се наблюдават на Фиг. 11, където крайният модел успя да идентифицира кисти с по-нисък интензитет.

The conversion from instance cyst segmentation to semantic edge-core segmentation for training the model is another key step, particularly for clustered cysts. The semantic edge segmentation for the initial model was generated by applying a dilation morphology operator. This approach was chosen because some cysts are present on only one slice and an erosion approach would not preserve these cysts after the conversion. The dilation method provided a good estimation of the cyst edges on the in-plane view (x and y view) but, due to the lower resolution on the Z dimension, the posterior and anterior cyst edges interfered with adjacent cysts. For the final model, we decided to generate the semantic edge segmentation applying the erosion morphology operator. To preserve all cysts, the MR images and the corresponding instance segmentations were interpolated to a size 512 × 512 × 3Z. Thus, cysts present on only one slice would be interpolated to 2 additional slices. We up-sampled the images with an in-plane matrix size of 256 × 256 to 512 × 512 because the ensemble model requires a consistent input matrix size. To account for the higher class imbalance (core class >>edge class) поради интерполацията извършихме 2D дилатация на ръбовете. Подобреното запазване на TCV и броя на кистите при ерозионния подход в сравнение с дилатационния подход може да се наблюдава на Фиг. 12.

Дизайнът на крайния модел включва гласуващ ансамбъл от три различни модела. Тези модели бяха първите три модела с най-добри резултати в набора за валидиране, получен от метода на четирикратно кръстосано валидиране. Моделът на ансамбъла с алгоритъм за гласуване на мнозинството беше приложен, тъй като ансамблите за гласуване се характеризират с това, че са по-стабилни и имат по-добра производителност от единичните модели [36]. Резултатите от съгласието между отделните модели, модела на ансамбъла и читателите могат да бъдат намерени в раздела за допълнителни материали.

Едно ограничение на ЯМР е ниската разделителна способност за показване на микрокисти. Средният обем на воксела в това проучване беше {{0}}.0076 ± 0,0034 mL. Въпреки това, поради присъщия шум, присъстващ на MR изображенията (т.е. шум от сол и пипер), ние въведохме по-нисък праг на размера на кистата от 4 воксела (среден диаметър в равнината 2,76 ± 0,48 mm) след последваща обработка.

Подходите за откриване на обекти за извършване на сегментиране на екземпляри за припокриващи се и групирани екземпляри стават все по-популярни поради тяхната висока производителност върху естествени и 2D медицински изображения [18–26]. Високите изисквания към паметта на GPU обаче правят този подход невъзможен за прилагане за 3D изображения с голям брой екземпляри. Liu и др. [27] прилага модел, базиран на Mask R-CNN, за сегментиране на белодробни възли върху CT изображения. Въпреки че белодробните възли не присъстват в същото количество като кистите при ADPKD, Liu et. al използва стратегия, базирана на кръпки, за да отчете размерността на CT сканиранията и ограничената GPU памет. В опит да намалят изчислителната сложност, някои изследователи са използвали методи, подобни на теоремата за 4 цвята, за обучение на алгоритъма за задълбочено обучение за предсказване на сегментиране на 2D инстанция [39]. Въпреки че този подход работи добре за 2D изображения, не е ясно колко цвята ще са необходими за 3D изображения, особено за нашия проблем с автоматично идентифициране и отделно разграничаване на стотици до хиляди кисти. В това проучване използвахме подход за сегментиране на семантичен екземпляр, който се представи много подобно на двама опитни читатели и въпреки че използвахме морфологични оператори, за да преобразуваме изображенията от екземпляр в семантично и семантично в сегментиране на екземпляр, показахме, че тези операции не имат ефект върху крайния обем на кистите и общия брой на кистите. Бъдещото развитие на стратегии за сегментиране на екземпляри може да намали необходимостта от такива високи изисквания към паметта и да доведе до внедряване на сегментиране на екземпляри на киста, използвайки метод, базиран на локализация/откриване на обекти.

Основното ограничение на проучването беше липсата на златен стандарт. Точният брой кисти и стойностите на TCV не бяха налични; по този начин ние разчитахме на точността на двама обучени четци на медицински изображения. Друго ограничение беше малкият размер на кохортата, което ни попречи да анализираме клиничната стойност на тези нови образни биомаркери; въпреки това това е основната ни цел за бъдеща работа. И накрая, изображенията бяха само от нашата институция, придобити със същия протокол за изображения. По-голям набор от данни с проби от различни институции и доставчици на машини може да помогне за по-нататъшното обобщаване на модела на екземпляра на киста. Освен това тази работа може да бъде разширена чрез активно обучение към други MR последователности, като T2-претеглени изображения без мазнини и наситени T1-претеглени изображения, които могат да добавят нова информация за морфологията на кистата към модела. Освен това, подобна архитектура може да се приложи към други модалности на изображения, като CT сканиране.

Изводи

Ние разработихме напълно автоматизиран метод за 3D екземплярно сегментиране на бъбречни кисти в T2 MR изображения за ADPKD пациенти с леко, умерено и тежко заболяване. Необходими са бъдещи проучвания с по-голям набор от данни, за да се разбере по-добре как тези допълнителни биомаркери се отнасят към болестното състояние и прогнозата на пациента.

Декларации

Конфликт на интересиАвторите декларират липса на конкуриращи се интереси.

Свободен достъпТази статия е лицензирана съгласно Creative Commons Attribution 4.0 Международен лиценз, който позволява използване, споделяне, адаптиране, разпространение и възпроизвеждане във всякакъв носител или формат, стига да посочите подходящото признание на оригиналния автор(и) ) и източника, осигурете връзка към лиценза Creative Commons и посочете дали са направени промени. Изображенията или други материали на трети страни в тази статия са включени в лиценза Creative Commons на статията, освен ако не е посочено друго в кредитната линия към материала. Ако материалът не е включен в лиценза Creative Commons на статията и предвидената от вас употреба не е разрешена от законови разпоредби или надвишава разрешената употреба, ще трябва да получите разрешение директно от притежателя на авторските права.

Препратки

1. Willey C, Kamat S, Stellhorn R, Blais J: Анализ на национални данни за определяне на честотата и диагностицираното разпространение на автозомно доминантно поликистозно бъбречно заболяване в САЩ: 2013–2015. Бъбречни заболявания 5:107-117, 2019 г

2. Torres VE, Harris PC, Pirson Y: Автозомно доминантно поликистозно бъбречно заболяване. The Lancet 369:1287-1301, 2007 г

3. Perrone RD, et al.: Общият обем на бъбреците е прогностичен биомаркер за намаляване на бъбречната функция и прогресия до краен стадий на бъбречно заболяване при пациенти с автозомно доминантно поликистозно бъбречно заболяване. Kidney Int rep 2:442-450, 2017 г

4. Alam A, et al.: Общ обем на бъбреците при автозомно доминантно поликистозно бъбречно заболяване: биомаркер за прогресия на заболяването и терапевтична ефикасност. Am J Kidney Dis 66: 564-576, 2015 г

5. Tangri N, Hougen I, Alam A, Perrone R, McFarlane P, Pei Y: Общият обем на бъбреците като биомаркер за прогресия на заболяването при автозомно доминантно поликистозно бъбречно заболяване. Can J Kidney Health Dis 4:2054358117693355, 2017 г.

6. Harris PC, et al.: Броят на кистите, но не и скоростта на кистозния растеж, е свързан с мутиралия ген при автозомно доминантно поликистозно бъбречно заболяване. J Am Soc Nephrol 17:3013-3019, 2006

7. Irazabal MV, et al.: Образна класификация на автозомно доминантно поликистозно бъбречно заболяване: прост модел за подбор на пациенти за клинични изпитвания. J Am Soc Nephrol 26: 160-172, 2015 г

8. Bae KT, et al.: Разширена образна класификация на автозомно доминантно поликистозно бъбречно заболяване. J Am Soc Nephrol, 2020 г

9. Qi CR, Su H, Mo K, Guibas LJ: Pointnet: Задълбочено обучение върху набори от точки за 3d класификация и сегментиране. Proc. Представено на годишната среща на CVPR2017

10. Garcia-Garcia A, Orts-Escolano S, Oprea S, Villena-Martinez V, Garcia-Rodriguez J: Преглед на техниките за дълбоко обучение, приложени към семантично сегментиране. предпечат arXiv, 2017 г

11. Гупта А, Ведалди А, Зисерман А: Синтетични данни за локализиране на текст в естествени изображения. Proc. Представено на годишната среща на CVPR2017

12. Litjens G, et al.: Проучване за задълбочено обучение в анализа на медицински изображения. Med Image Anal 42:60-88, 2017 г

13. Sharma K, et al.: Автоматично сегментиране на бъбреците с помощта на дълбоко обучение за количествено определяне на общия обем на бъбреците при автозомно доминантно поликистозно бъбречно заболяване. Sci Rep 7:2049, 2017 г

14. Turco D, Valinoti M, Martin EM, Tagliaferri C, Scolari F, Corsi C: Напълно автоматизирано сегментиране на поликистозни бъбреци от неконтрастна компютърна томография: проучване на осъществимостта и

предварителни резултати. Акад. Радиол 25:850-855, 2018 г

15. Kline TL, et al.: Изпълнение на изкуствена дълбока невронна мрежа с множество наблюдатели за напълно автоматизирано сегментиране на поликистозни бъбреци. J Digit Imaging 30:442-448, 2017 г

16. van Gastel MD, Edwards ME, Torres VE, Erickson BJ, Gansevoort RT, Kline TL: Автоматично измерване на бъбречни и чернодробни обеми от MR изображения на пациенти, засегнати от автозомно доминантно поликистозно бъбречно заболяване. J Am Soc Nephrol 30: 1514-1522, 2019 г

17. He K, Gkioxari G, Dollár P, Girshick R: Маска r-cnn. Proc. Доклади от международната конференция IEEE по компютърно зрение

18. Prabhakar G, Kailath B, Natarajan S, Kumar R: Откриване и класифициране на препятствия с помощта на дълбоко обучение за проследяване при високоскоростно автономно шофиране. Proc. 2017 IEEE регион 10 симпозиум (TENSYMP)

19. Huang Z, Zhong Z, Sun L, Huo Q: Маска R-CNN с пирамидална мрежа за внимание за откриване на текст на сцена. Proc. 2019 IEEE Зимна конференция за приложения на компютърно зрение (WACV)

20. Yu Y, Zhang K, Yang L, Zhang D: Откриване на плодове за робот за събиране на ягоди в неструктурна среда, базирана на Mask-RCNN. Comput Electron Agric 163:104846, 2019 г