Дякуємо, що відвідали Nature.com.Ви використовуєте версію браузера з обмеженою підтримкою CSS.Для найкращої роботи радимо використовувати оновлений браузер (або вимкнути режим сумісності в Internet Explorer).Крім того, щоб забезпечити постійну підтримку, ми показуємо сайт без стилів і JavaScript.
Повзунки, що показують три статті на слайді.Використовуйте кнопки «Назад» і «Далі» для переходу між слайдами або кнопки керування слайдами в кінці для переходу між слайдами.
Оптична когерентна томографічна ангіографія (ОКТА) — новий метод неінвазивної візуалізації судин сітківки.Хоча OCTA має багато перспективних клінічних застосувань, визначення якості зображення залишається проблемою.Ми розробили систему на основі глибокого навчання, використовуючи класифікатор нейронної мережі ResNet152, попередньо навчений ImageNet, для класифікації зображень поверхневих капілярних сплетень за 347 скануваннями 134 пацієнтів.Зображення також були вручну оцінені як правдиві двома незалежними оцінювачами для моделі навчання під наглядом.Оскільки вимоги до якості зображення можуть відрізнятися залежно від клінічних або дослідницьких умов, було навчено дві моделі: одну для розпізнавання зображень високої якості, а іншу для розпізнавання зображень низької якості.Наша модель нейронної мережі показує чудову площу під кривою (AUC), 95% ДІ 0,96-0,99, \(\kappa\) = 0,81), що значно краще, ніж рівень сигналу, який повідомляє машина (AUC = 0,82, 95 % ДІ).0,77–0,86, \(\каппа\) = 0,52 і AUC = 0,78, 95% ДІ 0,73–0,83, \(\каппа\) = 0,27 відповідно).Наше дослідження демонструє, що методи машинного навчання можна використовувати для розробки гнучких і надійних методів контролю якості зображень OCTA.
Оптична когерентна томографічна ангіографія (ОКТА) — це відносно новий метод, заснований на оптичній когерентній томографії (ОКТ), який можна використовувати для неінвазивної візуалізації мікроциркуляторного русла сітківки.OCTA вимірює різницю в моделях відбиття від повторюваних імпульсів світла в тій самій області сітківки, і потім можна розрахувати реконструкцію, щоб виявити кровоносні судини без інвазивного використання барвників або інших контрастних речовин.OCTA також забезпечує зображення судин із глибокою роздільною здатністю, дозволяючи клініцистам окремо досліджувати поверхневий і глибокий шари судин, допомагаючи диференціювати хоріоретинальне захворювання.
Незважаючи на те, що ця техніка є багатообіцяючою, варіація якості зображення залишається основною проблемою для надійного аналізу зображення, ускладнюючи інтерпретацію зображення та перешкоджаючи широкому клінічному застосуванню.Оскільки OCTA використовує кілька послідовних сканувань OCT, він більш чутливий до артефактів зображення, ніж стандартний OCT.Більшість комерційних платформ OCTA надають власну метрику якості зображення під назвою «Інтенсивність сигналу» (SS) або іноді «Індекс потужності сигналу» (SSI).Однак зображення з високим значенням SS або SSI не гарантують відсутності артефактів зображення, які можуть вплинути на будь-який наступний аналіз зображення та призвести до неправильних клінічних рішень.Поширені артефакти зображення, які можуть виникати під час візуалізації OCTA, включають артефакти руху, артефакти сегментації, артефакти непрозорості медіа та артефакти проекції1,2,3.
Оскільки вимірювання, отримані за допомогою OCTA, такі як щільність судин, все частіше використовуються в трансляційних дослідженнях, клінічних випробуваннях і клінічній практиці, існує нагальна потреба в розробці надійних і надійних процесів контролю якості зображення для усунення артефактів зображення4.З’єднання пропуску, також відомі як залишкові з’єднання, є проекціями в архітектурі нейронної мережі, які дозволяють інформації обходити згорткові шари, зберігаючи інформацію в різних масштабах або роздільній здатності5.Оскільки артефакти зображення можуть впливати на дрібномасштабні та загалом великомасштабні зображення, нейронні мережі з пропуском з’єднання добре підходять для автоматизації цього завдання контролю якості5.Нещодавно опублікована робота показала певні перспективи для глибоких згорткових нейронних мереж, навчених з використанням високоякісних даних від людей-оцінювачів6.
У цьому дослідженні ми навчаємо згортову нейронну мережу, що пропускає з’єднання, автоматично визначати якість зображень OCTA.Ми спираємося на попередню роботу, розробляючи окремі моделі для визначення зображень високої та низької якості, оскільки вимоги до якості зображень можуть відрізнятися для конкретних клінічних або дослідницьких сценаріїв.Ми порівнюємо результати цих мереж із згортковими нейронними мережами без пропуску зв’язків, щоб оцінити цінність включення функцій на кількох рівнях деталізації в глибоке навчання.Потім ми порівняли наші результати з потужністю сигналу, загальноприйнятою мірою якості зображення, яку надають виробники.
Наше дослідження включало пацієнтів з діабетом, які відвідували Єльський очний центр у період з 11 серпня 2017 року по 11 квітня 2019 року. Пацієнти з будь-яким недіабетичним захворюванням хоріоретинального відділу були виключені.Не було критеріїв включення чи виключення на основі віку, статі, раси, якості зображення чи будь-якого іншого фактора.
Зображення OCTA були отримані за допомогою платформи AngioPlex на Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Дублін, Каліфорнія) за протоколами візуалізації 8\(\times\)8 мм і 6\(\times\)6 мм.Інформована згода на участь у дослідженні була отримана від кожного учасника дослідження, і Рада інституційного огляду Єльського університету (IRB) схвалила використання інформованої згоди з глобальною фотографією для всіх цих пацієнтів.Дотримання принципів Гельсінської декларації.Дослідження було схвалено IRB Єльського університету.
Зображення поверхневих пластинок оцінювали на основі раніше описаної оцінки артефакту руху (MAS), раніше описаної оцінки артефакту сегментації (SAS), фовеального центру, наявності непрозорості середовища та хорошої візуалізації дрібних капілярів, як це було визначено оцінювачем зображення.Зображення були проаналізовані двома незалежними експертами (RD та JW).Зображення отримує оцінку 2 (придатне), якщо відповідають усім наведеним нижче критеріям: зображення зосереджено в ямці (менше 100 пікселів від центру зображення), MAS — 1 або 2, SAS — 1 і непрозорість носія менше 1. Присутня на зображеннях розміром / 16, а дрібні капіляри видно на зображеннях розміром більше 15/16.Зображення оцінюється як 0 (без рейтингу), якщо виконується будь-який із таких критеріїв: зображення не по центру, якщо MAS дорівнює 4, якщо SAS дорівнює 2 або середня непрозорість перевищує 1/4 зображення, і дрібні капіляри не можна регулювати більше ніж на 1 зображенні /4, щоб розрізнити.Усі інші зображення, які не відповідають критеріям оцінки 0 або 2, оцінюються як 1 (вирізка).
На рис.1 показані зразки зображень для кожної з масштабованих оцінок і артефактів зображення.Надійність індивідуальних балів між оцінювачами оцінювалася за допомогою зважування каппа Коена8.Індивідуальні бали кожного оцінювача підсумовуються, щоб отримати загальну оцінку для кожного зображення в діапазоні від 0 до 4. Зображення із загальною оцінкою 4 вважаються хорошими.Зображення із загальною оцінкою 0 або 1 вважаються низькоякісними.
Згорточна нейронна мережа архітектури ResNet152 (рис. 3A.i), попередньо навчена на зображеннях із бази даних ImageNet, була створена за допомогою fast.ai та інфраструктури PyTorch5, 9, 10, 11. Згорточна нейронна мережа — це мережа, яка використовує вивчені фільтри для сканування фрагментів зображення для вивчення просторових і локальних особливостей.Наш навчений ResNet — це 152-шарова нейронна мережа, що характеризується розривами або «залишковими зв’язками», які одночасно передають інформацію з кількома роздільними здатностями.Проектуючи інформацію з різною роздільною здатністю в мережі, платформа може вивчати особливості зображень низької якості з кількома рівнями деталізації.Окрім нашої моделі ResNet, ми також навчили AlexNet, добре вивчену архітектуру нейронної мережі, не пропускаючи з’єднань для порівняння (Рисунок 3A.ii)12.Без пропущених з’єднань ця мережа не зможе отримувати функції з вищою деталізацією.
Оригінальний набір зображень 8\(\разів\)8 мм OCTA13 було покращено за допомогою методів горизонтального та вертикального відображення.Потім повний набір даних був випадковим чином розділений на рівні зображення на набори даних для навчання (51,2%), тестування (12,8%), налаштування гіперпараметрів (16%) і перевірки (20%) за допомогою інструментарію scikit-learn python14.Було розглянуто два випадки: один заснований на виявленні лише зображень найвищої якості (загальна оцінка 4), а інший заснований на виявленні лише зображень найнижчої якості (загальна оцінка 0 або 1).Для кожного випадку високоякісного та низькоякісного використання нейронна мережа один раз перенавчається на наших даних зображення.У кожному випадку використання нейронна мережа навчалася протягом 10 епох, усі вагові коефіцієнти шару, крім найвищих, були заморожені, а ваги всіх внутрішніх параметрів вивчалися протягом 40 епох за допомогою методу дискримінаційної швидкості навчання з функцією втрат крос-ентропії 15, 16..Функція крос-ентропійних втрат є мірою логарифмічного масштабу розбіжності між прогнозованими мітками мережі та реальними даними.Під час навчання виконується градієнтний спуск за внутрішніми параметрами нейронної мережі, щоб мінімізувати втрати.Швидкість навчання, відсоток відсіву та гіперпараметри зменшення ваги були налаштовані за допомогою байєсівської оптимізації з 2 випадковими початковими точками та 10 ітераціями, а AUC для набору даних налаштовано з використанням гіперпараметрів як цільового значення 17.
Типові приклади 8 × 8 мм OCTA зображень поверхневих капілярних сплетень отримали 2 бали (A, B), 1 (C, D) і 0 (E, F).Показані артефакти зображення включають мерехтливі лінії (стрілки), артефакти сегментації (зірочки) і непрозорість медіа (стрілки).Зображення (E) також не в центрі.
Потім генеруються криві робочих характеристик приймача (ROC) для всіх моделей нейронної мережі, а звіти про силу сигналу механізму генеруються для кожного випадку використання низької та високої якості.Площу під кривою (AUC) розраховували за допомогою пакету pROC R, а 95% довірчі інтервали та р-значення розраховували за допомогою методу Делонга18,19.Сукупні бали оцінювачів-людей використовуються як базові для всіх розрахунків ROC.Для потужності сигналу, повідомленої машиною, AUC було обчислено двічі: один раз для високоякісного показника масштабованості та один раз для низькоякісного показника масштабованості.Нейронна мережа порівнюється з потужністю сигналу AUC, що відображає її власні умови навчання та оцінки.
Для подальшого тестування навченої моделі глибокого навчання на окремому наборі даних моделі високої та низької якості були безпосередньо застосовані для оцінки ефективності 32 зображень поверхневої плити площею 6\(\times\) 6 мм, зібраних з Єльського університету, у повному обсязі.Маса ока центрується одночасно із зображенням 8 \(\times \) 8 мм.Зображення розміром 6\(\×\) 6 мм оцінювали вручну ті ж оцінювачі (RD та JW) так само, як і зображення розміром 8\(\×\) 8 мм, було розраховано AUC, а також точність і каппа Коена .порівну.
Коефіцієнт дисбалансу класів становить 158:189 (\(\rho = 1,19\)) для моделі низької якості та 80:267 (\(\rho = 3,3\)) для моделі високої якості.Оскільки співвідношення дисбалансу класів менше 1:4, не було внесено жодних особливих архітектурних змін для виправлення дисбалансу класів20,21.
Для кращої візуалізації процесу навчання було створено карти активації класу для всіх чотирьох навчених моделей глибокого навчання: моделі ResNet152 високої якості, моделі ResNet152 низької якості, моделі AlexNet високої якості та моделі AlexNet низької якості.Карти активації класу генеруються з вхідних згорткових шарів цих чотирьох моделей, а карти тепла генеруються шляхом накладання карт активації на вихідні зображення з наборів перевірки 8 × 8 мм і 6 × 6 мм22, 23.
Для всіх статистичних розрахунків використовувалася версія R 4.0.3, а візуалізації створювалися за допомогою бібліотеки графічних інструментів ggplot2.
Ми зібрали 347 фронтальних зображень поверхневого капілярного сплетення розміром 8 \(\times \)8 мм від 134 осіб.Машина повідомила про силу сигналу за шкалою від 0 до 10 для всіх зображень (середнє = 6,99 ± 2,29).З 347 отриманих зображень середній вік на момент обстеження становив 58,7 ± 14,6 років, і 39,2% були від пацієнтів чоловічої статі.З усіх зображень 30,8% були від кавказців, 32,6% від чорношкірих, 30,8% від латиноамериканців, 4% від азіатів і 1,7% від інших рас (таблиця 1).).Віковий розподіл пацієнтів з ОКТА вірогідно відрізнявся залежно від якості зображення (p < 0,001).Відсоток високоякісних зображень у молодших пацієнтів віком 18-45 років становив 33,8% порівняно з 12,2% зображень низької якості (табл. 1).Розподіл статусу діабетичної ретинопатії також значно відрізнявся за якістю зображення (p <0,017).Серед усіх зображень високої якості відсоток пацієнтів із PDR становив 18,8% порівняно з 38,8% усіх зображень низької якості (табл. 1).
Індивідуальні оцінки всіх зображень показали помірну або високу міжоцінкову надійність між людьми, які читали зображення (зважений каппа Коена = 0,79, 95% ДІ: 0,76-0,82), і не було точок зображення, де оцінювачі відрізнялися більше ніж на 1 (рис. 2A)..Інтенсивність сигналу суттєво корелювала з оцінкою вручну (коефіцієнт моменту продукту Пірсона = 0,58, 95% ДІ 0,51–0,65, p<0,001), але було визначено, що багато зображень мають високу інтенсивність сигналу, але низьку оцінку вручну (рис. 2B).
Під час навчання архітектур ResNet152 і AlexNet втрата перехресної ентропії під час перевірки та навчання падає протягом 50 епох (рис. 3B, C).Точність перевірки в епоху остаточного навчання становить понад 90% як для високоякісних, так і для низькоякісних випадків використання.
Криві продуктивності приймача показують, що модель ResNet152 значно перевершує потужність сигналу, про яку повідомляє машина, у випадках використання як низької, так і високої якості (p < 0,001).Модель ResNet152 також значно перевершує архітектуру AlexNet (p = 0,005 і p = 0,014 для випадків низької та високої якості відповідно).Отримані моделі для кожного з цих завдань змогли досягти значень AUC 0,99 і 0,97 відповідно, що значно краще, ніж відповідні значення AUC 0,82 і 0,78 для індексу сили сигналу машини або 0,97 і 0,94 для AlexNet ..(Рис. 3).Різниця між ResNet і AUC у потужності сигналу вища при розпізнаванні високоякісних зображень, що вказує на додаткові переваги використання ResNet для цього завдання.
Графіки показують здатність кожного незалежного оцінювача оцінювати та порівнювати потужність сигналу, яку повідомляє машина.(A) Сума балів для оцінки використовується для створення загальної кількості балів для оцінки.Зображенням із загальною оцінкою масштабованості 4 призначається висока якість, тоді як зображенням із загальною оцінкою масштабованості 1 або менше призначається низька якість.(B) Інтенсивність сигналу корелює з ручними оцінками, але зображення з високою інтенсивністю сигналу можуть бути гіршої якості.Червона пунктирна лінія вказує на рекомендований виробником поріг якості на основі потужності сигналу (потужність сигналу \(\ge\)6).
Навчання передачі ResNet забезпечує значне покращення ідентифікації якості зображення як для низькоякісних, так і для високоякісних випадків використання порівняно з рівнями сигналу, які повідомляються машиною.(A) Спрощені схеми архітектури попередньо підготовлених (i) ResNet152 та (ii) архітектур AlexNet.(B) Історія навчання та криві продуктивності приймача для ResNet152 порівняно з потужністю сигналу, повідомленою машиною, та критеріями низької якості AlexNet.(C) Історія навчання приймача ResNet152 і криві продуктивності в порівнянні з потужністю сигналу, яку повідомляє машина, і критеріями високої якості AlexNet.
Після коригування граничного порогу рішення максимальна точність прогнозу моделі ResNet152 становить 95,3% для випадку низької якості та 93,5% для випадку високої якості (таблиця 2).Максимальна точність прогнозу моделі AlexNet становить 91,0% для випадку низької якості та 90,1% для випадку високої якості (табл. 2).Максимальна точність прогнозування потужності сигналу становить 76,1% для варіанта використання низької якості та 77,8% для варіанта використання високої якості.Відповідно до каппа Коена (\(\kappa\)), згода між моделлю ResNet152 і оцінювачами становить 0,90 для випадку низької якості та 0,81 для випадку високої якості.AlexNet каппа Коена становить 0,82 і 0,71 для випадків використання низької та високої якості відповідно.Потужність сигналу Коена каппа становить 0,52 і 0,27 для випадків використання низької та високої якості відповідно.
Перевірка моделей розпізнавання високої та низької якості на 6\(\x\) зображеннях плоскої пластини 6 мм демонструє здатність навченої моделі визначати якість зображення за різними параметрами зображення.При використанні неглибоких плит 6\(\x\) 6 мм для якості зображення модель низької якості мала AUC 0,83 (95% ДІ: 0,69–0,98), а модель високої якості мала AUC 0,85.(95% ДІ: 0,55–1,00) (Таблиця 2).
Візуальний огляд карт активації класу вхідного шару показав, що всі навчені нейронні мережі використовували ознаки зображення під час класифікації зображення (рис. 4A, B).Для зображень 8 \(\times \) 8 мм і 6 \(\times \) 6 мм зображення активації ResNet точно стежать за судинною мережею сітківки.Карти активації AlexNet також слідують за судинами сітківки, але з більшою роздільною здатністю.
Карти активації класів для моделей ResNet152 і AlexNet виділяють функції, пов’язані з якістю зображення.(A) Карта активації класу, що показує когерентну активацію після поверхневої судинної мережі сітківки на 8 \(\times \) 8 мм валідаційних зображеннях і (B) ступінь на менших 6 \(\times \) 6 мм валідаційних зображеннях.Модель LQ навчена за критеріями низької якості, модель HQ навчена за критеріями високої якості.
Раніше було показано, що якість зображення може сильно вплинути на кількісне визначення зображень OCTA.Крім того, наявність ретинопатії збільшує частоту артефактів зображення7,26.Насправді, згідно з попередніми дослідженнями, ми виявили значний зв’язок між збільшенням віку та тяжкістю захворювання сітківки та погіршенням якості зображення (p < 0,001, p = 0,017 для віку та статусу DR відповідно; таблиця 1) 27. Таким чином, дуже важливо оцінити якість зображення перед виконанням будь-якого кількісного аналізу зображень OCTA.Більшість досліджень, що аналізують зображення OCTA, використовують порогові значення інтенсивності сигналу, визначені машиною, щоб виключити зображення низької якості.Хоча було показано, що інтенсивність сигналу впливає на кількісну оцінку параметрів OCTA, однієї лише високої інтенсивності сигналу може бути недостатньо, щоб виключити зображення з артефактами2,3,28,29.Тому необхідно розробити більш надійний метод контролю якості зображення.З цією метою ми оцінюємо продуктивність контрольованих методів глибокого навчання за рівнем сигналу, який повідомляє машина.
Ми розробили кілька моделей для оцінки якості зображення, оскільки різні випадки використання OCTA можуть мати різні вимоги до якості зображення.Наприклад, зображення мають бути якіснішими.Крім того, важливі також конкретні кількісні параметри, що представляють інтерес.Наприклад, площа фовеальної безсудинної зони не залежить від каламутності нецентрального середовища, але впливає на щільність судин.Хоча наше дослідження й надалі зосереджується на загальному підході до якості зображення, не прив’язаному до вимог будь-якого конкретного тесту, але спрямованому на пряму заміну потужності сигналу, яку повідомляє машина, ми сподіваємося дати користувачам більший ступінь контролю, щоб вони могли може вибрати конкретний показник, який цікавить користувача.вибрати модель, яка відповідає максимально допустимому ступеню артефактів зображення.
Для низькоякісних і високоякісних сцен ми демонструємо чудову продуктивність глибоких згорткових нейронних мереж із відсутнім з’єднанням із AUC 0,97 і 0,99 і низькоякісними моделями відповідно.Ми також демонструємо чудову ефективність нашого підходу глибокого навчання порівняно з рівнями сигналу, які повідомляють лише машини.Пропуск з’єднань дозволяє нейронним мережам вивчати функції на кількох рівнях деталізації, фіксуючи більш тонкі аспекти зображень (наприклад, контраст), а також загальні характеристики (наприклад, центрування зображення30,31).Оскільки артефакти зображення, які впливають на якість зображення, ймовірно, найкраще ідентифікуються в широкому діапазоні, архітектури нейронної мережі з відсутніми зв’язками можуть демонструвати кращу продуктивність, ніж ті, без завдань визначення якості зображення.
Під час тестування нашої моделі на 6\(\×6 мм) OCTA-зображеннях ми помітили зниження продуктивності класифікації як для високоякісних, так і для низькоякісних моделей (рис. 2), на відміну від розміру моделі, навченої для класифікації.У порівнянні з моделлю ResNet модель AlexNet має більший спад.Відносно краща продуктивність ResNet може бути пов’язана зі здатністю залишкових з’єднань передавати інформацію в кількох масштабах, що робить модель більш надійною для класифікації зображень, отриманих у різних масштабах і/або збільшеннях.
Деякі відмінності між зображеннями 8 \(\×\) 8 мм і зображеннями 6 \(\×\) 6 мм можуть призвести до поганої класифікації, включаючи відносно високу частку зображень, що містять фовеальні безсудинні області, зміни видимості, судинні аркади та відсутність зорового нерва на знімку 6×6 мм.Незважаючи на це, наша високоякісна модель ResNet змогла досягти AUC 85% для зображень 6 \(\x\) 6 мм, конфігурації, для якої модель не навчалася, що свідчить про те, що інформація про якість зображення, закодована в нейронній мережі підходить.для одного розміру зображення або конфігурації машини поза його навчанням (табл. 2).Заспокоює те, що ResNet- та AlexNet-подібні карти активації 8 \(\times \) 8 мм і 6 \(\times \) 6 мм зображень змогли виділити судини сітківки в обох випадках, припускаючи, що модель містить важливу інформацію.застосовні для класифікації обох типів OCTA-зображень (рис. 4).
Лауерман та ін.Оцінка якості зображення на зображеннях OCTA була аналогічно виконана з використанням архітектури Inception, іншої згорткової нейронної мережі з пропуском зв’язку6,32 з використанням методів глибокого навчання.Вони також обмежили дослідження зображеннями поверхневого капілярного сплетення, але лише з використанням менших зображень 3 × 3 мм від Optovue AngioVue, хоча також були включені пацієнти з різними хоріоретинальними захворюваннями.Наша робота базується на їх основі, включаючи численні моделі для вирішення різних порогів якості зображення та перевірки результатів для зображень різних розмірів.Ми також повідомляємо про показники AUC моделей машинного навчання та підвищуємо їх уже вражаючу точність (90%)6 як для моделей низької якості (96%), так і для високоякісних (95,7%) моделей6.
Це навчання має кілька обмежень.По-перше, зображення були отримані лише одним апаратом OCTA, включаючи лише зображення поверхневого капілярного сплетення на 8\(\times\)8 мм і 6\(\times\)6 мм.Причина виключення зображень із глибших шарів полягає в тому, що артефакти проекції можуть ускладнити ручну оцінку зображень і, можливо, зробити її менш послідовною.Крім того, зображення були отримані лише у пацієнтів з діабетом, для яких OCTA стає важливим діагностичним і прогностичним інструментом33,34.Хоча ми змогли перевірити нашу модель на зображеннях різних розмірів, щоб переконатися, що результати надійні, ми не змогли визначити відповідні набори даних з різних центрів, що обмежило нашу оцінку узагальнюваності моделі.Хоча зображення були отримані лише з одного центру, вони були отримані від пацієнтів різного етнічного та расового походження, що є унікальною перевагою нашого дослідження.Включаючи різноманітність у наш навчальний процес, ми сподіваємося, що наші результати будуть узагальнені в ширшому сенсі, і що ми уникнемо кодування расових упереджень у моделях, які навчаємо.
Наше дослідження показує, що нейронні мережі, що пропускають з’єднання, можна навчити досягати високої продуктивності у визначенні якості зображення OCTA.Ми надаємо ці моделі як інструменти для подальших досліджень.Оскільки різні метрики можуть мати різні вимоги до якості зображення, окрему модель контролю якості можна розробити для кожного показника, використовуючи встановлену тут структуру.
Майбутні дослідження повинні включати зображення різного розміру з різних глибин і різних машин OCTA, щоб отримати процес оцінки якості зображення глибокого навчання, який можна узагальнити для платформ OCTA та протоколів обробки зображень.Поточні дослідження також базуються на підходах до глибокого навчання під наглядом, які вимагають людської оцінки та оцінки зображень, що може бути трудомістким і займати багато часу для великих наборів даних.Залишається з'ясувати, чи можуть неконтрольовані методи глибокого навчання адекватно відрізняти зображення низької якості від зображень високої якості.
Оскільки технологія OCTA продовжує розвиватися та швидкість сканування зростає, кількість артефактів зображення та зображень низької якості може зменшитися.Удосконалення програмного забезпечення, наприклад нещодавно запроваджена функція видалення артефактів проекції, також може пом’якшити ці обмеження.Однак залишається багато проблем, оскільки візуалізація пацієнтів із поганою фіксацією або значною каламутністю середовища незмінно призводить до артефактів зображення.Оскільки OCTA стає все ширше використовуватися в клінічних випробуваннях, необхідне ретельне обмірковування, щоб встановити чіткі вказівки щодо прийнятних рівнів артефактів зображення для аналізу зображення.Застосування методів глибокого навчання до зображень OCTA має великі перспективи, і необхідні подальші дослідження в цій галузі, щоб розробити надійний підхід до контролю якості зображення.
Код, використаний у поточному дослідженні, доступний у репозиторії octa-qc, https://github.com/rahuldhodapkar/octa-qc.Набори даних, створені та/або проаналізовані під час поточного дослідження, доступні у відповідних авторів за обґрунтованим запитом.
Спейд, РФ, Фуджімото, Дж. Г. та Вахід, Н. К. Артефакти зображення в оптичній когерентній ангіографії.Retina 35, 2163–2180 (2015).
Fenner, BJ та ін.Виявлення характеристик візуалізації, які визначають якість і відтворюваність вимірювань щільності капілярного сплетення сітківки в ОКТ-ангіографії.BR.Ж. Офтальмол.102, 509–514 (2018).
Lauerman, JL та ін.Вплив технології відстеження очей на якість зображення ОКТ-ангіографії при віковій дегенерації жовтої плями.Могильна арка.клінічний.Exp.офтальмології.255, 1535–1542 (2017).
Бабюч А. С. та ін.Вимірювання щільності капілярної перфузії OCTA використовується для виявлення та оцінки макулярної ішемії.офтальмохірургія.Лазерне зображення сітківки 51, S30–S36 (2020).
Хе, К., Чжан, X., Рен, С., і Сан, Дж. Глибоке залишкове навчання для розпізнавання зображень.У 2016 році на IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL та ін.Автоматизована оцінка якості ангіографічного ОКТ-зображення за допомогою алгоритмів глибокого навчання.Могильна арка.клінічний.Exp.офтальмології.257, 1641–1648 (2019).
Lauermann, J. та ін.Поширеність помилок сегментації та артефактів руху при ОКТ-ангіографії залежить від захворювання сітківки.Могильна арка.клінічний.Exp.офтальмології.256, 1807–1816 (2018).
Паск, Адам та ін.Pytorch: необхідна, високопродуктивна бібліотека глибокого навчання.Розширена обробка нейронної інформації.система.32, 8026–8037 (2019).
Deng, J. та ін.ImageNet: великомасштабна ієрархічна база даних зображень.2009 Конференція IEEE з комп’ютерного зору та розпізнавання образів.248–255.(2009).
Крижевський А., Суцкевер І. ​​та Хінтон Г. Е. Класифікація Imagenet з використанням глибоких згорткових нейронних мереж.Розширена обробка нейронної інформації.система.25, 1 (2012).