УДК: 616.24-002.14
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ДЛЯ ДИАГНОСТИКИ ПНЕВМОНИИ ПРИ COVID-19 В КЫРГЫЗСТАНЕ
Эмилов Б.Э.1, Сорокин А.А.2, Салибаев О.А.1, Чубаков Т.Ч.1
1 КГМА имени И. К. Ахунбаева
2Кыргызско-Российский Славянский университет имени Б. Н. Ельцина
Аннотация: Рентгенография органов грудной клетки (РОГК) является наиболее часто применяемым из всех визуальных методов исследований в связи с его значимостью в обнаружении и характеристике легочных и кардиоторакальных нарушений. РОГК является почти идеальной областью для разработки алгоритмов глубокого обучения - искусственного интеллекта (ИИ). Цель. Оценить применение технологий искусственного интеллекта в рентген-диагностике у больных с пневмонией при COVID-19 в Кыргызстане. Методы. В исследование было включено 77 цифровых рентгенограмм с пневмонией COVID-19 и 90 цифровых рентген снимков без патологических изменений. Все цифровые рентген снимки были описаны с получением рентгенологических заключений тремя врачами рентгенологами в сравнении с результатами ИИ. Результаты. Эффективность работы ИИ по выявлению пневмонии практически не отличалась сравнительно с врачами-рентгенологам, что доказывает хорошую прогностическую способность машинного анализа (чувствительность 88,31%, специфичность 96,67%). Взаимодействие врача-рентгенолога и ИИ может эффективно повысить качество рентгенологических заключений у больных с пневмонией при COVID-19 особенно в отдаленных регионах Кыргызстана.
Ключевые слова: Рентгенография, COVID-19, кардиоторакальные нарушения, пневмония, патология, диагностика.
КЫРГЫЗСТАНДА COVID-19 ПНЕВМОНИЯСЫН АНЫКТОО ҮЧҮН ЖАСАЛМА ИНТЕЛЛЕКТ
Эмилов Б.Э.1, Сорокин А.А.2, Салибаев О.А.1, Чубаков Т.Ч.1
1 И.К.Ахунбаев атындагы КММА
2Б.Н.Ельцин атындагы Кыргыз-Орус Славян университети
Аннотация: Көкүрөктүн рентгенограммасы (КР) өпкө жана кардиоторакалдык ооруларды аныктоодо жана мүнөздөөдө маанилүүлүгүнөн улам бардык сүрөттөө изилдөөлөрүнүн ичинен эң көп колдонулат. КР - бул терең үйрөнүү алгоритмдерине - жасалма интеллектти (ЖИ) өнүктүрүү үчүн дээрлик идеалдуу аймак. Максат. Кыргызстанда COVID-19дан улам пневмония менен ооруган бейтаптарды рентгендик диагностикалоодо жасалма интеллект технологияларын колдонууга баа берүү. Методдор. Изилдөөгө COVID-19 пневмониясы бар 77 санарип рентгенограмма жана патологиялык өзгөрүүсүз 90 санарип рентгенограмма камтылган. Бардык санарип рентген сүрөттөрү үч рентгенолог тарабынан алынган жыйынтытктарды ЖИ натыйжалары менен салыштырган. Жыйынтыктар. Пневмонияны аныктоодо жасалма интеллекттин эффективдүүлүгү рентгенологдор менен дээрлик бирдей болгон, бул машиналык анализдин жакшы алдын ала айтуу жөндөмдүүлүгүн далилдейт (сезимталдык 88,31%, өзгөчөлүк 96,67%) Корутундулар. Рентгенолог менен ЖИнин өз ара аракеттенүүсү COVID-19дан улам пневмония менен ооруган бейтаптарда, өзгөчө Кыргызстандын алыскы аймактарында рентген отчеттордун сапатын натыйжалуу жакшыртат.
Негизги сөздөр: рентген, COVID-19, кардиоторакалдык бузулуулар, пневмония, патология, диагностика.
ARTIFICIAL INTELLIGENCE FOR DIAGNOSIS OF COVID-19 PNEUMONIA IN KYRGYZSTAN
Emilov B.E. 1, Sorokin, A.A. 2, Salibaev O.A. 1, Chubakov T.Ch. 1
1Kyrgyz State Medical Academy named after Isa Akhunbaev
2Kyrgyz-Russian Slavic University named after Boris Yeltsin
Аnnotation: Chest x-ray (CXR) is the most commonly used of all imaging modalities due to its importance in detecting and characterizing pulmonary and cardiothoracic abnormalities. CXR is a near-perfect field for developing deep learning algorithms - artificial intelligence (AI). Objective. To evaluate the application of AI technologies in X-ray diagnostics in patients with COVID-19 pneumonia in Kyrgyzstan. Methods. The study included 77 digital CXR with COVID-19 pneumonia and 90 digital CXR images without pathological changes. All digital CXR images were analyzed with radiological reports by three radiologists in comparison with the AI results. Results. The effectiveness of AI in detecting COVID-19 pneumonia was practically no different from that of radiologists, which proves the good prognostic ability of machine analysis (sensitivity 88.31%, specificity 96.67%). Conclusions. The interaction between a radiologist and AI can effectively improve the quality of radiological reports in patients with COVID-19 pneumonia, especially in remote regions of Kyrgyzstan.
Key words: X-ray, COVID-19, cardiothoracic disorders, pneumonia, pathology, diagnosis.
Введение
Рентгенография органов грудной клетки (РОГК) является наиболее часто применяемым из всех визуальных методов исследований в связи с его значимостью в обнаружении и характеристике легочных и кардиоторакальных нарушений [1]. РОГК является почти идеальной областью для разработки алгоритмов глубокого обучения - искусственного интеллекта, включающую в себя автоматическую диагностику, требующую больших аннотированных наборов данных, доступность которых постоянно увеличивается [2]. В странах с низким уровнем дохода рентгенологи, в основном, сконцентрированы в больницах третичного уровня или в крупных городах. Поэтому в большинстве сельских и отдаленных районов их не хватает
Можно предположить, что автоматизированная система распознавания РОГК может ускорить процесс диагностики, а также повысить его точность [3, 4].
Исходя из вышеизложенного, возникает вопрос применения новых технологий, таких как искусственный интеллект в рентген-диагностике, который ранее не использовались в условиях Кыргызстана.
Цель исследования: оценить применение технологий искусственного интеллекта в рентген-диагностике у больных с пневмонией при COVID-19 в Кыргызстане.
Материалы и методы исследования
Было проведено ретроспективное исследование на базе государственных и частных медицинских центров Кыргызстана. Интерпретация врачей рентгенологов. Средний стаж рентгенологов из разных медицинских учреждений составил 26,6 лет. Всем цифровым рентген снимкам были присвоены индивидуальные идентификационные номера, которые были разными у каждого врача-рентгенолога для чистоты исследования. Необходимо подчеркнуть, что рентгенологи не связывались друг с другом для консультаций, т.е. обработка данных была самостоятельной.
Разработка ИИ. Базы данных для обучения были ретроспективными и общее число рентген снимков, использованных при исследовании составило около 700 000 [5]. Мы взяли модель глубокого машинного обучения на предмет выявления признаков пневмонии при COVID-19 в сравнении с состоянием легких у здоровых лиц.
Обучение ИИ. Методы с использованием глубокого обучения получили широкое распространение в задачах обработки медицинских изображений [6]. Одним из наиболее эффективных подходов к решению таких задач является использование Сверточных нейронных сетей (Convolutional Neural Networks, CNN). CNN включает обширный класс архитектур искусственных нейронных сетей, продемонстрировавшие высокие результаты в области компьютерного зрения. В данной работе, в качестве модели машинного обучения была использована нейронная сеть на базе архитектуры MedVit [7]. Во всех экспериментах использовался вариант модели MedViT_large, обученный на ряде крупных открытых наборах данных рентген снимков грудной клетки: ChestX-ray8 (National Institute of Health, США), CheXpert (Стэнфордский университет), RSNA Pneumonia Challenge, MIMIC-CXR (Массачусетский институт технологий).
Сравнительная оценка анализа данных ИИ и заключений описания рентгенограмм врачами-рентгенологами. Мы сравнили результаты заключений цифровых рентгенограмм ИИ с заключениями врачей-рентгенологов у больных с пневмонией и здоровых лиц. Необходимо отметить, что условия для анализа работы ИИ и врачей-рентгенологов были одинаковы, так как дополнительных данных в виде клинико-лабораторных исследований им не было предоставлено.
Статистический анализ. Статистический анализ проводился с использованием программного обеспечения MedCalc - version 22.021 [8]. Для определения наиболее эффективного классификатора для диагностики были построены кривые рабочих характеристик приемника (ROC) и проанализирована площадь под кривой (AUC) и 95-процентные доверительные интервалы. Оптимальное значение отсечения положительных результатов от отрицательных было оценено с использованием индекса Юдена. Различия в эффективности распознавания между моделями были проверены на статистическую значимость путем применения теста Делонга [9] к соответствующим значениям AUC.
Результаты исследования и их обсуждение
Реестр снимков был отобран на базе одной из клиник центра семейной медицины города Бишкек с подтвержденным клиническим диагнозом на основании клинико-лабораторных данных для пневмонии при COVID-19. 77 цифровых рентген снимков в сравнении с 90 цифровыми рентген снимками у здоровых пациентов в период 2021-2022 гг.
 |
Эффективность работы ИИ по выявлению пневмонии практически не отличалась сравнительно с врачами-рентгенологами, что доказывает хорошую прогностическую способность машинного анализа (Рис. 1).
Рисунок 1. Сравнение ROC кривых врачей и ИИ
На рисунке представлены кривые ROC, характеризующие как качество работы врачей-рентгенологов, так и искусственного интеллекта. По данным, представленным на рисунке можно выделить несколько моментов. Первое, хорошо видно, что площади под кривыми, характеризующим работу врачей-рентгенологов и ИИ практически не различаются. Второе, во всех четырех случаях демонстрируется очень высокая специфичность и не менее высокая чувствительность.
Для определения эффективности классификаторов для диагностики были рассчитаны численные характеристики ROC–кривых и проанализирована площадь под кривой (AUC) (Табл.1).
Таблица 1
Численные характеристики ROC кривых
|
Переменная |
AUC |
SE a |
95% CI |
|
рентгенолог_1 |
0,923 |
0,0242 |
0,871 to 0,958 |
|
рентгенолог_2 |
0,931 |
0,0208 |
0,881 to 0,964 |
|
рентгенолог_3 |
0,892 |
0,0296 |
0,835 to 0,935 |
|
ИИ |
0,916 |
0,0237 |
0,863 to 0,953 |
a Делонг и др. 1988
Как следует из таблицы 1, максимально большие AUC у врача 1 и врача 2. Несколько меньше у врача 3 и у ИИ. Однако, уже из того факта, что доверительные интервалы (CI) сильно перекрываются, следует, что скорее всего эти различия не являются статистически значимыми. Это мнение подтверждается сравнением площадей друг с другом (Табл. 2).
Таблица 2
Парное сравнение AUC кривых ROC
|
рентгенолог_1 ~ рентгенолог_2 |
рентгенолог_1 ~ рентгенолог_3 |
||
|
Zstatistic |
0,292 |
z statistic |
1,137 |
|
Significance level |
P = 0,7704 |
Significance level |
P = 0,2557 |
|
рентгенолог_2 ~ рентгенолог_3 |
рентгенолог_1 ~ ИИ |
||
|
z statistic |
1,148 |
z statistic |
0,206 |
|
Significance level |
P = 0,2508 |
Significance level |
P = 0,8371 |
|
рентгенолог_2 ~ ИИ |
рентгенолог_3 ~ ИИ |
||
|
z statistic |
0,469 |
z statistic |
0,653 |
|
Significance level |
P = 0,6392 |
Significance level |
P = 0,5135 |
Как видно из Таблицы 2, во всех случаях Р > 0,05
К аналогичному заключению можно прийти из анализа чувствительности и специфичности предикторов (Табл.3).
Таблица 3
Оценки чувствительности и специфичности предикторов
|
Чувствительность |
95% CI |
Специфичность |
95% CI |
|
|
Рентгенолог 1 |
90,91 |
82,2 - 96,3 |
96,67 |
90,6 - 99,3 |
|
Рентгенолог 2 |
96,10 |
89,0 - 99,2 |
91,11 |
83,2 - 96,1 |
|
Рентгенолог 3 |
93,51 |
85,5 - 97,9 |
91,11 |
83,2 - 96,1 |
|
ИИ |
88,31 |
79,0 - 94,5 |
96,67 |
90,6 - 99,3 |
CI – confidence interval
Как видно из таблицы 3, если специфичность всех четырех предикторов довольно близки, то чувствительность ИИ несколько меньше остальных. Это различие статистически не значимо, поскольку доверительный интервал (CI) ИИ сильно пересекается с доверительными интервалами других предикторов. Учитывая значения чувствительности и специфичности, можно рассчитать индекс Юдена J (Табл. 4).
Как видно из таблицы 4, значения индекса Юдена для всех предикторов очень высокие (близки к единице), что свидетельствует о высоком качестве работы всех предикторов, включая ИИ.
Таблица 4
Значения индекса Юдена J для всех предикторов
|
Предиктор |
Рентгенолог 1 |
Рентгенолог 2 |
Рентгенолог 3 |
Искин |
|
Youden index J |
0,8758 |
0,8722 |
0,8462 |
0,8498 |
В других исследованиях, в которых использовались модели ИИ для обнаружения пневмонии на рентгенограмме, использовался подход декомпозиции классов с использованием глубокой архитектуры CNN - convolutional neural network (Detrac ResNet). Чувствительность этого метода составила 97,9%, но он проводился на меньшем наборе данных. Другое исследование, в котором использовалась предварительно обученная CNN (ResNet 50), включало аномальные рентгеновские исследования и показало общую точность 89,2% [10, 11]. Методы, представленные в этих двух исследованиях, требуют знаний в области машинного обучения, и их трудно внедрить в клиническую практику. Мы же провели независимый анализ интерпретаций трех врачей-рентгенологов и сравнили их рабочие характеристики с характеристиками модели. ИИ продемонстрировал хорошую прогностическую способность (чувствительность 88,31%, специфичность 96,67%). Такие показатели делают модель потенциальным инструментом скрининга для выявления и сортировки пациентов с пневмонией при COVID-19.
Заключение:
ИИ в лучевой диагностике безусловно доказывает его положительные стороны. Такие как экономия времени врача-рентгенолога и финансовых затрат, а в дальнейшем своевременное лечение больных с пневмонией. ИИ представляется как помощник врача в случае большой нагрузки на врача-рентгенолога или подсказывающим звеном при отсутствии медицинского персонала. Процесс принятия решения у врача-рентгенолога основывается не только на анализе паттернов заболевания на полученных изображениях, но и на сведениях, включающих анамнез, клиническую картину, лабораторные данные и т.д. Таким образом, взаимодействие врача-рентгенолога и ИИ может эффективно повысить качество рентгенологических заключений у больных с пневмонией при COVID-19 особенно в отдаленных регионах Кыргызстана где есть дефицит медицинских кадров.
Литература:
1. Radiography of the chest. The American Society of Radiologic Technologists Web site. www.asrt.org/content/thepublic/aboutradiologic procedures/chest.aspx. Accessed October 1, www.radiologyinfo.org, 2006
2. Guillaume Chassagnon, et al., Revel. Artificial intelligence applications for thoracic imaging. Eur J Radiol. 2020 Feb;123:108774. doi: 10.1016/j.ejrad.2019.108774. Epub 2019 Dec 11.
3. Ekpo EU, et al., Radiographers’ performance in chest X-ray interpretation: The Nigerian experience. Br J Radiol 2015;88(1051):20150023. https://doi.org/10.1259/bjr.20150023
4. Ayalew M, et al., Detection and classification of COVID-19 disease from X-ray images using convolutional neural networks and histogram of oriented gradients. Biomed Signal Process Control. (2022) 74:103530. doi: 10.1016/j.bspc.2022.103530.
5. Shamshad, Fahad et al. “Transformers in Medical Imaging: A Survey.” Medical image analysis 88 (2022): 102802.
6. Zhou, S. et al. “A Review of Deep Learning in Medical Imaging: Imaging Traits, Technology Trends, Case Studies With Progress Highlights, and Future Promises.” Proceedings of the IEEE 109 (2020): 820-838.
7. Manzari, Omid Nejati et al. “MedViT: A Robust Vision Transformer for Generalized Medical Image Classification.” Computers in biology and medicine 157 (2023): 106791.
8. MedCalc® Statistical Software version 22.021 (MedCalc Software Ltd, Ostend, Belgium; https://www.medcalc.org; 2024).
9. DeLong E.R., DeLong D.M., Clarke-Pearson D.L. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics.; 44: 837-45.
10. Murphy K, et al. COVID‑19 on the chest radiograph: Amulti‑reader evaluation of an AI system. Radiology 2020;296:E166‑72.
11. Holzinger A, Kell D.B., et al., What do we need to build explainable AI systems for the medical domain? // arXiv: 1712.09923, Dec 2017.