Информация о системе¶
Базовая информация¶
Название - Цельс.Маммография
Дата последнего обновления - 04.07.2023
Актуальная версия - 0.18.4a
Назначение системы и основные компоненты¶
Система Цельс.Маммография предназначена для автоматического анализа маммографических изображений. ИИ-система выявляет на исследованиях признаки злокачественных изменений и определяет общий риск наличия патологии у пациента.
Основные функциональные компоненты системы:
- Нейронная сеть, выполняющая локализацию объектов интереса - злокачественные и доброкачественные образования, злокачественные и доброкачественные кальцинаты, утолщения кожи, втянутые соски, лимфоузлы, ФКМ
- Классификатор молочной железы по риску наличия злокачественных изменений - в процентах и по шкале Bi-Rads
- Классификатор плотности молочной железы по шкале A, B, C, D
- Определитель качества исследования в процентах
- Модуль по классификации исследований с низкой вероятностью патологии
Предполагаемые сценарии использования:
- Система помощи принятия решений - при интерпретации исследований врач-рентгенолог может по желанию просматривать DICOM-серию с разметкой Цельса, сравнивать свою интерпретацию с интерпретацией ИИ-системы, копировать шаблон описания. Это позволяет повысить выявляемость заболеваний, снизить когнитивную нагрузку на врачу и повысить скорость описания исследований.
- Автоматическая маршрутизация при скрининге - в зависимости от определённых показателей исследования (риск, категория Bi-Rads, плотность, найденные объекты, отсутствие патологии) возможно настроить автоматическую маршрутизацию разным специалистам (например, с разной квалификацией и опытом). Это позволяет повысить эффективность работы рентгенологического отделения.
- Страховочная сеть (safety net) - в этом варианте использования врач-рентгенолог не взаимодействует с ИИ-системой кроме одного сценария. Если врач не выявил риск наличия злокачественных изменений на исследовании, а Цельс с высокой степенью уверенности это сделал, то врачу выводится предупреждение, после которого врач может по желанию изменить своё решение. Это позволяет снизить вероятность пропуска патологии, не увеличивая среднее время интерпретации исследования.
- Триаж - сортировка рабочего списка отделения. Релевантно в случае скрининга или большого потока исследований и недостатка персонала.
Основные изменения в последней версии (0.18.*)¶
Данные для обучения¶
- Расширен датасет для обучения нейронной сети - с X исследований до Y исследований
- Расширен датасет для обучения мета-модели по определению общего риска - с X исследований до Y исследований
Архитектура модели и процедура обучения¶
- Изменения в архитектуре мета-модели
Предобработка изображений¶
- Исправлены ошибки, приводившие к некорректной предобработке небольшого процента исследований
Новая функциональность¶
Новый алгоритм определения оценки по шкале Bi-Rads¶
Раньше она формировалась на основе вспомогательной модели, теперь алгоритм интерпретации приближен к работе врача.
- Если обнаружен хотя бы объект типа "злокачественное новообразование" или "злокачественные кальцинаты", то присваивается категория 3, 4 или 5 - в зависимости от общей предсказанной вероятности наличия патологии на исследовании
- Если обнаружены только вторичные признаки РМЖ ("утолщение кожи" или "втянутый сосок"), то присваивается категория 3
- Если вышеуказанных объектов не найдено, то присваивается категория 1 ил 2
- Если обнаружен объект типа "доброкачественное новообразование", то присваивается категория 2
- Если обнаружен объект типа "фиброзно-кистозная мастопатия" и плотность ткани C/D, то присваивается категория 2
- Во всех остальных случаях присваивается категория 1
Визуализация утолщений кожи и втянутых сосков¶
- Добавлена визуализация утолщений кожи (стрелка с подписью УТЛ)
- Добавлена визуализация втянутых сосков (жёлтые коробки с подписью ВС)
Новый текстовый шаблон заключений¶
Полностью переработан DICOM SR - теперь протокол формируется по шаблону, которым пользуются врачи
Результаты тестирования¶
Описание тестовых датасетов¶
Датасет "NiNo"¶
- Источник - ГБУЗ НО «Нижегородский областной клинический онкологический диспансер».
- Разметка и верификация - разметка одним врачом на категории Bi-Rads 1-5, полный протокол в текстовом виде
- Размер и баланс классов - 454 маммографий молочных желез от 234 уникальных пациентов, категории Bi-Rads 1 - 116, 2 - 257, 3 - 55, 4 - 17, 5 - 9.
- Параметры популяции - 100% женщин из РФ, остальные параметры неизвестны.
- Используется ли в других целях - нет.
Датасет "China"¶
- Источник - The Chinese Mammography Database
- Разметка и верификация - бинарная разметка (0 - доброкачественные изменения или их отсутствие, 1 - злокачественные изменения), подтверждение биопсией.
- Размер и баланс классов - 1775 маммографий молочных желез от 1775 уникальных пациентов.
- Параметры популяции - 100% женщин из КНР, минимальный возраст - 17, медианный - 46, максимальный - 87.
- Используется ли в других целях - нет.
Датасет "Emias Feedback"¶
- Источник - обратная связь врачей из Московского эксперимента.
- Разметка и верификация - разметка одним врачом на категории Bi-Rads 1-5, получена автоматическим способом с помощью извлечения из маммографических протоколов.
- Размер и баланс классов - 412 маммографий молочных желез от 222 уникальных пациентов, категории Bi-Rads 1 - 139, 2 - 239, 3 - 22, 4 - 8, 5 - 4.
- Параметры популяции - 100% женщин из Москвы и Московской области, остальные параметры неизвестны.
- Используется ли в других целях - да, часть этого же датасета используется для обучения мета-модели. Разделение проводилось стратифицированно, с учётом id пациента и категории Bi-Rads
Датасет "Validation"¶
- Источник - разнообразные источники.
- Разметка и верификация - разметка несколькими врачами (2-5) на 11 классов (маски объектов), объединение разметки специальным алгоритмом.
- Размер и баланс классов - 1519 исследований.
- Используется ли в других целях - используется для подбора оптимальных порогов срабатывания по объектам.
Описание метрик¶
Для тестирования используются следующие метрики:
- ROC-AUC по порогу Bi-Rads 3 - в класс "1" относились исследования с категорий Bi-Rads 3 и выше, в "0" - все остальные.
- ROC-AUC по порогу Bi-Rads 4 - в класс "1" относились исследования с категорий Bi-Rads 4 и выше, в "0" - все остальные.
- ROC-AUC по бинарной разметке - в случае наличия бинарной разметки.
- F-beta Score по предсказанной категории Bi-Rads
- Чувствительность и специфичность по визуализированным злокачественным объектам (по порогам Bi-Rads 3 и 4)
Результаты метрик-тестов¶
Метрики по наличию патологии¶
Метрики по классам объектов¶
Тесты на устойчивость к сдвигам данных¶
Нужно провести перед публикацией
Устойчивость к незначительным геометрическим преобразованиям¶
Устойчивость к некорректным данным¶
Результаты внешнего тестирования в рамках Эксперимента¶
Примеры улучшений¶
Ложные детекции на соске¶
Ложные детекции злокачественных кальцинатов¶
Ложные детекции вне молочной железы¶
Известные проблемы¶
Мониторинг системы¶
Описание системы мониторинга качества работы системы