В этом проекте я занимался разработкой алгоритмов компьютерного зрения и моделей машинного обучения для распознавания и классификации кровеносных сосудов передней стенки глаза.

Целью было автоматизировать анализ снимков, полученных с помощью щелевой лампы, чтобы помочь офтальмологам в диагностике и исследовательской работе.

Основные задачи включали:

  • подготовку датасета из медицинских изображений,
  • сегментацию сосудов на изображениях,
  • классификацию сосудов по их длине и толщине.

📈 Ключевые результаты и дальнейшее развитие Ссылка на заголовок

Все поставленные задачи были успешно решены. Разработанные алгоритмы прошли этап валидации и были обёрнуты в полноценный сервис с веб-интерфейсом.

Для сегментации сосудов использовалась архитектура U-net. Предобученная модель U-net была дообучена на нашем датасете, после чего удалось достичь качества сегментации 0.678 (dice, F метрика).

Результаты можно опробовать на демо-сайте, где любой пользователь может загрузить изображение глаза и получить сегментированную и классифицированную визуализацию сосудов.

Проект планирует дальнейшее развитие. Планируется изготовление прибора, который позволит производить классификацию сосудов в полевых условиях в реальном времени.

🏗 Архитектура решения и процесс разработки Ссылка на заголовок

Архитектура решения включает:

  • Препроцессинг изображений (очистка, выравнивание, нормализация),
  • Сегментирующую нейросеть для выделения сосудов (UNet-архитектура),
  • Классификатор, определяющий характеристики сосудов (длина, толщина),
  • Веб-интерфейс для загрузки изображений и отображения результатов (на FastAPI + Vue).

Процесс разработки включал работу с медицинскими изображениями, аннотирование, обучение моделей и разработку удобного пользовательского интерфейса.

⚙️ Детали реализации, особенности и сложности Ссылка на заголовок

К разметке датасета привлекались студенты. Мы использовали программу QuPath. Разметка одного снимка требовала порядка двух часов напряженной и скурпулезной работы, поэтму финальная разметка сильно отличалась друг от друга по качеству. При последующем обучении использовались изображения с самой качественной разметкой.

Разработали алгоритмы постпроцессинга на основе выч геома с подсчетом геометрических метрик длины, ширины, класса сосуда, с применением матрицы перевода для увеличения точности определения метрических показаний.Матрица создана на основе 3D распечатанной модели глаза для каждого микроскопа на котором составлялся датасет.

Исходный сегментированный полигон разбивался на отдельные сосуды. Затем, стоилась скелетонная модель, после чего измерялась длина и ширина сосудов, и далее на базе эмпирически полученных значений от врачей офтальмологов выполнялась классификация сосудов.

Ссылки Ссылка на заголовок

Дипломные работы Ссылка на заголовок

Все приведенные ниже работы были подготовлены под моим непосредственным руководством, я фигурирую в роли консультанта.