как по фото определить что это за болезнь
Создано приложение, определяющее болезнь по фото. Среди его поклонников — глава Apple Тим Кук
В ходе последней телеконференции с журналистами и инвесторами глава Apple Тим Кук рассказал о медицинском приложении VisualDx. О том, почему именно это приложение на искусственном интеллекте оказалось в поле зрения корпорации, рассказывает Business Insider.
Apple давно планирует выйти на рынок медицинских продуктов и товаров для здоровья. Несмотря на то, что VisualDx доступно потребителям в магазине приложений Apple, оно не предназначено для широкой публики. Приложение нацелено на дипломированных врачей, которые смогут использовать его для диагностики различных заболеваний, в том числе определять болезни по состоянию кожи.
Осенью этого года в приложение добавили возможность использовать камеру iPhone и технологию машинного обучения для определения состояния кожи или сужения списка возможных диагнозов. Решение позволяет определять заболевания по фотографии. Так, VisualDx способен предоставить список условий, которые приводят к возникновению сыпи.
В будущем некоторые из подобных технологий станут доступны широкому потребителю: пользователи подобных приложений смогут сфотографировать свое тело и, после ответа на серию вопросов, узнать, требует ли проблема медицинского вмешательства или же речь идет об обыкновенной сыпи, рассказал изданию генеральный директор VisualDx Арт Папье. По его словам, компания уже разрабатывает новую версию инструмента Aysa для обычных воспалений кожи.
«Потребители не хотят играть во врачей. Но если ситуация происходит в субботу, то им нужно знать, требуется ли им ехать в пункт медицинской помощи с ребенком или же это может подождать до понедельника, когда они смогут увидеть своего педиатра».
Папье объясняет, что приложение не решает задачу постановки диагноза, речь идет об обучении системы и сортировке. А в ближайшие несколько лет VisualDx не планирует сообщать клиентам, что с ними всё в полном порядке и им не нужно идти к врачу.
Причина по которой Тим Кук упомянул VisualDx — библиотека CoreML от Apple, которая позволяет запускать алгоритмы машинного обучения на мобильном телефоне и не загружать фотографии на сервер для обработки. Основные клиенты VisualDx — больницы, которые против того, чтобы врачи отправляли фотографии пациентов третьим лицам.
«Когда Apple объявила о запуске CoreML в июне, мы поняли, что компания позволила перенести модели на iPhone. Теперь изображение анализируется на телефоне, а картинка никогда не доходит до облака. Мы никогда его не видим».
Программа от VisualDx способна анализировать изображения за одну секунду. Разработчики обучали модели на изображениях из медицинской практики: пользователи сети не могут загрузить изображение на сервер компании и добавить к нему любое понравившееся описание. Компания работает с несколькими университетами и отдельными врачами. В базе данных для обучения VisualDx — библиотека с 32 тысячами фотографий.
В октябре стало известно, что венчурный фонд Gagarin Capital вложился в два проекта из Y Combinator, один из которых занимается дерматологической диагностикой на мобильном телефоне с помощью искусственного интеллекта.
Диагноз по фотографии: на что способны медицинские приложения
Личный осмотр врача, похоже, рано или поздно уйдет в прошлое. Сегодня, когда бушует пандемия коронавируса, на первое место выходит удаленная диагностика и наблюдение. Но что можно диагностировать, если врач находится по ту сторону экрана? Ответ есть у программистов. Они создают приложения, которые помогают пациентам и медикам.
«Там можно фотографировать место, где начинается раздражение, зуд или что угодно, связанное с кожными заболеваниями, и сохранять фотографию. Я это делаю периодически», – рассказал пользователь такого сервиса Игорь Чистяков.
У Игоря сложное заболевание – псориатический артрит. Полностью вылечить его нельзя, но можно добиться ремиссии. Это означает, что молодому человеку необходимо регулярно принимать лекарства, вести статистику и ходить на осмотры к лечащему врачу. Но благодаря специальному приложению визиты в поликлинику теперь – большая редкость. Игорю нужно лишь ежедневно фотографировать пораженные участки кожи, а программа сама обработает кадры и направит врачу.
«Это навигатор для человека с болезнями кожи, дополнение к общему лечению. Позволяет фиксировать состояние кожи до лечения и во время, пациент может отслеживать динамику на фоне приема лекарств», – рассказала разработчик приложения Олеся Мишина.
В перспективе встроенный алгоритм сможет анализировать фото и даже ставить предварительный диагноз. Кстати, подобные приложения уже существуют. Так, в Перми создали программу, которая распознает искривление позвоночника по фотографии. Нужно только следовать нехитрой инструкции и с помощью смартфона сделать снимок спины.
«Далее проходит обработка специальным математическим алгоритмом с помощью нейронных сетей и компьютерного зрения, и далее уже программа расставляет некоторые реперные точки», – рассказал аспирант кафедры вычислительной математики, механики и биомеханики ПНИПУ Иван Шитоев.
Программа определяет, как у конкретного человека проходят линии плеч, лопаток и талии, а по этим параметрам рассчитывает форму позвоночника и определяет степень сколиоза. В таком виде приложение вот-вот появится в свободном доступе.
Впрочем, и на этом разработчики останавливаться не намерены. Они хотят сделать так, чтобы программа давала рекомендации, какие упражнения выполнять, чтобы позвоночник пришел в норму.
Нейросеть научили распознавать 216 редких наследственных заболеваний по фотографии
Y.Gurovich et al. / Nature Medicine, 2019
Исследователи разработали систему искусственного интеллекта, которая позволяет с высокой точностью диагностировать 216 редких наследственных заболеваний по фотографии. Как сообщается в Nature Medicine, ее научили распознавать генетическое расстройство (выбирать из 10 самых вероятных вариантов) 91-процентной точностью. Ученые также упростили примение системы на практике: они создали мобильное приложение для медиков, которое позволяет определить генетическое расстройство по фотографии пациента.
Диагностировать наследственное заболевание зачастую бывает сложно. Существует несколько тысяч болезней, связанных с генетическими нарушениями, большинство из которых встречается крайне редко. Многие врачи за время своей практики могут просто не столкнуться с подобными заболеваниями, поэтому референтная компьютерная система, которая помогала бы распознавать редкие наследственные заболевания, облегчила бы диагностику. Исследователи уже создавали подобные системы, основанные на распознавании лиц, но они умели определять пока что не более 15 генетических расстройств, при этом точность распознавания нескольких заболеваний не превышала 76 процентов. Кроме того, подобные системы иногда не могли отличить больного человека от здорового. При этом обучающая выборка, часто не превышала 200 фотографий, что слишком мало для глубокого обучения.
Поэтому американские, германские и израильские ученые и сотрудники компании FDNA под руководством Ярона Гуровича (Yaron Gurovich) из Тель-Авивского университета разработали систему распознавания лиц DeepGestalt, которая позволяла диагностировать несколько сотен заболеваний. Используя сверточные нейронные сети, система разделяет лицо на отдельные фрагменты размерами 100×100 пикселей и предсказывает вероятность каждого заболевания для того или иного фрагмента. Затем вся информация суммируется и система определяет вероятное расстройство для лица в целом.
DeepGestalt разбивает лицо на фотографии на отдельные фрагменты и оценивает, насколько они соответствуют каждому из заболеваний в модели. По совокупности фрагментов система составляет ранжированный список возможных заболеваний.