как узнать модель машины по фото
«Яндекс» встроил в «Авто.ру» нейросетевое распознавание машин по фото со смартфона Статьи редакции
30 июня «Яндекс» обновил принадлежащий компании сервис по продаже автомобилей «Авто.ру»: в его мобильных приложениях для iOS и Android появилась возможность распознавания марки и модели машин по фотографии. Об устройстве новой функции представители компании рассказали TJ.
Распознавание машин находится на стартовом экране мобильного приложения «Авто.ру». Можно сделать фото сразу, а можно выбрать из уже сохранённых на телефоне.
Когда фото сделано, приложение отправляет его в облачный сервис, где алгоритм занимается распознаванием машины в кадре. По словам представителей «Авто.ру», на это тратится всего 0,3 секунды, а остальное время — отправка фото на сервер и скачивание результатов — зависит от скорости мобильного интернета.
TJ проверил работу приложения в реальных условиях. Он действительно умеет определять марки машин, даже если сфотографирована всего лишь часть кузова, однако делает это корректно далеко не всегда. Пример: тайский тук-тук «Авто.ру» распознал как Honda Stepwgn.
Здесь Nissan Sunny корректно определился только при полном захвате всего кузова.
Позднее «Авто.ру» корректно определил Toyota Hilux по одной лишь части кузова, но зато Isuzu D-Max также упорно называл «Тойотой». Проблема приложения в том, что оно показывает только самый вероятный из ответов (причём сама вероятность не указана) и не даёт пользователю выбрать правильный, позволив ещё немного обучить нейросеть на новом примере.
Как утверждают в «Авто.ру», для обучения нейросети через неё уже пропустили 6 миллионов фотографий, но она знает пока чуть более 100 марок и 1000 моделей. Технология компьютерного зрения была разработана в «Яндексе», а свой мобильный сервис по распознаванию машин «Авто.ру» называют первым в мире из подобных.
Для обучения нейросети использовались реальные фотографии машин из каталога «Авто.ру», и представители сервиса отмечают, что это сыграло на пользу. На сайте публикуются снимки, сделанные на «мыльницы» и камеры телефонов, поэтому нейросеть училась распознавать машины даже в сложных условиях.
В компании объясняют новую функцию по большей части интересом пользователей к стоимости дорогих и красивых машин: теперь увидев такой автомобиль на улице можно сразу узнать и модель, и цены на неё у дилеров и частных продавцов. С другой стороны, «Авто.ру» собирается экспериментировать: компьютерное зрение будет помогать заполнять строчки объявления автоматически, учиться распознавать битые машины (и указывать эту информацию при публикации), а также выбирать наиболее «красивое» фото для обложки — последняя технология уже применяется в 10% объявлений.
В «Авто.ру» функцию распознавания машин в шутку называют заменой игры в «угадайки»: детской мальчишеской забавы по определению марки машин. Теперь эта забава может сойти на нет: сложно конкурировать даже с некомпетентным противником, но вооружённым обученной на миллионах фотографий нейросетью.
Появилось приложение, определяющее цену и марку автомобиля по фото
В приложениях Auto.ru на Android и iOS появилась функция распознавания автомобиля по фото. Сфотографировав машину, можно узнать марку, модель, поколение и среднюю стоимость. Об этом Лайфу рассказали в «Яндексе».
Приложение опирается на базу Auto.ru из более чем 100 марок и 1000 моделей. Для распознавания машин используется технология компьютерного зрения, разработанная в «Яндексе». Для её обучения потребовалось 6 миллионов фотографий, сообщили в компании.
Как отметил руководитель мобильной разработки Auto.ru Максим Чекмарёв, сервис стал первым в мире, где реализована подобная функция.
Для того, чтобы определить марку машины, необязательно снимать её целиком, достаточно фотографии части кузова, салона или приборной панели. Также доступна опция распознавания автомобиля по снимку из памяти смартфона. Средняя стоимость машины рассчитывается на основе данных, представленных на портале.
В ближайшее время компания планирует использовать технологии компьютерного зрения и для других задач. Например, скоро в мобильном приложении Auto.ru станет возможно автоматическое заполнение в объявлении полей модели, марки и поколения автомобиля после загрузки его фото. Помимо этого, сервис также умеет выбирать самое удачное фото для показа в списке объявлений, и в 10% опубликованных объявлений первой показывается фотография, выбранная при помощи технологии комьютерного зрения.
Компьютерное зрение — одна из перспективных технологий на сегодняшний день. Её используют в свои сервисах ведущие IT-компании, такие как Google, Apple, Facebook.
Приложения Авто.ру научились распознавать автомобили по фото
Достаточно сфотографировать машину — и приложение покажет её марку, модель, поколение и среднюю стоимость.
Приложения Авто.ру для iOS и Android научились распознавать автомобили по фото. Достаточно сфотографировать машину — и приложение покажет её марку, модель, поколение и среднюю стоимость. Сейчас приложение распознаёт более 100 марок и 1000 моделей из каталога Авто.ру.
На улицах встречается множество интересных автомобилей. В таких случаях часто хочется узнать, что это за машина и сколько она может стоить, — говорит руководитель мобильной разработки Авто.ру Максим Чекмарёв. — Приложение Авто.ру стало первым в мире, которое умеет решать эту задачу, и справляется с ней хорошо.
Угадывать машины помогает технология компьютерного зрения, разработанная в Яндексе. Для её обучения потребовалось 6 миллионов фотографий. База Авто.ру стала идеальным источником данных: это изображения реальных машин в городских пейзажах, снятые на «мыльницу» или камеру смартфона с тысяч разных ракурсов. Поэтому приложение угадывает автомобили на уровне эксперта.
Распознавание доступно на стартовом экране приложения Авто.ру. Можно сфотографировать любой автомобиль или выбрать фотографию из памяти смартфона. Необязательно снимать машину целиком — достаточно фотографии части кузова, салона или приборной панели. Приложение отправит изображение на серверы Яндекса и покажет результат. Кроме того, приложение расскажет о средней стоимости угаданного автомобиля на Авто.ру.
Технологии компьютерного зрения применяются на Авто.ру и для других задач. Так, скоро изменится форма добавления объявления в мобильном приложении: достаточно будет сфотографировать автомобиль, а приложение само заполнит поля модели, марки и поколения. Компьютерное зрение помогает лучше продавать автомобили. Разработчики Авто.ру привили искусственному интеллекту «чувство прекрасного» — сервис уже научился выбирать самое удачное фото для показа в списке объявлений, и в 10% опубликованных объявлений первой показывается фотография, выбранная машиной.
Что это за машина?
Даже если вы не автолюбитель, вам наверняка доводилось разглядывать на улицах автомобили. Некоторые из них так и притягивают взгляд: один похож на причудливое насекомое, в другом можно углядеть черты Дарта Вейдера, а третий вам просто нравится — и, возможно, вы не отказались бы когда-нибудь завести такой же. Когда вы встречаете необычный или просто красивый автомобиль, каждый раз хочется узнать — а что это вообще за машина и сколько она может стоить? Ну так, на всякий случай.
Конечно, можно поискать название на кузове или запомнить, как выглядит понравившаяся машина, а потом поспрашивать знатоков. Но мы придумали более быстрое решение. Сегодня в мобильном приложении Авто.ру появилась распознавалка автомобилей. Просто сфотографируйте машину на смартфон или планшет — и приложение назовёт марку и модель, уточнит, когда она выпускалась, и покажет среднюю цену на Авто.ру. Заодно можно посмотреть объявления о продаже автомобилей той же модели.
Необязательно снимать машину целиком. Иногда для того, чтобы сделать правильную догадку, приложению достаточно одного фрагмента — например, фотографии приборной панели, салона или части кузова.
Отличать одну машину от другой приложение умеет благодаря искусственному интеллекту. В основе модели распознавания лежит нейронная сеть. Для её обучения мы использовали шесть миллионов фотографий — это все снимки, которые были загружены на Авто.ру с момента запуска сайта. В ходе обучения нейронная сеть выявила признаки, характерные для каждой модели авто. По ним можно сделать вывод о том, какая машина изображена на сделанной пользователем фотографии.
Распознавалка автомобилей доступна в приложениях Авто.ру для iOS и Android. Сейчас ей известны более сотни марок и более тысячи моделей легковых машин как российского, так и иностранного производства.
У нас есть ещё несколько идей о том, как использовать технологии компьютерного зрения при поиске автомобилей. Например, мы обучили нейронную сеть выбирать из нескольких снимков автомобиля, загруженных продавцом, самый привлекательный с точки зрения потенциального покупателя. Такой снимок имеет смысл показывать на превью объявления. Компьютерный подбор фотографии уже используется на Авто.ру. Пока это эксперимент — сейчас система срабатывает на каждом десятом объявлении.
«Яндекс» научился распознавать марки машин по фотографии
Интеллектуальное приложение от «Яндекса»
Компания «Яндекс» сообщила о выпуске принадлежащим ему сервисом «Авто.ру» обновленного мобильного приложения для iOS и Android. Теперь оно может распознавать автомобили по фотографии.
По утверждению разработчиков, достаточно сфотографировать машину, и приложение покажет ее марку, модель, поколение и среднюю стоимость. Сейчас приложение распознает более 100 марок и 1 тыс. моделей из каталога «Авто.ру».
«На улицах встречается множество интересных автомобилей. В таких случаях часто хочется узнать, что это за машина и сколько она может стоить, — объясняет руководитель мобильной разработки «Авто.ру» Максим Чекмарев. — Приложение «Авто.ру» стало первым в мире, которое умеет решать эту задачу, и справляется с ней хорошо».
Компьютерное зрение от «Яндекса»
Угадывать машины помогает технология компьютерного зрения, разработанная в «Яндексе»: для ее обучения потребовалось 6 млн фотографий. Как пояснили в компании, база «Авто.ру» стала идеальным источником данных: это изображения реальных машин в городских пейзажах, снятые на «мыльницу» или камеру смартфона с тысяч разных ракурсов. В результате приложение может угадывать автомобили на уровне эксперта.
Приложение «Авто.ру» научилось угадывать марки автомобилей на уровне эксперта
Распознавание доступно на стартовом экране приложения «Авто.ру». Можно сфотографировать любой автомобиль или выбрать фотографию из памяти смартфона. В «Яндексе» подчеркивают, что необязательно снимать машину целиком, достаточно фотографии части кузова, салона или приборной панели.
Приложение отправит изображение на серверы «Яндекса» и покажет результат. Кроме того, приложение расскажет о средней стоимости угаданного автомобиля на «Авто.ру».
Будущие наработки
Технологии компьютерного зрения применяются на «Авто.ру» и для других задач. Как обещают в «Яндексе», скоро изменится форма создания объявления в мобильном приложении: достаточно будет сфотографировать автомобиль, а приложение само заполнит поля модели, марки и поколения.