как узнать свой ассистент
Создание голосового ассистента на Python, часть 1
Добрый день. Наверное, все смотрели фильмы про железного человека и хотели себе голосового помощника, похожего на Джарвиса. В этом посте я расскажу, как сделать такого ассистента с нуля. Моя программа будет написана на python 3 в операционной системе windows. Итак, поехали!
Работать наш ассистент будет по такому принципу:
Нам нужно поставить библиотеку pyttsx3 для синтеза речи:
Затем можно запустить тестовую программу и проверить правильность её выполнения.
2) Распознавание речи
Существует много инструментов для распознавания речи, но они все платные. Поэтому я пытался найти бесплатное решение для моего проекта и нашёл её! Это библиотека speech_recognition.
Также для работы с микрофоном нам необходима библиотека PyAudio.
У некоторых людей возникает проблема с установкой PyAudio, поэтому следует перейти по этой ссылке и скачать нужную вам версию PyAudio. Затем ввести в консоль:
Затем запускаете тестовую программу. Но перед этим вы должны исправить в ней device_index=1 на своё значение индекса микрофона. Узнать индекс микрофона можно с помощью этой программы:
Тест распознавания речи:
Если всё отлично, переходим дальше.
Если вы хотите, чтобы ассистент просто общался с вами (без ИИ), то это можно сделать с помощью бесплатного инструмента DialogFlow от Google. После того, как вы залогинетесь, вы увидите экран, где уже можно создать своего первого бота. Нажмите Create agent. Придумайте боту имя (Agent name), выберете язык (Default Language) и нажмите Create. Бот создан!
Чтобы добавить новые варианты ответов на разные вопросы, нужно создать новый intent. Для этого в разделе intents нажмите Create intent. Заполните поля «Название» и Training phrases, а затем ответы. Нажмите Save. Вот и всё.
Чтобы управлять ботом на python, нужно написать такой код. В моей программе бот озвучивает все ответы.
На сегодня всё. В следующей части я расскажу как сделать умного бота, т.е. чтобы он мог не только отвечать, но и что-либо делать.
Google Ассистент на Android: как установить, настроить и использовать
Голосовой помощник Google Assistant с каждым днем становится все более многофункциональным и продуктивным, но многие пользователи по-прежнему игнорируют его использование.
Для тех, кто только планирует получить новый опыт взаимодействия со своим мобильным телефоном, и для людей, незнакомых с возможностями Google Assistant, мы решили подготовить подробный обзор невероятно полезной функции. Вы узнаете, как установить приложение, каким образом им можно пользоваться и как ассистент сможет вам помочь.
Установка и запуск Google Assistant
Если вы являетесь счастливым обладателем современного смартфона, работающего под управлением операционной системы Android 5.0 и старше, то велика вероятность, что «Гугл Ассистент» уже предустановлен на вашем устройстве. Если же его нет, то скачать программу можно из фирменного магазина приложений Play Маркет.
Для первого запуска помощника необходимо воспользоваться приложением Google. Для активации и настройки ассистента нужно перейти во вкладку «Обновления». Для корректного функционирования приложения оно запросит у вас соответствующие разрешения и предложит произвести Voice Match для определения и последующего распознавания вашего голоса. При настройке работы голосового ассистента можно отметить пункт «Разблокировка с помощью Voice Match». Это позволит активировать помощника даже при заблокированном экране. Соответствующую настройку можно обнаружить в подменю «Голосовой поиск» в настройках приложения Google.
Вызвать Google Assistant можно следующими способами:
Какие функции выполняет Google Assistant
Перейдем к самому интересному, а именно – к возможностям «Гугл ассистента». Ваш голосовой помощник может запустить любой нужный сайт, найти необходимое место и проложить к нему маршрут в «Гугл картах», предоставить прогноз погоды, подсказать ответ на тот или иной вопрос. Вы можете спросить у ассистента, будет ли завтра дождь или как кушать роллы с помощью китайских палочек.
Очевидно, что для ответа на большую часть ваших вопросов «Гугл ассистент» обращается к интернету, но он также без проблем может найти информацию в отдельных приложениях (например, в электронном ящике).
Google Assistant – прекрасный компаньон в вопросах личных увлечений и хобби. С его помощью вы можете узнать, как накануне сыграла ваша любимая команда, или когда стоит ожидать следующего боя вашего любимого боксера. Просто произнесите фразу, к примеру, «Как сыграл «Зенит?» и вам будет доступна вся информация.
Ни для кого не секрет, что русский язык является невероятно богатым, поэтому незнание некоторых слов не считается зазорным. Тем не менее, «Гугл ассистент» может не только дать вам определение сложного слова, но и найти для него синоним («Синоним к слову «чопорный»»).
Возможности ассистента можно использовать для быстрого доступа к настройкам конфиденциальности устройства. Вы можете запросить у Google Assistant историю вашего поиска или попросить его изменить настройки безопасности.
Если вы являетесь поклонником просмотра видеороликов на YouTube, то вы можете заметно ускорить процесс поиска нужного видео, произнеся команду «Найди на YouTube «название искомого ролика».
Иногда бывают такие ситуации, когда нужно срочно позвонить, но нет возможности это сделать (например, за рулем автомобиля), то не бойтесь обратиться за помощью к «Гугл Ассистенту». Произнесите команду «Позвони «имя контакта», и он сам все за вас сделает.
Помимо перечисленных возможностей Google Assistant также способен установить вам будильник на определенное время, перевести для вас курс валют, сделать заметку, включить фонарик, переключить текущую композицию в музыкальном проигрывателе и так далее.
Для полноты картины рекомендуется скачать фирменное приложение «Команды для Google Ассистент», из которого вы узнаете на что еще способен ваш помощник.
Почему не работает Google Ассистент
Если вы столкнулись с тем, что Google Assistant по какой-то причине не работает, то первым делом стоит попробовать перезагрузить устройство. Далее рекомендуем проверить совместимость вашего гаджета с приложением. Для этого уточните версии ОС Android (должна быть старше 5.0) и приложения Google (от 6.13 и старше), а также удостоверьтесь, что у вас имеется как минимум 1 Гб оперативной памяти.
Далее необходимо проверить не выключено ли на вашем устройстве голосовое управление. Зайдите в приложение Google, сверху справа нажмите на значок с тремя точками. В появившемся окне перейдите в меню «Настройки», а затем в раздел «Голосовой поиск». В списке найдите пункт «Voice Match», включите «Доступ с помощью Voice Match». Если это не поможет, то, как вариант, еще можно перезаписать образцы вашего голоса в настройках «Голосового ввода».
Другими проблемами на пути к корректной работе «Гугл Ассистента» могут стать неработоспособный микрофон, плохое интернет-соединение, другие установленные голосовые помощники.
Краткое резюме
Надеемся, что после прочтения нашей статьи вы сможете без проблем установить Google Ассистент, настроить его и активно пользоваться широкими возможностями приложения. Незабываемый опыт вам гарантирован.
Полезные команды Google Ассистента. Или какие задачи лучше поручить голосовому помощнику
Искусственный интеллект — одно из самых перспективных направлений развития современных технологий. Рано или поздно он будет окружать нас повсюду (в холодильниках, автомобилях, стиральных машинах, телевизорах и многих других устройствах). Это лишь вопрос времени!
На сегодняшний день самыми популярными приложениями с искусственным интеллектом являются голосовые ассистенты — Siri от Apple, а также Google Ассистент, о котором и пойдет речь в этой статье.
Что такое Google Ассистент?
Как уже было сказано выше, это виртуальный голосовой помощник, реагирующий на команды пользователя и способный поддерживать «человеческий» диалог. Многие люди не видят сегодня особого смысла в использовании таких ассистентов и считают их скорее развлекательной функцией, нежели полезным инструментом. А зря!
Конечно, гораздо удобнее нажать иконку фонарика, нежели запускать ассистент, говорить фразу «Включить фонарик» и после ответа, наконец, воспользоваться фонариком. Это же касается и многих других команд.
Но есть ряд важных задач, с которыми голосовой ассистент справится гораздо быстрее пользователя и которые действительно способны облегчить жизнь. Именно о таких командах мы и расскажем дальше.
Как запустить Google Ассистент?
Для запуска Google Ассистента достаточно просто зажать на секунду кнопку Домой:
После чего появится небольшое окошко с ассистентом, ожидающим голосовой команды:
Если на вашем смартфоне активировано управление жестами (то есть, кнопка Домой отсутствует), тогда запустить помощник можно голосом, сказав фразу «Окей, Гугл«. Предварительно проверьте, чтобы эта функция была включена. Сделать это можно следующим образом:
Теперь запустить ассистент можно даже не прикасаясь к телефону!
Помимо активации голосом, на разных смартфонах можно включать ассистент даже в режиме управления жестами. К примеру, на смартфонах Samsung (в оболочке One UI) достаточно провести пальцем от центра нижней части экрана на несколько сантиметров вверх и задержать на секунду палец. На смартфонах OnePlus запуск Ассистента можно назначить на кнопку питания (нажать и подержать полсекунды).
И последний вариант — скачать приложение Google Ассистент из магазина Play Market (правда, сделать это можно не для всех устройств), в результате чего на рабочем столе появится иконка запуска голосового помощника.
Как использовать Google Ассистент? Или 10 самых полезных команд
Итак, какие же задачи намного удобнее поручать виртуальному помощнику? Начнем с поиска личных фотографий:
Поиск своих фотографий
Хотите посмотреть фотографии двухгодичной давности? В принципе, задача несложная и можно обойтись без ассистента. А как насчет найти фото, сделанные в определенном городе? Или снимки по определенной тематике? Для Google Ассистента это не составит ни малейшей проблемы.
И в ту же секунду получаем результат (на смартфоне должно быть установлено приложение Google Фото):
Хотите вспомнить свою поездку в Париж? Просто скажите:
На что сразу получаем нужные фото:
Искать можно любые фотографии по любому критерию (фото животных за 2015 год или фотографии 31 декабря 2018 года).
Работа со списком покупок
Как часто у вас бывали подобные ситуации — включаешь свет и вспоминаешь, что забыл купить новую лампочку! Или взял пульт от телевизора и вспомнил, что нужно было давно заменить батарейку? Конечно же, это случается постоянно и со всеми. А затем в магазине долго и безрезультатно вспоминаешь — что же нужно было купить…
Google Ассистент полностью решает эту проблему! Включили свет, а лампочка не загорелась? Говорите смартфону:
Закончились в доме фрукты? Скажите:
Все эти товары будут тут же добавлены в специальный список, который не потеряется даже если ваш смартфон сломается или вообще будет утерян:
Вся прелесть этой функции заключается в том, что добавлять новые пункты можно в любое время за считанные секунды. Только что-то вспомнили — сразу же сказали ассистенту добавить это в список.
Теперь, оказавшись в магазине, достаточно лишь открыть свой список покупок. Сделать это можно двумя способами:
1. Зайти в браузере на страничку shoppinglist.google.com (как на смартфоне, так и любом другом устройстве), после чего откроется список со всеми добавленными ранее товарами:
2. Сказать ассистенту фразу: «Покажи мой список покупок«:
Работать с этим списком очень удобно — можно вычеркивать (провести пальцем по элементу списка слева направо) отдельные пункты или вовсе удалять ненужные (провести пальцем справа налево).
Если же вы хотите составить список покупок перед походом в магазин — можете ввести нужные товары прямо с помощью клавиатуры (любые команды для виртуального помощника можно вводить не только голосом, но и с помощью клавиатуры). Для этого запустите Google Ассистент и нажмите иконку клавиатуры:
После чего в поле запроса введите фразу:
Работа с напоминаниями и событиями
Это один из самых эффективных сценариев использования ассистента! Добавлять новые напоминания или события в календарь — очень затратное по времени занятие. Вначале нужно найти и запустить само приложение Календарь, затем указать дату и время события, после чего ввести с клавиатуры его название.
Вместо этого достаточно произнести фразу, вроде:
И всю работу за вас сделает виртуальный помощник:
Если вы предварительно настроили функцию Voice Match (см. выше), тогда для планирования встреч, дел или событий не нужно даже смартфон брать в руки. Именно в этом заключается основная идея, стоящая за виртуальными ассистентами — смартфон все время готов к исполнению любой команды, не нужно ничего разблокировать, запускать или нажимать. Просто обращайтесь к смартфону, как к своему ассистенту.
Работа с валютой
Как вы узнаете курс доллара или, к примеру, стоимость биткоина? В случае с Google Ассистентом, достаточно сказать любую из этих фраз:
Что интересно, ассистент прекрасно понимает контекст диалога. Если вы сказали фразу «Переведи 150 долларов в евро», а затем захотели узнать другую сумму, достаточно просто назвать это число и ассистент поймет, что именно вы имели ввиду:
Это же касается и других вопросов. К примеру, после ответа на вопрос «какая погода ожидается завтра«, можно уточнить «а на выходных?» и Google Ассистент прекрасно поймет, что вас интересует именно погода на выходных.
Управление музыкой
Виртуальный помощник от Google очень хорошо разбирается в музыке! Поэтому, достаточно сказать фразу «Включи джазовую музыку» и приложение Play Музыка (или YouTube) моментально поставит соответствующий плейлист. Также вы можете сказать следующее:
Во всех этих случаях ассистент поставит именно те композиции, которые вы ожидаете услышать.
Работа со временем
Вместо включения смартфона, запуска приложения Часы, настройки и активации таймера достаточно сказать одну из фраз:
То же касается и управления будильниками:
Фразы достаточно простые и отнимут всего пару секунд вашего времени, в отличие от использования приложений.
Ассистент знает практически все!
Есть вопросы, на которые нужно получить краткий и четкий ответ. Использовать для этого поисковые системы гораздо менее удобно, нежели воспользоваться услугами личного ассистента. Узнать подробности какого-то события — это одно, а вот узнать возраст известного человека или расстояние от Парижа до Барселоны — совсем другое!
Поэтому, просто запускайте Google Ассистент и задавайте вопросы, вроде:
На все эти и множество подобных вопросов вы получите очень четкие и прямые ответы:
Конечно же, список возможностей Google Ассистента на этом не заканчивается. Вы можете без проблем переводить время («который час в Москве, когда в Нью-Йорке 10 утра?«), узнавать калорийность любого продукта («сколько калорий в Брауни?«) и многое другое.
Выполнить любую из перечисленных выше задач без помощи ассистента отнимет больше времени и сил, поэтому, попробуйте буквально несколько дней поработать со своим личным виртуальным помощником и вы удивитесь, как раньше могли обходиться без его услуг!
Ну а если вам не понравился такой формат общения со своим смартфоном, тогда ответим еще на один важный вопрос:
Как отключить и удалить Google Ассистент?
Последнее, что необходимо сделать — это отключить возможность случайной активации ассистента (с последующей настройкой) длительным нажатием кнопки Домой. Для этого делаем следующее:
После этого вы не обнаружите никаких следов виртуального помощника на своем телефоне!
P.S. Не забудьте подписаться в Telegram на первый научно-популярный сайт о мобильных технологиях — Deep-Review, чтобы не пропустить очень интересные материалы, которые мы сейчас готовим!
Как бы вы оценили эту статью?
Нажмите на звездочку для оценки
Внизу страницы есть комментарии.
Напишите свое мнение там, чтобы его увидели все читатели!
Если Вы хотите только поставить оценку, укажите, что именно не так?
Сказ о том, как я Home Assistant настраивал
Home Assistant — это популярная система умного дома, которая автоматизирует привычные бытовые процессы и работает на YAML файлах. В этой статье я расскажу, как настроить Home Assistant (далее HA), и что конкретно я использую в повседневной жизни. Это поможет вам избежать ошибок и быстрее продвинуться в изучении HA.
На Хабре уже есть статьи о HA (раз, два, три), но здесь я хочу рассказать об установке и настройке системы от начала до конца. От первого запуска сервера до полноценно работающей системы, которую потом можно улучшать и дорабатывать для себя.
Основной единицей в HA является интеграция — логика, которая описывает взаимодействие с умным устройством или внешним сервисом. Большая часть полезной нагрузки HA ориентировано на связку: умное устройство + интеграция или внешнее API + интеграция.
Набор моих интеграций
Железо, участвующее в статье:
Сервисы, которые будем использовать:
Установка
Установка HA предельно проста:
Также можно установить на уже имеющуюся систему с помощью Docker-compose:
А теперь разберем несколько сценариев использования.
Отслеживание устройств
Начнем с отслеживания устройств, с помощью которого мы можем фиксировать вход и выход носителей из дома.
Я предлагаю 2 способа отслеживания:
В системе доступно много производителей роутеров. Для старых и не перечисленных в списке моделей можно использовать nmap (более подробно тут).
Если установить на телефон официальное приложение, HA по умолчанию создаст интеграцию, и в системе появится дополнительное устройство, которое можно отследить.
С помощью Xiaomi Router Mi4A
С помощью GPS
Создание системы отслеживания через роутер
Трекинг через локальную сеть роутера требует настройки, в отличие от GPS отслеживания. Два вида трекинга можно комбинировать для повышения точности. Ниже можно заметить, что в моем случае отслеживание через роутер работает лучше, чем через GPS. Зеленая зона значит, что телефон внутри зоны, красная — вне зоны.
Результаты работы отслеживания (сверху — роутер, снизу — GPS)
Можно подключиться через плагин SSH в VS Code, но получить доступ к проводнику в данный момент мне было удобнее. Поэтому, добавим сетевое расположение.
Нажмем обзор, найдем каталог config (мы в основном будем редактировать его) и выберем его как сетевую папку.
Дальше мы можем перейти в созданную папку и открыть ее через редактор.
После перезагрузки HA мы можем увидеть, что у нас появился новый глобальный объект device_tracker и наши устройства в нем.
Трекинг устройств через роутер
Освещение
Теперь, когда мы умеем отслеживать пользователя, мы можем включать и выключать определенные лампочки с учетом информации о его местоположении.
Для этого необходимо произвести действие по определенному событию. В этом нам помогут автоматизации.
Теперь импортируем в наш основной файл весь каталог automation — так нам будет удобнее при написании следующих автоматизаций.
Для того, чтобы получить адаптивное освещение в зависимости от времени суток, нужно настроить цветовую температуру. Это удобно сделать внутри блока switch. Тут важно понимать, что пока данный switch включен, изменить параметры температуры будет невозможно (через interval минус время_с_прошлого_обновления лампа примет старые параметры).
Здесь вы найдете больше про динамическую цветовую температуру (flux в терминологии HA). А если вам интересна тема адаптивного освещения, на Хабре есть отличная статья по этому поводу.
В итоге у нас имеется Telegram бот, готовый к отправке сообщений.
Утренние (или нет) погодные оповещения
Теперь, когда у нас есть настроенный сервис уведомлений и погодная интеграция, мы можем сделать утренние оповещения о погоде.
Создаем новый файл автоматизации, и начинаем писать логику.
Пишем переменную, которая будет отвечать за срабатывание оповещений только по будням. Если он true — то в выходные оповещений не будет.
И подключаем в основном конфиг файле.
Добавим blueprints
Теперь небольшое лирическое отступление в виде рассказа о написании blueprints на примере уведомлений.
В данном случае я бы перевел blueprints не как чертежи, а как шаблоны или заготовки. Их удобнее использовать, если нужно написать несколько похожих автоматизаций, а основную логику оставить нетронутой.
Например, можно упростить создание уведомлений о начинающихся осадках.
“for” — это время, в котором должен оставаться выбранный параметр, чтобы сработал триггер на превышение уровня осадков.
Теперь, когда есть blueprint, мы можем написать автоматизацию с меньшим количеством логики.
Создадим уведомления о начале осадков.
Мы смогли вынести часть функциональности в отдельный файл. В подобных случаях, когда со временем появляется похожий код, можно выносить часть логики в отдельный файл.
Для большей полезности можно изменить шаблон и поменять action на повышение яркости для света в доме или закрытие штор.
Бэкапы
Можно настроить создание резервных копий в Google Drive:
После этих манипуляций мы получаем регулярное создание бекапов, важность которых сложно переоценить.
NodeMCU
Так как умного градусника у меня нет, а температуру измерять хочется, воспользуемся ESP8266.
Сначала установим интеграцию ESPHome из официального списка интеграций.
Для каждого микроконтроллера, используемого в системе, требуется создать файл с подобным содержанием.
Подключимся к WiFi
По умолчанию используются секреты только от ESPHome. А для того, чтобы подгрузить секреты из HA, можно создать отдельный файл, где мы заинклудим эти секреты.
Теперь подключим data pin (обычно это средняя нога) термометра к D2 порту, дадим на него питание и землю. Потом создаём сам термометр (DHT11) и две переменные, которые будем отслеживать в HA.
Дальше нужно скомпилировать прошивку и загрузить на контроллер. Если он подключен напрямую к Raspberry Pi, то мы увидим его на /dev/ttyUSB0 и сможем загрузить прошивку в первый раз. Все последующие обновления можно загружать по воздуху. А если в списке устройства не видно, то можно скачать прошивку и воспользоваться ESPHome-Flasher.
Если все заработало, то в Developer Tools мы увидим созданные переменные.
Немного оптимизации
По умолчанию в HA используется SQLite, и сброс данных на диск происходит часто (каждую секунду). Это может привести в скором времени к выходу из строя SD карточки на малинке (если сервер стоит на ней). Чтобы продлить срок службы карточки, скажем HA, что нужно записывать на диск раз в commit_interval и исключить некоторые сущности, которые мы не хотим отслеживать на длинном временном промежутке (или вообще не хотим отслеживать).
Если мы хотим использовать СУБД, отличную от SQLite, то можно сделать один из следующих пунктов на выбор:
Отслеживание системных параметров
Чтобы отслеживать остаток свободной памяти, загруженность процессора или скорость Интернет соединения, мы можем добавить мониторинг показателей системы.
При желании можем создать автоматизацию, которая при критических показателях будет отправлять уведомление о необходимости принятия мер.
Также мы можем посмотреть Uptime сервера.
Заключение
В итоге мы создали несложную систему умного дома, которую каждый может расширить покупкой новых устройств или написанием своих продуманных и продвинутых автоматизаций. По этой ссылке можно найти полную версию моих автоматизаций дома.
Главный экран
Что дальше? Можно добавить HACS (сборник UI компонентов и даже целых интеграций от коммьюнити, пригодится при использовании Яндекс Станции) и установить несколько UI элементов. Можно интегрировать умную колонку или телевизор и включать их по определенному условию. Вариантов апгрейда бесконечное множество.