как узнать какие страницы сайта не проиндексированы
Узнаем какие страницы сайта не в индексе. YCCY
Если ваш сайт наполняется часто, то не всегда можно уследить за индексацией статей поисковыми системами. В этом случае воспользуемся бесплатной программой YCCY.
Помимо проверки индексации, программа YCCY обладает и другим функционалом. Советую к ней присмотреться.
При помощи данного софта я периодически проверяю свои проекты, а также клиентские. Каждая статья должна нести пользу сайту, поэтому важно знать что не в индексе Яндекс и Google, а потом загнать их.
Алгоритм работы программы
Для проверки на индекс страничек нам нужен функционал Indexator:
Слева я вставлял ссылки, а справа вижу соотв. результаты. По центру проводятся быстрые настройки параметра проверки, а также кнопка «Начать проверку» (сверху).
Если у вас много ссылок для проверки, то советую использовать XML.Яндекс (в «Настройках» программы есть поля для user и key), что позволит избежать бана при большом количестве запросов.
Послесловие
Все. Теперь вы знаете что еще на вашем сайте не проиндексировано. Теперь необходимо данные странички загнать в индекс и получать свой трафик. Об ускорении индексации в актуальных на данный момент условиях, поговорим в следующей статье.
Привет. Я автор этого блога и ридера вебмастеров/SEO-специалистов WMSN.ru
Можешь оставить свой вопрос в комментариях к статье или предложить идею для новой статьи. Не стесняйся.
Отличная прога, можно принят во внимание.
Отличная порграмма, точно пригодится!
Неплохая софтина, попробую.
Это уже совсем для ленивых.
Прошу прощения: что именно подразумевается под вашей фразой? Не совсем понял что именно для ленивых.
Чтобы узнать какие страницы не попали под индексацию в панели веб мастера (Яндекс) есть раздел, где указываются какие страницы не попали в индекс и почему (ошибки:403, 404; запрещено в robots.txt и т.д.), иначе страницы страницы в любом случае попадут в поиск, но при следующем посещении робота.
Бывает часто (на новостных сайтах), если добавляется очень много материала за 1 день, тогда робот откладывает часть страниц «на потом». Но и из этого есть выход: есть возможность добавлять ссылки вручную.
Поэтому использование левого софта я считаю не целесообразным Опубликовано: 08.01.2014 Ответить на сообщение
Если следовать вашей логике, то и колесо человек зря изобрел, т.к. можно руками носить и передвигаться на ногах.
Предназначение большинства подобных программ: экономия времени.
К тому же следует учесть, что на сайтах, где быстробот бывает редко, а он наполняется постоянно, материал может лежать месяц-два и более не проиндексированным.
Относительно панели вебмастера: как вы указали, здесь отображаются страницы с ошибками, закрытые в robots и пр. Но здесь не показывает информацию, которая собирается с помощью программы. А это два разных вида информации для владельца ресурса.
А как вы тогда можете объяснить такое:
Сайту год, есть 200 статей, из них 175 в индексе Яндекса, остальные 25 нет, среди них и очень старые. Они открыты для индексации. Если вы говорите, что они в любом случае попадут в индекс, то когда, при каком посещении робота?
По поводу статьи и проги, большое спасибо, действительно быстро помогает найти страницы не в индексе.
Для ленивых это когда делать совсем ничего не надо. А тут всё же труд приложить необходимо. Спасибо за программу.
Хотел скачать, потом вспомнил что у меня yazzle все это умеет. Для бесплатного использования YCCY отличная прога, качайте у кого нет yazzle или им подобные
Давно искал удобный способ проверки. Эту прогу уже как то скачивал, но не было времени разбираться, забросил. Теперь наконец, во всем разобрался, спасибо.
Довольно интересная программка, попробую, также проверить в индексе иль нет страницы сайта можно с помощью плагина для браузера RDS bar —инструмент для быстрого SEO анализа.
Проверил, узнал, а как их все же проиндексировать. Особенно Яндекс часто «мудрит».
Не знала о такой программе, пользуюсь другими способами, но программа заинтересовала, скачаю попробую, спасибо
Искал что то подобное попробую. Мой сайт еще молодой, но на будущее пригодиться
Привет, а какие настройки надо делать в этой программе YCCY, а то не одной страницы в Яндексе, так и не удается проверить, даже через XML лимиты.
Заполни поля XML своими данными http://prntscr.com/4c5jkj и смотри чтобы в самом сервисе xml.yandex.ru стоял текущий IP компа
IP стоит текущий http://prntscr.com/4c5nm1
логин и пароль это от Яндекса Вебмастреа мы должны указать, я правильно понял? Если все так, тогда ничего не работает, все запросы улетают в раздел «не получилось проверить», скажи а какую задержку ты ставишь?
не логин и пароль, а user и key http://xml.yandex.ru/settings/
Сверху сразу идет строка «URL для запросов». Обрати внимание что в указанном URL данной строки есть в коце твои значения user и key, как составные части ссылки.
Спасибо, все дело было в пароле. Я так понимаю ты тоже только с помощью xml делаешь проверку?
Как узнать какие страницы сайта не проиндексированы
Существуют разные способы понять, присутствует страница в поиске или нет.
Например, с помощью языка поисковых запросов. Если страница site.ru/page1 доступна в поиске, она появится по запросу url:site.ru/page1. Однако таким образом нельзя выяснить, почему страница не показывается. Возможно, она уже была в поиске, но потом пропала, или никогда и не индексировалась. Найти ответ на этот вопрос можно на сервисе Яндекс.Вебмастер, с помощью инструмента «Проверить статус URL».
В этой форме нужно указать адрес интересующей нас страницы и немного подождать, пока сервис сформирует отчет.
Итак, отчет готов. Сервис показывает, что страница была проиндексирована роботом и присутствует в поиске. Это не одно и то же: не все проиндексированные страницы попадают в поиск.
Причины могут быть разные. Возможно, робот просто не успел добавить страницу в базу или поисковая система посчитала её недостаточно качественной — такие страницы исключаются из результатов поиска.
Обратите внимание на пункт «Версия страницы на момент построения поисковой базы». Здесь указана дата той версии страницы, которая сейчас доступна в поиске. Если после этой даты вы меняли контент, новые данные еще не попали в поиск. Их можно увидеть только на самом сайте.
В пункте «Дата загрузки» можно увидеть дату, когда робот последний раз посещал страницу. Версия страницы на этот день и попадет в поиск при очередном обновлении базы. Внесенные позже изменения не будут доступны в поиске, пока робот не обойдет страницу еще раз. Чтобы это произошло как можно быстрее, стоит добавить страницу в карту сайта — Sitemap.
В отчете есть и другие полезные данные — например, количество внешних и внутренних ссылок. А если на сайте обнаружится вирус, это тоже будет указано в отчете.
Проверьте главную страницу вашего сайта с помощью инструмента «Проверить URL». Доступна ли она в поиске? Когда поисковый робот последний раз заходил на страницу?
Быстрый способ проверить индексацию страниц в Яндексе и Google
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).
В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.
Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.
Инструмент онлайн-проверки индексации от PromoPult
Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».
одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
возможность проверки сразу всех URL сайта по XML-карте;
нет ограничения по количеству URL.
работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
выгрузка отчетов в формате XLSX;
уведомление на почту об окончании сбора данных;
хранение отчетов неограниченное время на сервере PromoPult.
Как работает инструмент проверки индексации
Шаг 1. Добавление URL
Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:
Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).
В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:
Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.
Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:
Получаем количество проиндексированных страниц — 684 и 1090.
Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.
Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.
Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:
В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.
Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.
Шаг 2. Указание ПС
На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.
Шаг 3. Получение результата
После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:
Скачать отчет можно в формате XLSX:
В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).
С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:
Сколько стоит использование инструмента
Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.
Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.
Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.
Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.
Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:
Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов — Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы
Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.
Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.
Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.
Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.
Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.
Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.
Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Заключение
Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.
Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!
Как проверить индексацию страниц сайта
Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
Работая с клиентами, я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Если вы владелец сайта
Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.
Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска.
Яндекс Вебмастер
В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.
Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.
Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:
Пример проверки отдельной страницы
Google Search Console (Google Вебмастер)
В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.
Пример проблем с индексацией. Серые столбики — исключенные страницы. 
Проверка отдельной страницы
Имея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.
Если сайт чужой
Если сайт чужой, то можно посмотреть сколько страниц проиндексировано в поисковой системе с помощью специального запроса
Проверка индексации сайта в Яндексе 
Проверка индексации в Google
Можно заметить, что у меня отличается число для Google и Яндекс. Это может свидетельствовать о проблемах, если вы не знаете настоящей причины. В данном случае причина в том, что я недавно добавил каталог услуг и Яндекс быстрей проиндексировал новые страницы.
Чтобы проверить отдельную страницу, достаточно скопировать ее адрес URL и вставить в строку поиска. Если в результатах будет нужная страница, значит она проиндексирована.
Проверяем индексацию страницы в Яндексе 
Проверяем индексацию страницы в Google
С помощью сервисов
Сервисы — это менее точный метод, но его хорошо использовать, когда нужно проанализировать много сайтов.
Сервис Be1.ru
Вот так показывает индексацию сервис Be1
Как видно, сервис показал, что у меня недавно было прибавление страниц в Яндексе (и это соответствует реальности), а Google запаздывает.
Сервис PR-CY
Пример отчета по индексации из сервиса PR-CY
Сервис Серпхант
Сервис предоставляет мощный функционал для SEO специалистов, но в данном случае нас интересует инструмент проверка индексации. Проверяет Яндекс и Google
Пример проверки индексации в Серпханте
Arsenkin
Cервис бесплатно проверяет индексацию в Яндексе, а для Гугл надо подключить базовый тариф.
Пример проверки индексации в Arsenkin
Promopult — платно, но дешево и много
Когда нужно проверить большее количество URL разом, то я использую сервис Promoputl. Проверка индексации в Яндекс и Google одной страницы стоит 2 копейки, отчет предоставляется в Excel
Проверка индексации от Promopult
Как узнать количество страниц на сайте
Хорошо, теперь вы знаете как проверить индексацию. А как понять соответствует ли оно реальности. В самом простом случае, надо знать сколько страниц на сайте и сколько из них разрешены к индексации.
Чтобы узнать эту информацию можно просканировать сайт программой SiteAnalyzer (https://site-analyzer.ru/)
Просканировал сайт и вижу, что HTML страниц 190
Если вы внимательно читали статью и смотрели скриншоты, то видите, что количество страниц на сайте не совпадает с информацией от поисковых систем и сервисов. Но число примерно похоже.
Дальше, используя программу SiteAnalyzer и перечисленные методы можно вычислить какие страницы не в индексе, а также страницы которые до сих пор в индексе, но нет на сайте.
Популярные проблемы с индексацией
Когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.
Проверка индексации сайта. Как найти мусорные или недостающие страницы
Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. Сейчас же расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.
Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».
Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.
В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).
В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.
Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».
Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:
В ходе сравнения могут возникнуть следующие ситуации:
Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.
Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.
Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».
Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.
Ждите новые заметки в блоге или ищите на нашем сайте.