как узнать сколько страниц проиндексировано
Как узнать сколько страниц проиндексировано
В поисковую базу попадают не все страницы сайтов.
Причины могут быть разные. Например, поисковая система посчитала страницу дубликатом или поисковый робот просто не успел до нее добраться. Насколько полно проиндексирован ваш сайт, можно узнать на сервисе Яндекс.Вебмастер. Он покажет, сколько страниц проиндексировано и сколько из них попало в поиск. Вы сможете узнать также тематический индекс цитирования ресурса (тИЦ).
На сервисе Яндекс.Вебмастер можно увидеть основные показатели индексирования сайта.
Так, «Страницы в поиске», как и следует из названия, показывает, сколько страниц сейчас присутствует в поиске.
Показатель «Загруженные страницы» говорит о том, сколько страниц обошел поисковый робот. Таких страниц обычно гораздо больше, чем доступных в поиске. Дело в том, что часть страниц по разным причинам не попадают в поиск — например, если поисковая система считает их недостаточно качественными.
Какие страницы робот не стал добавлять в базу, можно узнать, перейдя по ссылке «Исключённые страницы». Чаще всего в этот список попадают страницы, которые отвечают ошибкой, удалены или запрещены к индексированию в robot.txt. Вы можете посмотреть, не оказалось ли среди них полезных и важных страниц.
Здесь же можно увидеть количество ссылок на ваш ресурс и тИЦ — тематический индекс цитирования. Они косвенно показывают авторитетность вашего ресурса.
Показатели индексирования сайта постоянно меняются.
Следить за изменениями можно в разделе «Индексирование» — «Статистика обхода».
Это помогает увидеть тенденции и вовремя на них отреагировать. Так, в большинстве случаев незначительное уменьшение количества страниц в поиске не должно вызывать беспокойства. Однако если при этом снижается количество переходов на сайт, лучше убедиться, что из поиска не выпали действительно важные и нужные людям страницы.
Графики позволяют понять также, успевает ли поиск за изменениями на сайте. Например, если вы добавили на свой ресурс несколько новых разделов, на графиках должен быть виден рост числа проиндексированных страниц. Если это не так, значит, новые разделы пока не доступны пользователям поиска.
Оцените динамику индексирования вашего сайта с помощью «Статистики» на Яндекс.Вебмастере. В чем причина такой динамики?
Проверка индексации сайта. Как найти мусорные или недостающие страницы
Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. Сейчас же расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.
Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».
Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.
В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).
В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.
Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».
Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:
В ходе сравнения могут возникнуть следующие ситуации:
Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.
Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.
Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».
Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.
Ждите новые заметки в блоге или ищите на нашем сайте.
Проверка индексации сайта онлайн
Если вы хотите узнать, как можно онлайн проверить индексацию сайта в поисковых системах, то следующий материал вам очень пригодится. Способов существует много, но мы раскроем те, что используются вебмастерами чаще всего.
Проверка индексации страниц сайта через поиск
Термином «индексация сайта» обозначают добавление ресурса или его материалов в базу данных поисковой системы. То есть, если страницы сайта проиндексированы, то при введении поискового запроса они окажутся в общей выдаче. Это именно то, чего добиваются вебмастера – чтобы материалы Интернет-ресурсов как можно быстрее оказались проиндексированы.
Чтобы быть уверенными в том, добавлен ли сайт в поисковую базу, выполняется проверка индексации сайта в Яндексе, Гугле и других поисковых системах. Эту проверку можно выполнять как ручным способом, так и автоматически.
Рассмотрим, как проверить проиндексирован ли сайт, используя при этом поисковый запрос. Здесь возможно несколько вариантов:
Помимо использования поискового запроса, есть и другие способы проверки индексации сайта – более простые, быстрые и результативные.
Проверка индексации с помощью операторов URL и SITE
Пожалуй, этот способ является самым лучшим. Можно в адресную строку браузера или поиск ввести запрос и при необходимости нажимать F5, чтобы следить, как обновляется информация. В одном окне также можно ввести несколько запросов подряд, обновлять страницу или нажимать Назад/Вперед и отслеживать изменения.
Как узнать проиндексирован ли сайт в Яндекс? Для этого необходимо воспользоваться оператором URL. Данный сервис также используется для Bing и Рамблера.
Для проверки индексации в Google используется оператор SITE. Используется код site:site.ru, где site.ru – это адрес сайта, на котором расположена необходимая страница.
Также в адресную строку Яндекса можно ввести http://yandex.ru/yandsearch?serverurl= и далее адрес той страницы, которая вас интересует.
UPD: На данный момент рекомендуется использовать запрос типа https://yandex.ru/search/?text=url%3Awww.host.ru%2F*
Отметим, что этот способ подобен использованию расширенного поиска с тем лишь отличием, что в данном случае метод более автоматизирован и нет необходимости еще куда-то заходить. Следует знать о том, что иногда могут возникать некоторые неточности в поисковых системах, если в поиск вводится зеркало сайта. Но это, в принципе, теоретически.
Теперь нужно уточнить кое-какие вопросы относительно быстробота. В Яндексе он есть. Его задача заключается в том, чтобы как можно быстрее проиндексировать страницы. Он посещает сайты, отмечает новый контент и уходит. Через какое-то время за ним приходит основной поисковый бот, который и выполняет анализ, классифицирует и расставляет по своим местам материалы. Бывает, что быстробот проиндексирует, а Яндекс потом выбрасывает контент из индекса.
В поисковой выдаче возле каждой ссылки указывается время проведения индексации. Редко возможны случаи, когда какие бы способы проверки индексации сайта не применялись, а найти его не удается, но через какое-то время статья появляется в индексе и указано время ее индексации, скажем 18 часов назад.
Быстробота еще нужно привлечь. Он поначалу просто так не появится на сайте. Если он еще не посещает страницы ресурса, то индексация может затягиваться и недели на три.
Проверка индексации страниц сайта в Яндексе через AddURL
Еще один способ, позволяющий узнать, попал ли в индекс определенная страница сайта, можно воспользоваться инструментом AddURL. Например, проверим, проиндексировался ли сайт в Яндекс. Для этого в аддурилке данной системы поиска вводим интересующий нас адрес страницы. После этого все станет ясно. Если страница уже находится в индексе, то будет выведена надпись «Указанный URL уже проиндексирован». Ну, а если ссылка еще не появилась в индексе, то напишет приблизительно следующее: «Адрес такой-то успешно добавлен. Его индексация и добавление в поиск будут осуществлены по мере обхода робота». Все это правдиво лишь в том случае, если вы не установили запрет для индексации вашего сайта.
С помощью этого метода также можно понять, если вдруг есть запрет на индексацию robots.txt. В аддурилке обязательно будет написано, если ссылка является зеркалом или она запрещена. Но это работает только в поисковике Яндекс.
Данный метод – достаточно неплох, однако, придется тратить время на неоднократное введение капчи.
Используем панель Вебмастера
Каждая поисковая система имеет свою панель инструментов, специально предназначенную для вебмастеров. С помощью этой панели можно увидеть общее количество проиндексированных страниц. Рассмотрим на примере самых популярных ПС (Яндекс и Google), как выполнять такую проверку.
Чтобы использовать панель инструментов Яндекс в данном контексте, нужно завести аккаунт (если его еще нет), зайти в панель и добавить в нее свой сайт. Там будет показано общее количество страниц, которые уже проиндексированы.
Для использования панели инструментов Google также нужно обзавестись аккаунтом, чтобы иметь возможность зайти в панель. В нее нужно добавить свой сайт и зайти на вкладку «Состояние / Статус индексирования». Здесь также будет показано количество проиндексированных страниц.
Нередко можно заметить, что панель Вебмастера Google может показать значительно большее количество проиндексированных страниц, чем панель инструментов Яндекс. Представим, что на сайте 70 уникальных страниц, которые проиндексировались. И, скажем, Яндекс насчитал приблизительно такое количество ссылок, а Гугл, например, 210. Получается, что Яндекс показал правильное число, а Гугл в 3 раза больше. Так в чем же дело? А дело в дублях страниц, генерируемых движком WordPress. Такие дубли поисковикам не по душе. Использование robots.txt позволяет игнорировать индексацию дублей страниц поисковыми системами. И если на Яндекс это действует, то с Гуглом в этом плане могут возникать проблемы, так как он может действовать по своему усмотрению.
Есть также специальный сервис Pr-cy.ru, позволяющий получить вебмастерам различные данные по сайтам – в том числе, число страниц, проиндексированных в Гугле и Яндексе. Чтобы узнать эту информацию, нужно посмотреть на две нижние колонки соответствующих поисковых систем.
Что помогает ускорить индексацию сайта
Чтобы страницы быстрее индексировались, нужно придерживаться главных правил:
В материале мы рассмотрели основные способы, позволяющие проверить, попали ли страницы сайта в индекс различных поисковых систем. Некоторые из них более эффективные, а какие-то – менее, но каждый из них имеет право на существование и использование.
Seo – проверка индексации текста и веса ссылок тест
Методы ускорения индексации сайта в яндексе
Быстрая индексация сайта в Гугле
Проверить картинки на уникальность
Популярные бесплатные CMS системы
Как скрыть персональные данные в поисковых системах?
Быстрый способ проверить индексацию страниц в Яндексе и Google
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).
В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.
Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.
Инструмент онлайн-проверки индексации от PromoPult
Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».
одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
возможность проверки сразу всех URL сайта по XML-карте;
нет ограничения по количеству URL.
работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
выгрузка отчетов в формате XLSX;
уведомление на почту об окончании сбора данных;
хранение отчетов неограниченное время на сервере PromoPult.
Как работает инструмент проверки индексации
Шаг 1. Добавление URL
Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:
Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).
В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:
Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.
Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:
Получаем количество проиндексированных страниц — 684 и 1090.
Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.
Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.
Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:
В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.
Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.
Шаг 2. Указание ПС
На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.
Шаг 3. Получение результата
После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:
Скачать отчет можно в формате XLSX:
В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).
С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:
Сколько стоит использование инструмента
Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной. Анализ первых 100 URL бесплатно.
Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.
Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов.
Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?
На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.
Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:
Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов — Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы
Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.
Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.
Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.
Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.
Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.
Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.
Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.
Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.
Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.
После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).
Заключение
Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.
Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!
Как проверить индексацию страниц сайта
Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
Работая с клиентами, я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Если вы владелец сайта
Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.
Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска.
Яндекс Вебмастер
В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.
Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.
Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:
Пример проверки отдельной страницы
Google Search Console (Google Вебмастер)
В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.
Пример проблем с индексацией. Серые столбики — исключенные страницы. 
Проверка отдельной страницы
Имея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.
Если сайт чужой
Если сайт чужой, то можно посмотреть сколько страниц проиндексировано в поисковой системе с помощью специального запроса
Проверка индексации сайта в Яндексе 
Проверка индексации в Google
Можно заметить, что у меня отличается число для Google и Яндекс. Это может свидетельствовать о проблемах, если вы не знаете настоящей причины. В данном случае причина в том, что я недавно добавил каталог услуг и Яндекс быстрей проиндексировал новые страницы.
Чтобы проверить отдельную страницу, достаточно скопировать ее адрес URL и вставить в строку поиска. Если в результатах будет нужная страница, значит она проиндексирована.
Проверяем индексацию страницы в Яндексе 
Проверяем индексацию страницы в Google
С помощью сервисов
Сервисы — это менее точный метод, но его хорошо использовать, когда нужно проанализировать много сайтов.
Сервис Be1.ru
Вот так показывает индексацию сервис Be1
Как видно, сервис показал, что у меня недавно было прибавление страниц в Яндексе (и это соответствует реальности), а Google запаздывает.
Сервис PR-CY
Пример отчета по индексации из сервиса PR-CY
Сервис Серпхант
Сервис предоставляет мощный функционал для SEO специалистов, но в данном случае нас интересует инструмент проверка индексации. Проверяет Яндекс и Google
Пример проверки индексации в Серпханте
Arsenkin
Cервис бесплатно проверяет индексацию в Яндексе, а для Гугл надо подключить базовый тариф.
Пример проверки индексации в Arsenkin
Promopult — платно, но дешево и много
Когда нужно проверить большее количество URL разом, то я использую сервис Promoputl. Проверка индексации в Яндекс и Google одной страницы стоит 2 копейки, отчет предоставляется в Excel
Проверка индексации от Promopult
Как узнать количество страниц на сайте
Хорошо, теперь вы знаете как проверить индексацию. А как понять соответствует ли оно реальности. В самом простом случае, надо знать сколько страниц на сайте и сколько из них разрешены к индексации.
Чтобы узнать эту информацию можно просканировать сайт программой SiteAnalyzer (https://site-analyzer.ru/)
Просканировал сайт и вижу, что HTML страниц 190
Если вы внимательно читали статью и смотрели скриншоты, то видите, что количество страниц на сайте не совпадает с информацией от поисковых систем и сервисов. Но число примерно похоже.
Дальше, используя программу SiteAnalyzer и перечисленные методы можно вычислить какие страницы не в индексе, а также страницы которые до сих пор в индексе, но нет на сайте.
Популярные проблемы с индексацией
Когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.