как узнать карту сайта
Структура сайта в виде интерактивной схемы из файлов sitemap.xml
В отличии от дизайна и верстки, структура сайта скрыта от посетителей, владельцев и даже ответственных за сайт. Меню сайта полного представления о структуре не даёт.
Визуализация структуры сайта позволяет решить или сильно облегчить сложности при анализе, проектировании и разработке удобной структуры сайта.
Как работает визуализация структуры сайта
Сервис считывает список страниц из файлов sitemap, указанных в файле robots.txt указанного сайта. Если файла robots.txt нет, то сервис пробует прочитать файл sitemap.xml.
После получения списка страниц, сервис сворачивает их в древовидную кластерную структуру, используя в качестве узлов кластеры в адресах страниц. Например url https://aevrika.ru/services/context/ превратится в граф aevrika.ru → services → context
При клике на узлах структуры они раскрываются и показывают подчиненные узлы. При клике на название узла в соседней вкладке открывается страница, соответствующая этому узлу.
Почему структуру некоторых сайтов посмотреть не получается
Почему в структуре могут быть не все страницы сайта
Интерактивная карта сайта строится только по информации из файлов sitemap. Эти файлы обычно автоматически создаются CMS сайта. Но из-за ошибок или особенностей алгоритмов, в эти файлы могут попадать не все страницы, доступные на сайте. Это также означает, что поисковые системы могут не увидеть такие страницы.
Какие задачи помогает решить визуализация структуры сайта
Проектирование структуры при разработке сайта
Чтобы ускорить разработку структуры нового сайта и уменьшить вероятность забыть какой-то важный раздел, очень полезно изучить структуру сайтов конкурентов или сайтов такого же типа. Сайты интернет-магазинов, клиник, учреждений, государственных структур, образовательных учреждений имеют сильно отличающуюся друг от друга структуру с сложившимися особенностями. Интерактивная карта сайта позволяет быстро выявлять эти особенности, не тратя время на преодоление порой сложно устроенной навигации по сайту.
Разработка структуры для seo продвижения сайта
Оценка качества кластерной структуры при разработке стратегии продвижения сайта
Оценка разработки нового сайта вместо старого
При оценке стоимости разработки нового сайта на замену старому, интерактивная блок-схема сайта поможет быстро выяснить размер каталога, количество товаров в разных категориях, выделить типы контента на сайте и количество страниц этого типа.
Планирование и оценка затрат на перенос контента
При замене старого сайта на новый возникает задача переноса полезного контента со старого сайта. Интерактивная карта сайта в виде графа покажет в каких разделах и сколько контента содержится и не даст забыть перенести даже отдельные важные страницы.
Правила использования сервиса, хотелки и баги
Сервис возможно будет дорабатываться. Замечания и предложения можно оставлять в телеграм группе sitemapvis
Проверка файла XML Sitemap
Проверьте свой файл Sitemap и получите новый, в котором нет ошибок.
Введите адрес XML Sitemap здесь:
1. Введите URL-адрес sitemap.xml в текстовое поле
Gunzip (.GZIP) файла Sitemap также будет работать
2. Нажмите на оранжевую кнопку «Проверить»!
Мы проверим, все ли ссылки, содержащиеся в вашем файле Sitemap, работают правильно
3. Проверьте ошибки
Популярные вопросы
Что такое Sitemap?
Как понятно из названия, Sitemap (карта сайта) отображает ваш веб-сайт. Это веб-страница, в которой описывается структура вашего сайта, включая разделы и ссылки. Это значительно упрощает навигацию по вашему сайту. И очень важно иметь обновленный Sitemap для поисковых запросов и результатов пользовательского опыта. Почему вашему сайту необходим файл Sitemap?
Проще говоря – вашему веб-сайту нужен Sitemap, чтобы его можно было найти на странице результатов поиска. XML Sitemap помогает поисковым системам, таким как Google и Bing, при сканировании легко понять структуру вашего сайта. И в случае, если ваш сайт имеет сложную структуру, или он недавно был создан или имеет динамические страницы, Sitemap значительно улучшит его рейтинг. Кроме того, у вас будет список всех URL-адресов вашего сайта, и вы получите приоритет сканирования поисковыми системами. Хотя вам и не обязательно иметь XML Sitemap, это важная часть любого SEO-продвижения. Как ошибки файла Sitemap влияют на ваш рейтинг?
Ошибки файла sitemap включают ошибку сжатия, пустой файл sitemap, ошибку HTTP или некорректное пространство имен. Эти ошибки могут «загрязнить» файл sitemap, что затруднит сканирование вашего сайта. Если некоторые страницы не могут сканироваться должным образом, они не могут быть проиндексированы. Если ваши страницы не проиндексированы, вы не сможете получить высокий рейтинг Google и потеряете много органического трафика.
Воспользуйтесь нашим бесплатным инструментом проверки файла XML Sitemap прямо сейчас
Правильная карта сайта ускоряет индексацию в 3,14 раз
Карта сайта (sitemap) — это html страница сайта или специальный xml файл, в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.
Какие бывают карты сайта
Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.
Карта сайта HTML Sitemap
Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.
Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.
Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.
HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.
Карта сайта XML Sitemap
XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.
Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.
Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.
Пример файла карты сайта sitemap.xml
Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:
Где используются следующие обязательные теги:
Далее, следуют необязательные теги:
— указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.
Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Пример файла карты сайта sitemap.txt
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
Как создать карту сайта
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.
Указание ссылки на карту сайта в robots.txt:
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Основные способы создания карты сайта
Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
Sitemap.xml или карта сайта — руководство для новичков
При знакомстве с проектом SEO-специалист обязательно вводит в адресную строку фразу «sitemap.xml». Анализ карты сайта позволяет выяснить, почему не индексируется тот или иной контент. Как создать и внедрить грамотную sitemap.xml, я расскажу в очередном выпуске «Азбуки SEO».
Что такое XML-карта
XML-карта сайта — файл с информацией для поисковых систем о страницах, которые необходимо проиндексировать. Другими словами, карта сайта — список всех страниц в формате XML, доступных для сканирования поисковым роботом. При этом стоит отличать XML-карту от обычной карты сайта, которая находится по адресу http://site.com/sitemap/.
С помощью XML-карт определяется:
Из каких элементов состоит XML-карта
В первой строке документа указывается версия xml и кодировка — UTF-8.
Также используются особенные теги XML:
Пример структуры файла c XML-картой сайта:
Для больших сайтов лучше сформировать несколько XML-карт. Например, в этот индекс в формате XML входят два файла sitemap:
XML-карта для изображений
Отдельные XML-карты часто создаются для индексации изображений. Они актуальны только для Google, Яндекс не распознаёт теги image:
Данные XML-карты могут помочь поисковым системам найти контент, который иначе нельзя было бы обнаружить (например, если он загружается с помощью JavaScript), и указать изображения, которые необходимо сканировать и индексировать.
Для карт изображений используются теги:
Кроме того, можно использовать необязательные теги:
Подпись к изображению.
Место съемки (страна, город, и так далее)
URL лицензии изображения.
Пример XML-карты для изображений:
XML-карта для видео
Если на сайте представлен уникальный видеоконтент, для него также можно сделать отдельную XML-карту.
Интересно, что в этой карте URL видео можно открыть для поиска в разделе Google Видео. В результатах будет отображаться значок видео, который, кстати, можно сделать индивидуальным, а также другая указанная в карте информация. Например, название.
Какие сведения о видео можно отправлять в Google с помощью sitemap:
Можно использовать другие теги, они не обязательные и носят рекомендательный характер:
Google поддерживает следующие форматы:
XML-карта для Google Новостей
Для сайтов-новостников можно создать отдельную карту с динамической генерацией и ежедневным обновлением. Данные файлы будут работать только для ресурсов, включенных в списки Google Новостей. Если сайт не находится в списке, можно отправить запрос на его добавление.
Файл sitemap должен содержать только URL статей, опубликованных за последние два дня. Статьи, опубликованные более двух дней назад, можно удалить из файла, при этом они останутся в индексе Google Новостей в течение 30 дней.
Эта карта сайта может содержать не более 1000 URL. Если на сайте за два дня появляется больше контента, можно создать файл индекса sitemap для нескольких карт.
Кроме этого, существуют необязательные теги:
Пример sitemap для Google Новостей:
Как построить XML-карту для мультиязычных сайтов
Пространство имен XHTML должно быть указано так:
Также необходимо создать отдельный элемент URL для каждого адреса. В свою очередь каждый элемент должен включать:
Например, на сайте есть раздел на русском языке, предназначенный для пользователей со всего мира. Кроме того, существуют две версии этой страницы: на украинском и на английском.
Полный набор URL выглядит так:
Файл sitemap, который приведен на примере ниже, сообщает Google о том, что у страницы example.com/ru/ существует соответствующая версия на украинском и английском языках:
Рекомендации Яндекса
Яндекс поддерживает два формата файлов sitemap:
Требования для карт Яндекс:
Рекомендации Google
Форматы, которые поддерживает Google в качестве sitemap:
Основные требования к текстовым файлам:
Как внедрить XML-карту
Файлы sitemap учитываются при индексировании сайта роботом, однако ни одна из поисковых систем не гарантирует, что все URL, указанные в файле, будут добавлены в поисковый индекс.
Для автоматического создания XML-карт можно использовать платные и бесплатные онлайн-генераторы, специальные плагины CMS и программы, например, Netpeak Spider.
Как найти ошибки в XML-картах
Как анализировать карту сайта в Яндекс.Вебмастере
В Яндекс.Вебмастере для работы с XML-картами следует перейти по пути «Индексирование» — «Файлы sitemap».
В этом разделе можно добавить ссылку на файл (или несколько файлов), отслеживать ошибки, даты последней загрузки и количество ссылок в файле.
Отдельно в разделе Инструменты, представлен «Анализатор файлов sitemap», где на проверку можно отправить текст, URL или прикрепить сам файл. При проверке он показывает тип и размер файла, количество ссылок и ошибки.
Как анализировать карту сайта в Google Search Console
В панели вебмастеров Google в разделе «Сканирование» есть пункт «Файлы sitemap».
Карта сайта (файл Sitemap) от А до Я
В статье:
Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.
Зачем нужен файл Sitemap
Существует два вида Карты сайта, которые различаются форматами и назначением:
HTML-карта
Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.
XML-карта
Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.
В этом материале разберем создание XML-карты.
Для чего нужна Карта сайта:
При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.
В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.
Карта обязательно нужна сайтам с такими признаками:
Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.
Базовые критерии создания файла Sitemap
У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.
Общие требования к Sitemap:
Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.
Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.
Допустимые форматы Карты сайта
Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.
Служебные теги Sitemap
Обязательные теги Карты сайта:
— указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.
Другие языковые версии сайта указывают с помощью атрибута hreflang.
Пример Карты сайта в формате XML
Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:
Как создать и где разместить файл Sitemap?
При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.
Сервисы для создания Sitemap
CMS-плагины для создания Sitemap
Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.
1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».
После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml
Добавление Карты сайта в поисковые системы
Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:
Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.
Как удалить старую Карту сайта
При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.
Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.