как узнать xpath элемента

Примеры использования xpath из практики парсинга информации с сайтов. Приведены участки кода xpath.

Получить текст заголовока h1

Получить текст заголовока с классом produnctName

Получить значение определенного span по классу

Получить значение атрибута title у кнопки с классом addtocart_button

Текст ссылки

Получить url значение атрибута href ссылки

Изображение src

Изображение сразу за определенным элементом в DOM, ось following

Изображение в 4 div по счету

XPath (XML Path Language) — язык запросов к элементам XML-документа. Разработан для организации доступа к частям документа XML в файлах трансформации XSLT и является стандартом консорциума W3C. XPath призван реализовать навигацию по DOM в XML.

XML имеет древовидную структуру. У элемента дерева всегда существуют потомки и предки, кроме корневого элемента, у которого предков нет, а также тупиковых элементов (листьев дерева), у которых нет потомков.

На каждом шаге пути отбираются элементы, соответствующие условиям отбора на этом шаге, и в результате обращения по пути к документу получается множество элементов, удовлетворяющих данному пути.

Функции над множествами узлов

Возвращает все узлы. Вместо этой функции часто используют заменитель ‘*’, но, в отличие от звездочки, функция node() возвращает и текстовые узлы.

Возвращает набор текстовых узлов;

Возвращает множество из одного элемента, который является текущим. Если мы делаем обработку множества с условиями, то единственным способом дотянуться из этого условия до текущего элемента будет данная функция.

Возвращает позицию элемента в множестве. Корректно работает только в цикле

Возвращает номер последнего элемента в множестве. Корректно работает только в цикле

Возвращает количество элементов в node-set.

Возвращает полное имя первого тега в множестве.

Возвращает ссылку на url определяющий пространство имён.

Возвращает имя первого тега в множестве, без пространства имён.

Находит элемент с уникальным идентификатором

Оси — это база языка XPath. Для некоторых осей существуют сокращённые обозначения.

Источник

Как проверить выражение XPath в инструменте разработчиков Chrome или Firebug Firefox?

Как я могу проверить свой XPath?

Я использую инструмент разработчиков Chrome для проверки элементов и формирования моего XPath. Я проверяю его с помощью плагина Chrome XPath Checker, однако он не всегда дает мне результат. Какой лучший способ проверить мой XPath.

Я также попытался использовать Firebug для проверки ошибки, а также использовать FirePath для проверки. Но Firepath также проверяет XPath.

6 ответов

это может быть достигнуто тремя различными подходами (см. мою статью в блоге здесь для более подробной информации):

вот как вы ищете XPath в Elements группа:

в Firefox

в командной строке внизу использовать следующее:

$() : возвращает первый элемент, который соответствует. Эквивалентно document.querySelector() и

Обновление (Март 2016):
Новый скриншот из Chromium v48:

С помощью chrome или Opera

без каких-либо плагинов, без написания какого-либо одного синтаксического символа XPath

другой вариант проверки xpath-использовать селен IDE.

вот расширение ChroPath для Chrome, которые имеют много дополнительных функций по сравнению с FirePath- Пожалуйста, выполните следующие действия : 1) Откройте панель devtools. 2) щелкните правой кнопкой мыши в любом месте на странице. 3) Нажмите Кнопку «Проверить». 4)в правой части вкладки элементы нажмите на вкладку ChroPath. Здесь вы получите XPath / CSS, и вы также можете редактировать и оценивать его.

ссылка для скачивания аддон-

Я проверяю XPath и CSS селекторы с помощью расширение Natu WebSync для Chrome.

Это может быть очень полезно для тех, кому нужно писать и проверять сложные селекторы.

Источник

Краткое руководство по XPath

XPath – это невероятно гибкий, мощный, и вместе с тем сравнительно простой инструмент для навигации по документам XML. Предлагаю перевод руководства по XPath, сделанный на основе руководства консорциума W3C.

Краткий справочник по XPath

XPath используется для навигации по элементам и атрибутам XML-документа. XPath является одним из основных элементов в стандарте XSLT консорциума W3C.

1 Что такое XPath

Выражения XPath

XPath использует выражения пути для выбора отдельных узлов или набора узлов в документе XML. Эти выражения очень похожи на выражения, которые вы видите, когда работаете с традиционной файловой системой компьютера.

Стандартные функции XPath

XPath включает в себя более 100 встроенных функций. Есть функции для строковых и числовых значений, даты и времени, сравнения узлов и манипулирования QName, управления последовательностями, булевых значений, и многое другое.

XPath используется в XSLT

XPath является одним из основных элементов в стандарте XSLT. Без знания XPath вы не будете иметь возможность создавать XSLT-документы.

XPath является рекомендацией консорциума W3C

XPath стал рекомендацией W3C 16 ноября 1999 года. XPath был разработан для использования в XSLT, XPointer и другом программном обеспечении для разбора (парсинга) документов XML.

2 Терминология XPath

В XPath существует семь видов узлов: элемент, атрибут, текст, пространство имён, инструкции обработки, комментарии и узлы документа. XML-документы обрабатываются в виде деревьев узлов. Верхний элемент дерева называется корневым элементом. Посмотрите на следующий документ XML:

Пример узлов в документе XML выше:

Атомарные значения

Атомарные значения являются узлами, не имеющие детей или родителей. Пример атомарных значений:

Элементы

Элементы – это атомарные значения или узлы.

3 Отношенияузлов

Родитель

Каждый элемент и атрибут имеет одного родителя. В следующем примере элемент «книга» (book) является родителем элементов «название» (title), «автор» (author), «год» (year) и «цена» (price):

Потомки

Узлы элементов могут иметь ноль, один или более потомков. В следующем примере элементы «название», «автор», «год» и «цена» – они все потомки элемента книга:

Элементы одного уровня

Это узлы, которые имеют одного и того же родителя. В следующем примере элементы «название», «автор», «год» и «цена» все являются элементами одного уровня:

Предки

Родитель узла, родитель родителя узла и т.д. В следующем примере предки элемента «название» (title) – это элементы «книга» (book) и «книжный магазин» (bookstore):

Потомки

Дети узла, дети детей узла и т.д. В следующем примере потомками элемента «книжный магазин» являются элементы «книга», «название», «автор», «год» и «цена»:

4 Синтаксис XPath

XPath использует выражения пути для выбора узлов или множества узлов в документе XML. Узел можно выбрать, следуя пути или по шагам. Мы будем использовать следующий XML-документ в приведённых ниже примерах.

Выбор узлов

С помощью выражений XPath для выбора узлов в документе XML можно выбрать узел, следуя пути или шагам. Самые полезные выражения пути перечислены ниже:

В приведенной ниже таблице перечислены некоторые пути выражения и результат выполнения выражения:

Предикаты

Предикаты используются для поиска специфического узла или узла, который содержит специфическое значение. Предикаты всегда обрамляются квадратными скобками. В приведённой ниже таблице перечислены некоторые выражения пути с предикатами, и результат выражения:

Выбор неизвестных узлов

Специальные символы XPath могут использоваться для выбора неизвестных XML узлов.

В приведённой ниже таблице мы перечислили некоторые пути выражения и результаты выражений:

Выбор нескольких путей

С помощью оператора | в выражениях XPath вы можете выбрать несколько путей. В таблице ниже перечислены несколько выражений путей и результаты их применения:

5 ОсиXPath

Мы будем использовать следующий XML документ далее в примере.

Оси определяют наборы узлов, относительно текущего узла.

6 Выраженияпути выборки

Путь определения местоположения может быть абсолютным или относительным. Абсолютный путь расположения начинается с косой черты (/), а относительный – нет. В обоих случаях путь выборки состоит из одного или нескольких шагов, разделённых косой чертой:

Абсолютный путь расположения:

Относительный путь выборки расположения:

Каждый шаг оценивается по узлам в текущем наборе узлов. Шаг состоит из:

Синтаксис шага выборки такой:

7 Операторы XPath

Выражения XPath возвращают как набор узлов, строки, булевы или числовые значения. Ниже представлен список операторов, используемых в выражениях XPath:

Давайте рассмотрим базовый синтаксис XPath на нескольких примерах. Мы будем использовать следующий XML документ «books.xml» в примерах ниже:

Загрузка XML документа

Используйте XMLHttpRequest для загрузки XML документов, который поддерживается большинством современных браузеров:

Код для устаревших браузеров Microsoft (IE 5 и 6):

Выбор узлов

К сожалению, работа с XPath в Internet Explorer и в других браузерах может отличаться. В наших примерах мы будем использовать код, который должен работать в большинстве браузеров. Internet Explorer использует метод «selectNodes()» для выбора узлов XML документа:

Firefox, Chrome, Opera и Safari используют метод evaluate() для выбора узлов из XML документа:

Выбор всех заглавий

Следующий пример выбирает все узлы заголовков:

Выбор заголовка первой книги

Следующий пример выбирает заголовок первого узла «книга» после элемента «книжный магазин» (bookstore):

Выбор всех цен

Следующий пример выбирает текст всех узлов «цена» (price):

Выбирает узлы с ценой >35

Следующий пример выбирает все узлы с ценами выше 35:

Выбор узлов заголовков с ценой >35

Следующий пример выбирает все узлы заголовков с ценой выше 35:

Источник

Примеры xpath-запросов к html

Создание запроса к узлам веб-страниц

Предлагаю вашему вниманию небольшую лабораторную работу, в ходе которой я продемонстрирую создание xpath запросов к веб-странице. Вы сможете повторить приведенные мной запросы и, самое главное, попробуете выполнить свои. Я надеюсь, что благодаря этому статья будет одинаково интересна новичкам и программистам знакомым с xpath по xml.

Для лабораторной нам понадобятся:
— веб-страница xhtml;
— браузер Mozilla Firefox с дополнениями;
— firebug;
— firePath;
(вы можете использовать любой другой браузер с визуальной поддержкой xpath)
— немного времени.

В качестве веб-страницы для проведения эксперимента предлагаю главную страницу сайта консорциума всемирной паутины (‘http://w3.org’). Именно эта организация разрабатывает языки xquery(xpath), спецификацию xhtml и многие другие стандарты интернета.

Задача

Получить из xhtml-кода главной страницы w3.org информацию о конференциях консорциума при помощи запросов xpath.
Приступим к написанию xpath запросов.

Первый Xpath запрос

Открываем закладку Firepath в FireBug, выделяем с селектором элемент для анализа, нажимаем: Firepath создал xpath запрос к выбранному элементу.

Если вы выделили заголовок первого события, то запрос будет таким:

После удаления лишних индексов запрос станет соответствовать всем элементам типа «заголовок».

Firepath подсвечивает элементы, которые соответствуют запросу. Вы можете в реальном времени увидеть, какие узлы документа соответствуют запросу.

Идем дальше. Создаем запросы для поиска мест проведения конференций и их спонсоров либо с помощью селектора, либо модифицировав первый запрос.

Запрос для получения информации о местах проведения конференций:
.//*[@id=’w3c_home_upcoming_events’]/ul/li/div/p[2]

Так мы получим список спонсоров:
.//*[@id=’w3c_home_upcoming_events’]/ul/li/div/p[3]

Синтаксис xpath

Давайте вернемся к созданным запросам и разберемся в том, как они устроены.
Рассмотрим подробно первый запрос

В этом запросе я выделил три части для демонстрации возможностей xpath. (Деление на части уловное)

Первая часть
.// — рекурсивный спуск на ноль или более уровней иерархии от текущего контекста. В нашем случае текущий контекст это корень документа

Вторая часть
* — любой элемент,
[@id=’w3c_home_upcoming_events’] – предикат, на основе которого осуществляем поиск узла, имеющего атрибут id равным ‘w3c_home_upcoming_events’. Идентификаторы элементов XHTML должны быть уникальны. Поэтому запрос «любой элемент с конкретным ID» должен вернуть единственный искомый нами узел.

Мы можем заменить * на точное имя узла div в этом запросе
div[@id=’w3c_home_upcoming_events’]

Таким образом, мы спускаемся по дереву документа до нужного нам узла div[@id=’w3c_home_upcoming_events’]. Нас абсолютно не волнует, из каких узлов состоит DOM-дерево и сколько уровней иерархии осталось выше.

Третья часть
/ul/li/div/p/a –xpath-путь до конкретного элемента. Путь состоит из шагов адресации и условия проверки узлов (ul, li и т.д.). Шаги разделяются символом » /»(косая черта).

Коллекции xpath

Не всегда удается получить доступ к интересующему узлу с помощью предиката или шагов адресации. Очень часто на одном уровне иерархии находится насколько узлов одинакового типа и необходимо выбрать «только первые» или «только вторые» узлы. Для таких случаев предусмотрены коллекции.

Коллекции xpath позволяют получить доступ к элементу по его индексу. Индексы соответствуют тому порядку, в котором элементы были представлены в исходном документе. Порядковый номер в коллекциях отсчитывается от единицы.

Исходя из того, что «место проведения» всегда второй параграф после «названия конференции», получаем следующий запрос:
.//*[@id=’w3c_home_upcoming_events’]/ul/li/div/p[2]
Где p[2] – второй элемент в наборе для каждого узла списка /ul/li/div.

Аналогично список спонсоров мы можем получить запросом:
.//*[@id=’w3c_home_upcoming_events’]/ul/li/div/p[3]

Некоторые функции хpath

В хpath существует множество функций для работы с элементами внутри коллекции. Я приведу только некоторые из них.

last():
Возвращает последний элемент коллекции.
Запрос ul/li/div/p[last()] — возвратит последние параграфы для каждого узла списка «ul».
Функция first() не предусмотрена. Для доступа к первому элементу используйте индекс «1».

text():
Возвращает тестовое содержание элемента.
.//a[text() = ‘Archive’] – получаем все ссылки с текстом «Archive».

position() и mod:
position() — возвращает позицию элемента в множестве.
mod — остаток от деления.

Комбинацией данных функций можем получить:
— не четные элементы ul/li[position() mod 2 = 1]
— четные элементы: ul/li[position() mod 2 = 0]

Самостоятельно

Попробуйте получить:
— четные URL ссылки из левого меню «Standards»;
— заголовки всех новостей, кроме первой с главной страницы w3c.org.

Xpath в PHP5

В заключение

На простом примере мы увидели возможности xpath для доступа к узлам веб-страниц.
Xpath является отраслевым стандартом для доступа к элементам xml и xhtml, xslt преобразований.
Вы можете применять его для парсинга любой html-страницы. В случае если исходный html-код содержит значительные ошибки в разметке пропустите его через tidy. Ошибки будут исправлены.

Старайтесь отказаться от регулярных выражений при парсинге веб-страниц в пользу xpath.
Это сделает ваш код проще, понятнее. Вы допустите меньше ошибок. Сократиться время отладки.

Источник

14) XPath в селене

В автоматизации Selenium, если элементы не найдены общими локаторами, такими как id, class, name и т. Д., XPath используется для поиска элемента на веб-странице.

В этом руководстве мы узнаем о xpath и различных выражениях XPath, чтобы найти сложные или динамические элементы, атрибуты которых динамически изменяются при обновлении или любых операциях.

В этом уроке вы узнаете

Что такое XPath?

Синтаксис для XPath:

XPath содержит путь к элементу, расположенному на веб-странице. Стандартный синтаксис для создания XPath есть.

Чтобы точно найти элемент на веб-страницах, существуют разные типы локаторов:

Типы X-path

Существует два типа XPath:

1) Абсолютный XPath

2) Относительный XPath

Абсолютный XPath:

Это прямой способ найти элемент, но недостатком абсолютного XPath является то, что если в пути к элементу вносятся какие-либо изменения, то XPath не работает.

Ключевой характеристикой XPath является то, что он начинается с одиночной косой черты (/), что означает, что вы можете выбрать элемент из корневого узла.

Ниже приведен пример абсолютного выражения xpath элемента, показанного на экране ниже.

Абсолютный xpath:

Относительный xpath:

Для относительного Xpath путь начинается с середины структуры HTML DOM. Он начинается с двойной косой черты (//), что означает, что он может искать элемент в любом месте на веб-странице.

Вы можете начать с середины структуры HTML DOM и не нужно писать длинный xpath.

Ниже приведен пример относительного выражения XPath того же элемента, показанного на экране ниже. Это общий формат, используемый для поиска элемента через относительный XPath.

Что такое оси XPath.

Оси XPath осуществляют поиск различных узлов в документе XML из текущего узла контекста. Оси XPath — это методы, используемые для поиска динамических элементов, которые в противном случае невозможны обычным методом XPath без идентификатора, имени класса, имени и т. Д.

Методы осей используются для поиска тех элементов, которые динамически изменяются при обновлении или любых других операциях. В Selenium Webdriver существует несколько методов осей, таких как дочерний, родительский, родительский, родственный, собственный, и т. Д.

Использование XPath Обработка сложных и динамических элементов в Selenium

1) Базовый XPath:

Выражение XPath выбирает узлы или список узлов на основе таких атрибутов, как ID, имя, имя класса и т. Д. Из документа XML, как показано ниже.

Вот ссылка для доступа к странице http://demo.guru99.com/v1/

Некоторые более простые выражения xpath:

2) Содержит ():

Contains () — это метод, используемый в выражении XPath. Он используется, когда значение любого атрибута изменяется динамически, например, информация для входа.

Функция содержит возможность найти элемент с частичным текстом, как показано в примере ниже.

В этом примере мы попытались идентифицировать элемент, просто используя частичное текстовое значение атрибута. В приведенном ниже выражении XPath вместо кнопки «Отправить» используется частичное значение «sub». Можно заметить, что элемент найден успешно.

Полное значение ‘Type’ равно ‘submit’, но используется только частичное значение ‘sub’.

Полное значение ‘name’ равно ‘btnLogin’, но используется только частичное значение ‘btn’.

В вышеприведенном выражении мы взяли «name» в качестве атрибута и «btn» в качестве частичного значения, как показано на скриншоте ниже. Это позволит найти 2 элемента (LOGIN & RESET), поскольку их атрибут name начинается с btn.

Аналогично, в приведенном ниже выражении мы взяли «id» как атрибут и «message» как частичное значение. При этом будут найдены 2 элемента («ИД пользователя не должен быть пустым» и «Пароль не должен быть пустым»), поскольку его атрибут «имя» начинается с «сообщения».

В приведенном ниже выражении мы взяли «текст» ссылки как атрибут, а «здесь» — как частичное значение, как показано на скриншоте ниже. Это найдет ссылку («здесь»), так как отображает текст «здесь».

3) Использование OR & AND:

В выражении OR используются два условия, должно ли быть выполнено 1-е условие ИЛИ 2-е условие. Это также применимо, если выполняется одно условие или, возможно, оба. Означает, что любое условие должно быть истинным, чтобы найти элемент.

Источник