Парсинг данных с веб страницы используя Selenium Webdriver

Парсинг данных с веб страницы используя Selenium Webdriver

Опубликовать в Google Plus
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Одноклассники
Опубликовать в Яндекс

В этой статье приводится реальный пример, как с помощью Selenium WebDriver можно парсить разные данные с веб-страницы и записывать в csv файл.

Для написания использовалась Java. Программа парсит названия книг и их авторов с сайта Amazon.

Код тянет данные только на одной странице, но можно использовать еще один цикл for(), для навигации по всем страницам.

Как настроить проект, например в Eclipse, и добавить библиотеки вебдрайвера можно посмотреть в этой статье.

После выполнения скрипта в корне проекта можно найти файл “books.csv”:

parsing

Связанные статьи