Веб-збирання за допомогою Selenium: повний посібник

---

Хочете отримати дані з веб-сторінки?

Переходьте до Nanonet скрапер веб-сайту, Додайте URL-адресу та натисніть «Вилучити», щоб миттєво завантажити текст веб-сторінки як файл. Спробуйте безкоштовно зараз.‌

---

Що таке Selenium Web Scraping?

Веб-збирання — це процес вилучення даних із веб-сайтів. Це потужна техніка, яка революціонізує збір і аналіз даних. Завдяки величезній кількості онлайн-даних веб-скрейпінг став важливим інструментом для компаній і окремих осіб.

Selenium — це інструмент веб-розробки з відкритим кодом, який використовується для автоматизації функцій веб-перегляду. Він був розроблений у 2004 році та в основному використовується для автоматичного тестування веб-сайтів і програм у різних браузерах, але зараз він став популярним інструментом для веб-збирання. Selenium можна використовувати з кількома мовами програмування, включаючи Python, Java та C#. Він надає надійні API для взаємодії з веб-сторінками, включаючи навігацію, клацання, введення тексту та прокручування.

Веб-збирання Selenium стосується використання інструменту автоматизації браузера Selenium із Python для отримання даних із веб-сайтів. Selenium дозволяє розробникам програмно керувати веб-браузером, тобто вони можуть взаємодіяти з веб-сайтами так, ніби вони люди.

---

Навіщо використовувати Selenium і Python для веб-збирання?

Python є популярною мовою програмування для веб-скрапінгу, оскільки він має багато бібліотек і фреймворків, які спрощують вилучення даних із веб-сайтів.

Використання Python і Selenium для веб-скрейпінгу має кілька переваг перед іншими методами веб-скрапінгу:

• Динамічні веб-сайти: Динамічні веб-сторінки створюються за допомогою JavaScript або інших мов сценаріїв. Ці сторінки часто містять видимі елементи після того, як сторінка повністю завантажена або коли користувач взаємодіє з ними. Selenium може взаємодіяти з цими елементами, що робить його потужним інструментом для збирання даних із динамічних веб-сторінок.
• Взаємодія з користувачем: Selenium може імітувати взаємодію користувача, як-от клацання, надсилання форм і прокручування. Це дозволяє очищати веб-сайти, які потребують введення користувача, наприклад, форми входу.
• Налагодження: Selenium можна запускати в режимі налагодження, що дає змогу проходити процес збирання та бачити, що робить скребок на кожному кроці. Це корисно для усунення несправностей, коли щось йде не так.

---

Передумови для веб-збирання за допомогою Selenium:

У вашій системі встановлено Python 3.

Встановлена ​​бібліотека Selenium. Ви можете встановити його за допомогою pip за допомогою такої команди:

pip install Selenium

WebDriver встановлено.

WebDriver — це окремий виконуваний файл, який Selenium використовує для керування браузером. Ось посилання, які я знайшов, щоб завантажити WebDriver для найпопулярніших браузерів:

Крім того, і це найпростіший спосіб, ви також можете встановити WebDriver за допомогою менеджера пакунків, наприклад веб-менеджера драйверів. Це автоматично завантажить і встановить відповідний веб-драйвер для вас. Щоб встановити веб-драйвер-менеджер, ви можете скористатися такою командою:

pip install webdriver-manager

---

Витягніть повний текст із веб-сторінки за лічені секунди!

Переходьте до Nanonet скрапер веб-сайту, Додайте URL-адресу та натисніть «Вилучити», щоб миттєво завантажити текст веб-сторінки як файл. Спробуйте безкоштовно зараз.

‌

---

Покроковий посібник із веб-збирання Selenium

Крок 1: встановлення та імпорт

Перш ніж почати, ми переконалися, що встановили Selenium і відповідний драйвер. У цьому прикладі ми будемо використовувати драйвер Edge.

from selenium import webdriver
from Selenium.webdriver.common.keys import Keys
from Selenium.webdriver.common.by import By

Крок 2. Встановіть і отримайте доступ до WebDriver

Ми можемо створити новий екземпляр драйвера Edge, запустивши такий код:

driver = webdriver.Edge()

Крок 3. Доступ до веб-сайту через Python

Далі нам потрібно отримати доступ до веб-сайту пошукової системи. У цьому випадку ми будемо використовувати Bing.

driver.get("https://www.bing.com")

Крок 4. Знайдіть конкретну інформацію, яку ви збираєте

Ми хочемо отримати кількість результатів пошуку для певного імені. Ми можемо зробити це, знайшовши елемент HTML, який містить кількість результатів пошуку

results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")

Крок 5: Зробіть це разом

Тепер, коли у нас є всі частини, ми можемо об’єднати їх, щоб отримати результати пошуку для конкретного імені.

try:
search_box = driver.find_element(By.NAME, "q")
search_box.clear()
search_box.send_keys("John Doe") # enter your name in the search box
search_box.submit() # submit the search
results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")
for result in results:
text = result.text.split()[1] # extract the number of results
print(text)
# save it to a file
with open("results.txt", "w") as f:
f.write(text)
except Exception as e:
print(f"An error occurred: {e}")

Крок 6: Збережіть дані

Нарешті, ми можемо зберегти витягнуті дані в текстовому файлі.

з open(“results.txt”, “w”) як f:

f.write(text)

---

Використання проксі з Selenium Wire

Selenium Wire — це бібліотека, яка розширює функціональні можливості Selenium, дозволяючи вам перевіряти та змінювати HTTP-запити та відповіді. Наприклад, його також можна використовувати для легкого налаштування проксі-сервера для вашого Selenium WebDriver

Встановіть селеновий дріт

pip install selenium-wire

Налаштуйте проксі

from selenium import webdriver
from Selenium.webdriver.chrome.options import Options
from seleniumwire import webdriver as wiredriver
PROXY_HOST = 'your.proxy.host'
PROXY_PORT = 'your_proxy_port'
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://{}:{}'.format(PROXY_HOST, PROXY_PORT))
driver = wiredriver.Chrome(options=chrome_options)

Використовуйте Selenium Wire для перевірки та зміни запитів.

for request in driver.requests:
if request.response:
print(request.url, request.response.status_code, request.response.headers['Content-Type'])

У наведеному вище коді ми переглядаємо всі запити, зроблені WebDriver під час сеансу веб-збирання. Для кожного запиту ми перевіряємо, чи отримано відповідь, і друкуємо URL-адресу, код статусу та тип вмісту відповіді

Використання Selenium для вилучення всіх заголовків із веб-сторінки

Ось приклад коду Python, який використовує Selenium для очищення всіх заголовків веб-сторінки:

from selenium import webdriver
# Initialize the webdriver
driver = webdriver.Chrome()
# Navigate to the webpage
driver.get("https://www.example.com")
# Find all the title elements on the page
title_elements = driver.find_elements_by_tag_name("title")
# Extract the text from each title element
titles = [title.text for title in title_elements]
# Print the list of titles
print(titles)
# Close the webdriver
driver.quit()

У цьому прикладі ми спочатку імпортуємо модуль веб-драйвера з Selenium, а потім ініціалізуємо новий екземпляр веб-драйвера Chrome. Ми переходимо до веб-сторінки, яку хочемо отримати, а потім використовуємо метод find_elements_by_tag_name, щоб знайти всі елементи заголовка на сторінці.

Потім ми використовуємо розуміння списку, щоб витягти текст з кожного елемента заголовка та зберегти отриманий список заголовків у змінній під назвою titles. Нарешті, ми друкуємо список заголовків і закриваємо примірник веб-драйвера.

Зауважте, що для роботи цього коду у вашому середовищі Python потрібно встановити пакети веб-драйверів Selenium і Chrome. Ви можете встановити їх за допомогою pip, наприклад:

pip install selenium chromedriver-binary

Також не забудьте оновити URL-адресу в драйвері. отримати метод вказівки на веб-сторінку, яку ви хочете отримати.

Висновок

Підсумовуючи, веб-скрейпінг за допомогою Selenium є потужним інструментом для отримання даних із веб-сайтів. Це дозволяє вам автоматизувати процес збору даних і може заощадити ваш час і зусилля. Використовуючи Selenium, ви можете взаємодіяти з веб-сайтами так само, як користувач-людина, і витягувати потрібні дані більш ефективно.

Крім того, ви можете використовувати інструменти без коду, такі як Nanonets інструмент скребка веб-сайту щоб легко витягти всі текстові елементи з HTML. Використовувати його можна повністю безкоштовно.

---

Витягніть текст із будь-якої веб-сторінки одним клацанням миші. Переходьте до Nanonet скрапер веб-сайту, Додайте URL-адресу та натисніть «Вилучити», щоб миттєво завантажити текст веб-сторінки як файл. Спробуйте безкоштовно зараз.

‌

---

Поширені запитання:

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
• джерело: https://nanonets.com/blog/web-scraping-with-selenium/