Web Scraping cu seleniu: Ghidul complet

---

Doriți să extrageți date dintr-o pagină web?

Mergeți la Nanonets răzuitor site, Adăugați adresa URL și faceți clic pe „Scrape” și descărcați instantaneu textul paginii web ca fișier. Încercați-l gratuit acum.‌

---

Ce este Selenium Web Scraping?

Web scraping este procesul de extragere a datelor de pe site-uri web. Este o tehnică puternică care revoluționează colectarea și analiza datelor. Cu date vaste online, web scraping a devenit un instrument esențial pentru companii și persoane fizice.

Selenium este un instrument de dezvoltare web open-source folosit pentru a automatiza funcțiile de navigare pe web. A fost dezvoltat în 2004 și este folosit în principal pentru a testa automat site-uri web și aplicații în diferite browsere, dar acum a devenit un instrument popular pentru web scraping. Selenium poate fi folosit cu mai multe limbaje de programare, inclusiv Python, Java și C#. Oferă API-uri robuste pentru interacțiunea cu paginile web, inclusiv navigarea, clicurile, tastarea și derularea.

Selenium web scraping se referă la utilizarea instrumentului de automatizare a browserului Selenium cu Python pentru a extrage date de pe site-uri web. Selenium permite dezvoltatorilor să controleze programatic un browser web, ceea ce înseamnă că pot interacționa cu site-urile web ca și cum ar fi utilizatori umani.

---

De ce să folosiți Selenium și Python pentru web scraping?

Python este un limbaj de programare popular pentru web scraping, deoarece are multe biblioteci și cadre care facilitează extragerea datelor de pe site-uri web.

Utilizarea Python și Selenium pentru web scraping oferă mai multe avantaje față de alte tehnici de web scraping:

• Site-uri web dinamice: Paginile web dinamice sunt create folosind JavaScript sau alte limbaje de scripting. Aceste pagini conțin adesea elemente vizibile odată ce pagina este complet încărcată sau când utilizatorul interacționează cu ele. Seleniul poate interacționa cu aceste elemente, făcându-l un instrument puternic pentru extragerea datelor din pagini web dinamice.
• Interacțiunile utilizatorului: Selenium poate simula interacțiunile utilizatorului, cum ar fi clicurile, trimiterile de formulare și derularea. Acest lucru vă permite să răzuiți site-uri web care necesită intrarea utilizatorului, cum ar fi formularele de conectare.
• Depanare: Selenium poate fi rulat în modul de depanare, ceea ce vă permite să treceți prin procesul de scraping și să vedeți ce face scraperul la fiecare pas. Acest lucru este util pentru depanarea atunci când lucrurile merg prost.

---

Cerințe preliminare pentru web scraping cu seleniu:

Python 3 este instalat pe sistemul dumneavoastră.

Biblioteca Selenium instalată. Îl puteți instala folosind pip cu următoarea comandă:

pip install Selenium

WebDriver instalat.

WebDriver este un executabil separat pe care Selenium îl folosește pentru a controla browserul. Iată link-urile pe care le-am găsit pentru a descărca WebDriver pentru cele mai populare browsere:

Alternativ, și acesta este cel mai simplu mod, puteți instala și WebDriver folosind un manager de pachete, cum ar fi web driver-manager. Aceasta va descărca și instala automat WebDriver-ul potrivit pentru dvs. Pentru a instala web driver-manager, puteți utiliza următoarea comandă:

pip install webdriver-manager

---

Extrageți textul complet de pe pagina web în câteva secunde!

Mergeți la Nanonets răzuitor site, Adăugați adresa URL și faceți clic pe „Scrape” și descărcați instantaneu textul paginii web ca fișier. Încercați-l gratuit acum.

‌

---

Un ghid pas cu pas pentru răzuirea web cu seleniu

Pasul 1: Instalează și importă

Înainte de a începe, ne-am asigurat că am instalat Selenium și un driver adecvat. Vom folosi driverul Edge în acest exemplu.

from selenium import webdriver
from Selenium.webdriver.common.keys import Keys
from Selenium.webdriver.common.by import By

Pasul 2: Instalați și accesați WebDriver

Putem crea o nouă instanță a driverului Edge rulând următorul cod:

driver = webdriver.Edge()

Pasul 3: Accesați site-ul prin Python

În continuare, trebuie să accesăm site-ul web al motorului de căutare. În acest caz, vom folosi Bing.

driver.get("https://www.bing.com")

Pasul 4: Găsiți informații specifice pe care le eliminați

Dorim să extragem numărul de rezultate ale căutării pentru un anumit nume. Putem face acest lucru prin localizarea elementului HTML care conține numărul de rezultate ale căutării

results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")

Pasul 5: Fă-o împreună

Acum că avem toate piesele, le putem combina pentru a extrage rezultatele căutării pentru un anumit nume.

try:
search_box = driver.find_element(By.NAME, "q")
search_box.clear()
search_box.send_keys("John Doe") # enter your name in the search box
search_box.submit() # submit the search
results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")
for result in results:
text = result.text.split()[1] # extract the number of results
print(text)
# save it to a file
with open("results.txt", "w") as f:
f.write(text)
except Exception as e:
print(f"An error occurred: {e}")

Pasul 6: Stocați datele

În cele din urmă, putem stoca datele extrase într-un fișier text.

cu open(„results.txt”, „w”) ca f:

f.write(text)

---

Folosind un proxy cu Selenium Wire

Selenium Wire este o bibliotecă care extinde funcționalitatea Selenium, permițându-vă să inspectați și să modificați cererile și răspunsurile HTTP. De exemplu, poate fi folosit și pentru a configura cu ușurință un proxy pentru Selenium WebDriver

Instalați firul de seleniu

pip install selenium-wire

Configurați proxy-ul

from selenium import webdriver
from Selenium.webdriver.chrome.options import Options
from seleniumwire import webdriver as wiredriver
PROXY_HOST = 'your.proxy.host'
PROXY_PORT = 'your_proxy_port'
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://{}:{}'.format(PROXY_HOST, PROXY_PORT))
driver = wiredriver.Chrome(options=chrome_options)

Utilizați Selenium Wire pentru a inspecta și modifica cererile.

for request in driver.requests:
if request.response:
print(request.url, request.response.status_code, request.response.headers['Content-Type'])

În codul de mai sus, trecem peste toate solicitările făcute de WebDriver în timpul sesiunii de web scraping. Pentru fiecare solicitare, verificăm dacă a fost primit un răspuns și tipărim adresa URL, codul de stare și tipul de conținut al răspunsului

Folosind Selenium pentru a extrage toate titlurile dintr-o pagină web

Iată un exemplu de cod Python care folosește seleniu pentru a răzui toate titlurile unei pagini web:

from selenium import webdriver
# Initialize the webdriver
driver = webdriver.Chrome()
# Navigate to the webpage
driver.get("https://www.example.com")
# Find all the title elements on the page
title_elements = driver.find_elements_by_tag_name("title")
# Extract the text from each title element
titles = [title.text for title in title_elements]
# Print the list of titles
print(titles)
# Close the webdriver
driver.quit()

În acest exemplu, importăm mai întâi modulul de driver web din Selenium, apoi inițializam o nouă instanță de driver web Chrome. Navigam la pagina web pe care vrem să o răzuim și apoi folosim metoda find_elements_by_tag_name pentru a găsi toate elementele de titlu de pe pagină.

Folosim apoi o listă de înțelegere pentru a extrage textul din fiecare element de titlu și pentru a stoca lista rezultată de titluri într-o variabilă numită titluri. În cele din urmă, imprimăm lista de titluri și închidem instanța driverului web.

Rețineți că va trebui să aveți pachetele de driver web Selenium și Chrome instalate în mediul dvs. Python pentru ca acest cod să funcționeze. Le puteți instala folosind pip, astfel:

pip install selenium chromedriver-binary

De asemenea, asigurați-vă că actualizați adresa URL în driver. obțineți o metodă pentru a indica pagina web pe care doriți să o răzuiți.

Concluzie

În concluzie, web scraping cu seleniu este un instrument puternic pentru extragerea datelor de pe site-uri web. Vă permite să automatizați procesul de colectare a datelor și vă poate economisi timp și efort semnificativ. Folosind Selenium, puteți interacționa cu site-urile web la fel ca un utilizator uman și puteți extrage mai eficient datele de care aveți nevoie.

Alternativ, puteți utiliza instrumente fără cod precum Nanonets instrument de răzuire a site-ului web pentru a extrage cu ușurință toate elementele text din HTML. Este gratuit de utilizat complet.

---

Extrageți text din orice pagină web cu un singur clic. Mergeți la Nanonets răzuitor site, Adăugați adresa URL și faceți clic pe „Scrape” și descărcați instantaneu textul paginii web ca fișier. Încercați-l gratuit acum.

‌

---

Întrebări frecvente:

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Sursa: https://nanonets.com/blog/web-scraping-with-selenium/