Quét web với Selenium: Hướng dẫn đầy đủ

---

Tìm cách trích xuất dữ liệu từ một trang web?

Chuyển sang Nanonet trang web cạp, Thêm URL và nhấp vào “Scrape” và tải xuống văn bản trang web dưới dạng tệp ngay lập tức. Hãy thử nó cho miễn phí.‌

---

Selenium Web Cạo là gì?

Quét web là quá trình trích xuất dữ liệu từ các trang web. Đó là một kỹ thuật mạnh mẽ cách mạng hóa việc thu thập và phân tích dữ liệu. Với lượng dữ liệu trực tuyến khổng lồ, việc quét web đã trở thành một công cụ thiết yếu cho các doanh nghiệp và cá nhân.

Selenium là một công cụ phát triển web nguồn mở được sử dụng để tự động hóa các chức năng duyệt web. Nó được phát triển vào năm 2004 và chủ yếu được sử dụng để tự động kiểm tra các trang web và ứng dụng trên nhiều trình duyệt khác nhau, nhưng giờ đây nó đã trở thành một công cụ phổ biến để quét web. Selenium có thể được sử dụng với nhiều ngôn ngữ lập trình, bao gồm Python, Java và C#. Nó cung cấp các API mạnh mẽ để tương tác với trang web, bao gồm điều hướng, nhấp, nhập và cuộn.

Quét web Selenium đề cập đến việc sử dụng công cụ tự động hóa trình duyệt Selenium với Python để trích xuất dữ liệu từ các trang web. Selenium cho phép các nhà phát triển điều khiển trình duyệt web theo chương trình, nghĩa là họ có thể tương tác với các trang web như thể họ là người dùng.

---

Tại sao nên sử dụng Selenium và Python để quét web?

Python là ngôn ngữ lập trình phổ biến để quét web vì nó có nhiều thư viện và khung giúp dễ dàng trích xuất dữ liệu từ các trang web.

Sử dụng Python và Selenium để quét web mang lại một số lợi thế so với các kỹ thuật quét web khác:

• Trang web động: Các trang web động được tạo bằng JavaScript hoặc các ngôn ngữ kịch bản khác. Các trang này thường chứa các thành phần hiển thị sau khi trang được tải đầy đủ hoặc khi người dùng tương tác với chúng. Selenium có thể tương tác với các phần tử này, làm cho nó trở thành một công cụ mạnh mẽ để thu thập dữ liệu từ các trang web động.
• Tương tác của người dùng: Selenium có thể mô phỏng các tương tác của người dùng như nhấp chuột, gửi biểu mẫu và cuộn. Điều này cho phép bạn loại bỏ các trang web yêu cầu đầu vào của người dùng, chẳng hạn như biểu mẫu đăng nhập.
• Gỡ lỗi: Selenium có thể được chạy trong chế độ gỡ lỗi, cho phép bạn thực hiện từng bước trong quy trình cạo và xem công cụ cạo đang làm gì ở mỗi bước. Điều này rất hữu ích để khắc phục sự cố khi xảy ra sự cố.

---

Điều kiện tiên quyết để quét web với Selenium:

Python 3 được cài đặt trên hệ thống của bạn.

Đã cài đặt thư viện Selenium. Bạn có thể cài đặt nó bằng pip bằng lệnh sau:

pip install Selenium

Đã cài đặt WebDriver.

WebDriver là một tệp thực thi riêng biệt mà Selenium sử dụng để kiểm soát trình duyệt. Đây là các liên kết tôi tìm thấy để tải xuống WebDriver cho các trình duyệt phổ biến nhất:

Ngoài ra, và đây là cách dễ nhất, bạn cũng có thể cài đặt WebDriver bằng trình quản lý gói như trình quản lý trình điều khiển web. Thao tác này sẽ tự động tải xuống và cài đặt WebDriver thích hợp cho bạn. Để cài đặt trình quản lý trình điều khiển web, bạn có thể sử dụng lệnh sau:

pip install webdriver-manager

---

Trích xuất toàn bộ văn bản từ trang web trong vài giây!

Chuyển sang Nanonet trang web cạp, Thêm URL và nhấp vào “Scrape” và tải xuống văn bản trang web dưới dạng tệp ngay lập tức. Hãy thử nó cho miễn phí.

‌

---

Hướng dẫn từng bước để quét web Selenium

Bước 1: Cài đặt và nhập khẩu

Trước khi bắt đầu, chúng tôi đảm bảo rằng chúng tôi đã cài đặt Selenium và trình điều khiển thích hợp. Chúng tôi sẽ sử dụng trình điều khiển Edge trong ví dụ này.

from selenium import webdriver
from Selenium.webdriver.common.keys import Keys
from Selenium.webdriver.common.by import By

Bước 2: Cài đặt và truy cập WebDriver

Chúng ta có thể tạo một phiên bản mới của trình điều khiển Edge bằng cách chạy đoạn mã sau:

driver = webdriver.Edge()

Bước 3: Truy cập trang web qua Python

Tiếp theo, chúng ta cần truy cập trang web của công cụ tìm kiếm. Trong trường hợp này, chúng tôi sẽ sử dụng Bing.

driver.get("https://www.bing.com")

Bước 4: Xác định vị trí thông tin cụ thể mà bạn đang thu thập

Chúng tôi muốn trích xuất số lượng kết quả tìm kiếm cho một tên cụ thể. Chúng ta có thể làm điều này bằng cách định vị phần tử HTML chứa số lượng kết quả tìm kiếm

results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")

Bước 5: Làm cùng nhau

Bây giờ chúng ta đã có tất cả các phần, chúng ta có thể kết hợp chúng để trích xuất kết quả tìm kiếm cho một tên cụ thể.

try:
search_box = driver.find_element(By.NAME, "q")
search_box.clear()
search_box.send_keys("John Doe") # enter your name in the search box
search_box.submit() # submit the search
results = driver.find_elements(By.XPATH, "//*[@id='b_tween']/span")
for result in results:
text = result.text.split()[1] # extract the number of results
print(text)
# save it to a file
with open("results.txt", "w") as f:
f.write(text)
except Exception as e:
print(f"An error occurred: {e}")

Bước 6: Lưu trữ dữ liệu

Cuối cùng, chúng ta có thể lưu trữ dữ liệu được trích xuất trong một tệp văn bản.

với open(“results.txt”, “w”) là f:

f.write(text)

---

Sử dụng proxy với Selenium Wire

Selenium Wire là một thư viện mở rộng chức năng của Selenium bằng cách cho phép bạn kiểm tra và sửa đổi các yêu cầu và phản hồi HTTP. Ví dụ: Nó cũng có thể được sử dụng để định cấu hình proxy cho Selenium WebDriver của bạn một cách dễ dàng

Cài đặt dây Selenium

pip install selenium-wire

Thiết lập proxy

from selenium import webdriver
from Selenium.webdriver.chrome.options import Options
from seleniumwire import webdriver as wiredriver
PROXY_HOST = 'your.proxy.host'
PROXY_PORT = 'your_proxy_port'
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://{}:{}'.format(PROXY_HOST, PROXY_PORT))
driver = wiredriver.Chrome(options=chrome_options)

Sử dụng Selenium Wire để kiểm tra và sửa đổi các yêu cầu.

for request in driver.requests:
if request.response:
print(request.url, request.response.status_code, request.response.headers['Content-Type'])

Trong đoạn mã trên, chúng tôi lặp lại tất cả các yêu cầu do WebDriver thực hiện trong phiên quét web. Đối với mỗi yêu cầu, chúng tôi kiểm tra xem có nhận được phản hồi hay không và in URL, mã trạng thái và loại nội dung của phản hồi

Sử dụng Selenium để trích xuất tất cả các tiêu đề từ một trang web

Đây là một mã Python mẫu sử dụng Selenium để cạo tất cả các tiêu đề của trang web:

from selenium import webdriver
# Initialize the webdriver
driver = webdriver.Chrome()
# Navigate to the webpage
driver.get("https://www.example.com")
# Find all the title elements on the page
title_elements = driver.find_elements_by_tag_name("title")
# Extract the text from each title element
titles = [title.text for title in title_elements]
# Print the list of titles
print(titles)
# Close the webdriver
driver.quit()

Trong ví dụ này, trước tiên chúng tôi nhập mô-đun trình điều khiển web từ Selenium, sau đó khởi chạy phiên bản trình điều khiển web Chrome mới. Chúng tôi điều hướng đến trang web mà chúng tôi muốn cạo, sau đó sử dụng phương pháp find_elements_by_tag_name để tìm tất cả các thành phần tiêu đề trên trang.

Sau đó, chúng tôi sử dụng khả năng hiểu danh sách để trích xuất văn bản từ từng thành phần tiêu đề và lưu trữ danh sách tiêu đề kết quả trong một biến có tên là tiêu đề. Cuối cùng, chúng tôi in danh sách tiêu đề và đóng phiên bản trình điều khiển web.

Lưu ý rằng bạn cần cài đặt gói trình điều khiển web Selenium và Chrome trong môi trường Python để mã này hoạt động. Bạn có thể cài đặt chúng bằng pip, như vậy:

pip install selenium chromedriver-binary

Ngoài ra, hãy đảm bảo cập nhật URL trong trình điều khiển. lấy một phương thức để trỏ đến trang web bạn muốn cạo.

Kết luận

Tóm lại, quét web bằng Selenium là một công cụ mạnh mẽ để trích xuất dữ liệu từ các trang web. Nó cho phép bạn tự động hóa quá trình thu thập dữ liệu và có thể giúp bạn tiết kiệm đáng kể thời gian và công sức. Sử dụng Selenium, bạn có thể tương tác với các trang web giống như người dùng và trích xuất dữ liệu bạn cần hiệu quả hơn.

Ngoài ra, bạn có thể sử dụng các công cụ không có mã như Nanonets' trang web scraper công cụ để dễ dàng trích xuất tất cả các phần tử văn bản từ HTML. Nó hoàn toàn miễn phí để sử dụng.

---

Trích xuất văn bản từ bất kỳ trang web nào chỉ bằng một cú nhấp chuột. Chuyển sang Nanonet trang web cạp, Thêm URL và nhấp vào “Scrape” và tải xuống văn bản trang web dưới dạng tệp ngay lập tức. Hãy thử nó cho miễn phí.

‌

---

Hỏi đáp về:

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. Truy cập Tại đây.
• nguồn: https://nanonets.com/blog/web-scraping-with-selenium/