目录

前言

一、Selenium是什么

二、Python安装Selenium

1、安装Selenium第三方库

2、下载浏览器驱动

3、使用Python来打开浏览器

三、Selenium的初始化

四、Selenium获取网页元素

4.1、获取元素的实用方法

1、模糊匹配获取元素 & 联合多个样式

2、使用拉姆达表达式

3、加上睡眠时间，增加容错

4、合理利用树形结构

4.2、获取网页元素失败怎么办？

1、确保4.1的方法都使用正确！！

2、检查我们的代码，获取的那个代码，是否有问题

3、iframe的问题

4、网页跳转的问题

五、Selenium点击元素的方法

在 Selenium 中触发点击事件（最常用的三种方法）

1、使用 click() 方法：

2、使用 JavaScript 执行点击事件：

3、使用 ActionChains 类：

另外四种（不常用）

4、使用 send_keys(Keys.RETURN) 模拟回车键：

5、使用 submit() 方法提交表单：

6、使用 JavaScript 修改元素属性：

7、使用 Robot 类模拟物理点击：

六、Selenium+browsermob-proxy获取网络请求

1. 下载browsermob-proxy.bat

 2.安装python模块browsermob-proxy

3、编写代码

---

前言

在实习的时候，需要做一些爬虫，所以就接触到了Selenium

再开始就使用调用接口，所以需要去逆向找RSA加密算法的key，或者其他加密的东西

后面发现，不管是黑猫还是白猫，抓到老鼠就是好猫

逆向网页这玩意，我是真不懂，又没有兴趣去研究

所以还是大道至简，直接用Selenium抓取网页数据吧，简单方便！

一、Selenium是什么

Selenium是一个用于自动化web应用程序测试的工具。它提供了一组工具和库，可以用多种编程语言（如Java、Python、C#等）编写测试脚本，模拟用户在浏览器中的行为，如点击链接、填写表单、提交数据等。Selenium可以在各种浏览器上运行，包括Chrome、Firefox、Safari等，它还可以与其他测试框架和工具集成，帮助开发人员和测试人员自动化执行各种测试任务，提高测试效率和质量。

---

官网：

SeleniumSelenium automates browsers. That's it!

https://www.selenium.dev/ Selenium是支持多种语言的

这里只说关于Python的

二、Python安装Selenium

1、安装Selenium第三方库

我习惯用4.6低版本的

<code># 换源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装我这个版本

pip install selenium==4.6.0

# 安装默认最新版本

pip install selenium

下载Selenium后，我们需要他来打开浏览器，

但是Selenium需要有浏览器驱动，才可以打开浏览器

2、下载浏览器驱动

下面是Selenium目前支持的浏览器

这里只介绍如何下载谷歌浏览器的驱动，因为我只用过谷歌浏览器的

先确定自己的谷歌浏览器的版本

打开谷歌浏览器，输入地址：

<code>chrome://settings/help

可以查看自己的版本：

选择对应版本号的驱动版本

下载地址：

https://chromedriver.storage.googleapis.com/index.html

这里记录下最新版本谷歌驱动器下载地址：

https://googlechromelabs.github.io/chrome-for-testing/ 

我这里打包上传了几个版本的驱动，有需要的，自取：

2024-5-最近几个版本的谷歌浏览器驱动.zip - 蓝奏云文件大小：46.9 M|

https://wwm.lanzout.com/iNYDd20cs3ef

3、使用Python来打开浏览器

一般情况下，一些博主推荐存放在python的安装路径

那个只能说方便了我们自己使用，可以快速跑代码demo

但是，当我们需要项目打包，在其他电脑上运行的时候，浏览器驱动放哪里？

这就是一个问题！

所以我们需要实现设置好驱动的路径

我就是直接放在D盘了

运行代码demo

<code>from selenium import webdriver

# 设置Chrome浏览器驱动程序的路径

chrome_driver_path = "D:\\chromedriver.exe"

# 初始化Chrome浏览器

browser = webdriver.Chrome(executable_path=chrome_driver_path)

# 打开百度网页

browser.get("https://www.baidu.com")

# 这里可以编写其他与页面交互的代码

# 关闭浏览器

browser.quit()

当我们看见百度网页后，浏览器就会关闭，这样就说明我们设置完成了

三、Selenium的初始化

当我们创建浏览器驱动对象的时候，他会创建一个新的干净的浏览器，来供我们使用

from selenium import webdriver

# 设置Chrome浏览器驱动程序的路径

chrome_driver_path = "D:\\chromedriver.exe"

# 初始化Chrome浏览器

browser = webdriver.Chrome(executable_path=chrome_driver_path)

所以，我们在浏览器上设置的东西，也可以通过代码实现设置好

比如：

浏览器下载文件后，下载的地址设置浏览器是否加载图片浏览器是否禁用JS浏览器是否使用隐私模式浏览器是否使用缓存

等等...

因此，我们可以实现封装一个类，来实现浏览器的初始化

我写的一个简单类，可以通过json文件来修改参数

比如：

获取驱动的路径（在打包后，我们的驱动也需要在生产环境中，让程序可以找到，这时候我们灵活修改）

是否加载图片

是否使用缓存

等等

下面的代码，只适用4.8以下低版本的哟~

# -*- coding: utf-8 -*-

# @Author : pan

# @Description : 获取浏览器驱动模块

# @Date : 2024年5月25日17:53:17

'''

# # 无界面化.

# chrome_opt.add_argument('--headless')

# # 配合上面的无界面化.

# chrome_opt.add_argument('--disable-gpu')

# 设置窗口大小, 窗口大小会有影响.

# chrome_opt.add_argument('--window-size=1366,768')

# 不加载图片, 提升速度

# chrome_opt.add_argument('--blink-settings=imagesEnabled=false')

# # 使用沙盒模式运行

# chrome_opt.add_argument("--no-sandbox")

# 远程操控

# chromedriver = webdriver.Remote(_chromedriverUrl, options=chrome_opt)

# 自动接受警告和对话框

# chrome_opt.add_argument('--auto-open-devtools-for-tabs')

# 忽略SSL错误：对于测试环境中自签名证书的站点。

chrome_opt.add_argument('--ignore-certificate-errors')

# chromedriver.set_page_load_timeout(30) # 设置页面加载超时时间

# chromedriver.execute_cdp_cmd("Page.setCacheDisabled", {"cacheDisabled": True}) # 禁用缓存

# 自定义Chrome的数据存储目录，用于持久化Cookies、存储等。

# chrome_opt.add_experimental_option('prefs', {'profile.default_content_settings.popups': 0,

# 'download.default_directory': '/path/to/download'})

# # 创建一个临时目录来存储浏览器会话的数据

# user_data_dir = "/path/to/temp/dir" # 替换为你希望存储临时数据的路径

# if os.path.exists(user_data_dir):

# shutil.rmtree(user_data_dir) # 如果目录已存在，则删除它

# os.makedirs(user_data_dir) # 创建新的临时目录

#

# chrome_opt.add_argument(f"user-data-dir={user_data_dir}")

# 设置代理

# chrome_opt.add_argument('--proxy-server=http://ip:port')

# chrome_opt.add_argument('--proxy-server=http://127.0.0.1:8888')

# 启动无痕模式

# chrome_opt.add_argument('--incognito')

# 禁用扩展

# chrome_opt.add_argument('--disable-extensions')

# 禁用JS

# chrome_opt.add_argument('--disable-javascript')

# 用户代理设置：模拟不同的浏览器或设备访问。

# chrome_opt.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')

'''

import time

import json

import os

from dataclasses import dataclass, asdict

from selenium import webdriver

@dataclass

class WebDriveConf:

"""

浏览器驱动配置

"""

chromedriver_url: str = 'D:\\chromedriver.exe' # 浏览器驱动路径

user_data_dir: str = 'D:\\webDriverTempDir' # 存储临时数据的路径

is_use_cache: int = 0 # 是否使用缓存

is_load_page: int = 1 # 是否加载页面

is_load_img: int = 0 # 是否加载图片

is_ignore_certificate: int = 1 # 是否忽略证书

is_incognito: int = 1 # 是否启动无痕模式

def to_dict(self) -> dict:

"""

返回配置信息的 JSON 格式表示

Returns: dict: 配置信息的 JSON 格式表示

"""

return asdict(self)

def read_json_config(self, file_path: str) -> dict:

"""

从 JSON 文件中读取配置信息并返回字典

Args: file_path (str): JSON 文件路径

Returns: dict: 包含配置信息的字典

"""

# 检查文件是否存在

if not os.path.exists(file_path):

# 如果文件不存在，则创建一个包含默认配置信息的 JSON 文件

with open(file_path, "w") as file:

json.dump(self.to_dict(), file, indent=4)

# 读取配置文件

with open(file_path, "r") as file:

config_dict = json.load(file)

return config_dict

def write_json_config(self, config_dict: dict, file_path: str):

"""

将配置信息写入 JSON 文件

Args: config_dict (dict): 包含配置信息的字典

file_path (str): JSON 文件路径

"""

with open(file_path, "w") as file:

json.dump(config_dict, file, indent=4)

class ChromeWebDriver:

def __init__(self, conf: WebDriveConf):

self.conf = conf

self.chrome_opt = webdriver.ChromeOptions()

self.chrome_opt.add_argument('--user-data-dir=' + self.conf.user_data_dir)

# 判断是否使用缓存 （如果不使用缓存，则删除缓存文件）

if not self.conf.is_use_cache:

if os.path.exists(self.conf.user_data_dir):

# 删除这个文件夹

import shutil

shutil.rmtree(self.conf.user_data_dir)

# 判断是否有文件夹

if not os.path.exists(self.conf.user_data_dir):

os.makedirs(self.conf.user_data_dir)

# 无界面化

if not self.conf.is_load_page:

self.chrome_opt.add_argument('--headless')code>

# 是否加载图片

if not self.conf.is_load_img:

self.chrome_opt.add_argument('--blink-settings=imagesEnabled=false')

# 是否忽略证书

if self.conf.is_ignore_certificate:

self.chrome_opt.add_argument('--ignore-certificate-errors')

# 启动无痕模式

if self.conf.is_incognito:

self.chrome_opt.add_argument('--incognito')

# 创建 Chrome WebDriver 实例

self.chromedriver = webdriver.Chrome(executable_path=self.conf.chromedriver_url, options=self.chrome_opt)

if __name__ == '__main__':

# 创建 WebDriveConf 实例并解包配置信息

web_driver_conf = WebDriveConf(**WebDriveConf().read_json_config("web_driver_conf.json"))

# 创建 ChromeWebDriver 实例

chrome_web_driver = ChromeWebDriver(web_driver_conf)

# 打开网页

chrome_web_driver.chromedriver.get("https://www.bilibili.com/?spm_id_from=333.788.0.0")

time.sleep(10)

chrome_web_driver.chromedriver.quit()

4.1、获取元素的实用方法

打开网页后，我们就需要和里面的元素进行交互，所以我们要获取

1、模糊匹配获取元素 & 联合多个样式

<code>main_line_list = chromedriver.find_elements(By.XPATH,

f"//span[@class='fancytree-title' and contains(@title, '干线')]")code>

这里既筛选了class中的内容，又筛选了这个span标签里面的文本信息

其实，一般情况下，我们可以直接模糊匹配内容就足够了！

也就是直接使contains！！！所以这就是为什么建议使用xpath了