<code>

<!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-core -->

<!-- WebMagic是一个简单灵活的爬虫框架，其核心部分（webmagic-core）是一个精简的、模块化的爬虫实现。 -->

<dependency>

<groupId>us.codecraft</groupId>

<artifactId>webmagic-core</artifactId>

<version>0.9.0</version>

</dependency>

<!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-extension -->

<!-- WebMagic的扩展模块（webmagic-extension）为使用者提供了更方便的编写爬虫的工具，包括注解格式定义爬虫、JSON、分布式等支持。 -->

<dependency>

<groupId>us.codecraft</groupId>

<artifactId>webmagic-extension</artifactId>

<version>0.9.0</version>

</dependency>

<!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-selenium -->

<!-- WebMagic 是一个基于 Java 的开源网络爬虫框架，而 Selenium 是一个用于自动化 Web 浏览器的工具。 -->

<dependency>

<groupId>us.codecraft</groupId>

<artifactId>webmagic-selenium</artifactId>

<version>0.9.0</version>

</dependency>

以下是一个简单的 WebMagic 示例代码，演示了如何抓取百度首页上的热门搜索新闻：

1、自定义下载器

WebMagic-Selenium 是 WebMagic 爬虫框架的一个扩展，它结合了 WebMagic 的爬虫能力和 Selenium 的浏览器自动化功能。这种结合使得 WebMagic-Selenium 能够处理那些需要执行 JavaScript 或模拟用户交互才能获取完整信息的动态网页。

通过使用 WebMagic-Selenium，开发者可以利用 WebMagic 的简洁 API 来定义爬虫的抓取逻辑，同时使用 Selenium 来处理那些需要复杂交互的网页。例如，可以模拟用户的登录过程、处理弹出窗口、执行复杂的表单提交等操作。

WebMagic 默认使用了 Apache HttpClient 作为下载工具。

/**

* <h1>自定义下载器</h1>

* Downloader 负责从互联网上下载页面，以便后续处理。

* WebMagic 默认使用了Apache HttpClient作为下载工具。

* */

public class WNDownloader implements Downloader {

// 声明驱动

private RemoteWebDriver driver;

@Override

public Page download(Request request, Task task) {

// 第一个参数是使用哪种浏览器驱动，第二个参数是浏览器驱动的地址

System.setProperty("webdriver.chrome.driver",

"/Users/yaoshuaizhou/Downloads/chromedriver-mac-arm64/chromedriver");

// 创建浏览器参数对象

ChromeOptions chromeOptions = new ChromeOptions();

// 设置为 无界面浏览器 模式,若是不想看到浏览器打开，就可以配置此项

// chromeOptions.addArguments("--headless");

chromeOptions.addArguments("--window-size=1440,1080"); // 设置浏览器窗口打开大小

this.driver = new ChromeDriver(chromeOptions); // 创建驱动

driver.get(request.getUrl()); // 第一次打开url，跳转到登录页

try {

Thread.sleep(3000); // 等待打开浏览器

// 获取从process返回的site携带的cookies，填充后第二次打开url

Site site = task.getSite();

if (site.getCookies() != null) {

// for (Map.Entry cookieEntry : site.getCookies()

//

// .entrySet()) {

//

// Cookie cookie = new Cookie(cookieEntry.getKey(),

//

// cookieEntry.getValue());

//

// driver.manage().addCookie(cookie);

//

// }

// 添加对应domain的cookie后，第二次打开url

driver.get(request.getUrl());

}

Thread.sleep(2000);

// 需要滚动到页面的底部,获取完整的数据

driver.executeScript("window.scrollTo(0, document.body.scrollHeight - 1000)");

Thread.sleep(2000); // 等待滚动完成

// 获取页面，打包成Page对象，传给PageProcessor 实现类

Page page = createPage(request.getUrl(), driver.getPageSource());

driver.close(); // 看需要是否关闭浏览器

return page;

} catch (InterruptedException e) {

throw new RuntimeException(e);

}

}

@Override

public void setThread(int i) {

}

//构建page返回对象

private Page createPage(String url, String content) {

Page page = new Page();

page.setRawText(content);

page.setUrl(new PlainText(url));

page.setRequest(new Request(url));

page.setDownloadSuccess(true);

return page;

}

}

2、自定义页面解析器

/**

* <h1>自定义页面解析器</h1>

* PageProcessor 负责解析页面，抽取有用信息，以及发现新的链接。

* WebMagic 使用 Jsoup 作为 HTML 解析工具，并基于其开发了解析 XPath 的工具 Xsoup。

* */

public class WNPageProcessor implements PageProcessor {

private Site site = Site.me()

.setCharset("UTF-8") // 设置编码

.setSleepTime(1) // 抓取间隔时间

.setTimeOut(1000 * 10) // 超时时间

.setRetrySleepTime(3000) // 重试时间

.setRetryTimes(3)

.addHeader("CSDN", "woniu")

.addHeader("Content-Type", "application/json;charset=UTF-8");

@Override

public void process(Page page) {

Html html = page.getHtml();

List<Selectable> hotSearchList = html.xpath("//*[@id=\"hotsearch-content-wrapper\"]/li").nodes();

System.out.println("今日百度热搜：");

// 遍历所有热搜新闻

for (Selectable hotSearch : hotSearchList){

List<Selectable> newsMetaList = hotSearch.xpath("//span/text()").nodes();

for (Selectable newsMeta : newsMetaList) {

System.out.print(newsMeta.get() + " ");

}

System.out.print("\n");

}

// 存储，可以传递到 WNPipeline

page.putField("woniu", "我是CSDN");

}

@Override

public Site getSite() {

return site;

}

}

3、自定义结果处理器

/**

* <h1>自定义结果处理器</h1>

* Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。

* WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

* Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。

* 对于一类需求一般只需编写一个Pipeline。

* */

public class WNPipeline implements Pipeline {

@Override

public void process(ResultItems resultItems, Task task) {

// 获取封装好的数据

String woniu = resultItems.get("woniu");

System.out.println("WNPageProcessor 传递结果：" + woniu);

}

}

4、单元测试

public class WebMagicExample {

public static void main(String[] args) {

// 目标网页 URL

String url = "https://www.baidu.com";

Spider.create(new WNPageProcessor()) // 创建爬虫，并指定PageProcessor

.addUrl(url) // 添加需要爬取的URL

.setDownloader(new WNDownloader()) // 设置 Downloader，一个 Spider 只能有个一个 Downloader

.addPipeline(new WNPipeline()) // 添加一个 Pipeline，一个 Spider 可以有多个 Pipeline

.thread(5) // 开启5个线程抓取

.start(); // 开始爬取，设置最多在10分钟内停止

}

}

Selenium 可以配置为两种模式运行：有界面（headed）和无界面（headless）。

在默认情况下，Selenium WebDriver 会启动一个完整的浏览器窗口，用户可以直观地看到浏览器中的操作和页面变化，这对于测试和调试非常有用。如下图：

要启动无界面模式，需要在 Selenium 的浏览器配置中添加相应的参数。例如，在 Java 中使用ChromeDriver 时，可以通过以下代码启动无界面模式：