本节将重点展示如何使用Java语言来爬取这些航空器的信息，通过本节的知识，可以掌握使用Java语言来爬取相关知识的内容。同时这里将重点讲解如何在XxlCrawler框架中爬取超链接的Href属性，如果您在平时的工作中也要涉及网页属性的爬取，可以看看这里的处理方式。

1、定义页面PageVO对象

        在博主的个人博客当中，大多都是介绍XxlCralwer这个组件。这个组件非常好用，这里依然采用这个组件来进行信息的抓取。在信息抓取之前，我们需要先通过xpath来定义html页面上的元素与我们抓取对象的一个映射关系，这个映射关系的配置就是通过pageVo这个对象来实现的。在上一节的内容介绍中，我们讲解了网页的结构，这里仅将pageVo对象的代码贴出来，对重点部分进行讲解。

/**

* 请注意合理Xpath的配置，一定要配置到tr，配置到tr，会自动循环获取并赋值，方便于集合操作

* @author 夜郎king

*

*/

@PageSelect(cssQuery = ".indent .prettyTable >tbody >tr")

@Data

@AllArgsConstructor

@NoArgsConstructor

public static class PageVo {

/**

* 实时航班数

*/

@Excel(name = "航班数")

@PageFieldSelect(cssQuery = " >td:eq(0)")

private String count;

/**

* 机型代号

*/

@PageFieldSelect(cssQuery = " >td:eq(1)")

@Excel(name = "机型代码")

private String code;

/**

* 查询机型超链接

* 这里要特别注意，selectType 切记要选择SelectType.ATTR，表示从属性中获取值，selectVal 表示取具体哪个属性的值，这里表示取href这表属性的值，

* 更详细的用法在写博客时，可以参考源码进行详细说明

*/

@PageFieldSelect(cssQuery = " >td:eq(1) >a:eq(0)",selectType = SelectType.ATTR,selectVal = "href")

@Excel(name = "查询机型超链接")

private String aircraftTypeLink;

/**

* 详细机型

*/

@Excel(name = "详细机型")

@PageFieldSelect(cssQuery = " >td:eq(2)")

private String aircraftType;

}

        在上述的代码中，需要注意的地方有：

        （1）、@PageSelect(cssQuery = ".indent .prettyTable >tbody >tr")，在定义pageVO对象时，由于在表格中有多个tr，我们在配置pageVo时，希望会自动形成一个List<PageVo>的数组，因此在定义xpath时一定要定义到tr这一层。

        （2）、在获取机型的超链接时，由于获取的是元素的href属性，因此不要使用下面的获取属性的方法。

/**

* 查询机型超链接

* 这里要特别注意，selectType 切记要选择SelectType.ATTR，表示从属性中获取值，selectVal 表示取具体哪个属性的值，这里表示取href这表属性的值，

* 更详细的用法在写博客时，可以参考源码进行详细说明

*/

@PageFieldSelect(cssQuery = " >td:eq(1) >a:eq(0)",selectType = SelectType.ATTR,selectVal = "href")

         默认情况下，selectType是SelectType.TEXT，详细的配置看源码中的代码定义：

/**

* jquery data-extraction-type，like ".html()/.text()/.val()/.attr() ..."

*

* jquery 数据抽取方式，如 ".html()/.text()/.val()/.attr() ..."等

*

* @see com.xuxueli.crawler.conf.XxlCrawlerConf.SelectType

*

* @return SelectType

*/

public XxlCrawlerConf.SelectType selectType() default XxlCrawlerConf.SelectType.TEXT;

/**

* jquery data-extraction-value, effect when SelectType=ATTR/HAS_CLASS, like ".attr("abs:src")"

*

* jquery 数据抽取参数，SelectType=ATTR/HAS_CLASS 时有效，如 ".attr("abs:src")"

*

* @return String

*/

public String selectVal() default "";

2、爬取属性定义

        在定义信息获取对象时，除了要定义PageVO转换对象，同时还要定义抓取的地址、抓取信息后保存的集合对象等。这里将分享如何定义这些其它属性信息。

private static final String GET_URL = "https://zh.flightaware.com/live/aircrafttype/";

private static final String USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36";

/**

* 定义所有机型的接收集合

*/

private List<PageVo> aircraftTypeList = new ArrayList<PageVo>();

3、启动信息抓取组件

        启动信息抓取的代码比较简单，这里不再对详细过程进行赘述。将代码直接贴出来，有问题看不懂的朋友可以私信交流。

@Test

public void testGetAllaircraftType() {

// 构造爬虫

XxlCrawler crawler = new XxlCrawler.Builder()

.setUrls(GET_URL)

.setAllowSpread(false)// 允许扩散爬取，将会以现有URL为起点扩散爬取整站,这里只爬一个页面，设置为不允许扩散

.setThreadCount(3)

.setPauseMillis(2000)

.setUserAgent(USER_AGENT)//设置user_agent

.setIfPost(false)

.setFailRetryCount(3)// 重试三次

.setTimeoutMillis(10 * 1000)//超时时间定位10秒钟

.setPageParser(new PageParser<PageVo>() {

@Override

public void parse(Document html, Element pageVoElement, PageVo pageVo) {

// 解析封装 PageVo 对象

// String pageUrl = html.baseUri();

// 使用pageVO的方式解析

// System.out.println(pageUrl + "：" + pageVo.toString());

printVo(pageVo);

aircraftTypeList.add(pageVo);

}

}).build();

crawler.start(true);// 启动

// excel工具包

ExcelUtil<PageVo> util = new ExcelUtil<PageVo>(PageVo.class);

util.exportExcel(aircraftTypeList, "全球实时执飞所有机型列表-20240707");

System.out.println("finished...");

}

        这里的最后，我们将所有飞行器的信息保存到一个list集合中，然后通过list集合写出到excel表格中。这样就可以实现数据的共享了。在IDE中运行上述的程序，在控制台中我们可以看到以下的输出：

        这里贴出几条抓取飞机机型的日志信息：