有关JSOUP学习分享（一）

其实现在用JSOUP爬虫的也不多了，但是由于最近换公司，做数据爬虫需要用到，就看了下，感觉还是挺好用的，原理什么的感觉和weblogic也差不到哪里去，废话少说，这里就简单的分享下最近接触的干货。

JSOUP实现原理也简单说一下，可能有不对的地方评论欢迎指正。我们可以使用JSOUP直接解析某个URL地址或者指定的HTML文本，将抓取的网页或者文本内容加载到Document中，然后可以针对这个doucument进行解析，选择，利用dom或者css或者匹配正则来获取你需要的内容。下面是我项目脚本的内容部分分享，可以供大家一起参考学习，从浅入深：

第一步：当然是在项目中导入需要的jar包，使用maven管理的可以直接在pom文件里面导，

没有的同学可以去官网下载jar包https://jsoup.org/download。

接下来我们就可以正式开始第一个JSOUP项目抓取工作了

第二步：初始化或者指定url，将内容加载到document并制定编码格式

            String url="http://baidu.com.cn"
            String result = RequestUtil.doGet(url,"GBK")

//            println(result);
            Document doc = Jsoup.parse(result)

在这里我们可以看到你已经把这个网页内容加载进去了，然后我们可以开始根据需求来抓取需要的数据

第三步：根据需求抓取数据：

我们这里先介绍使用选择器来抓取数据，这里可以利用到网页的dom节点class或者id来抓取文本下的

内容：

1、根据class选择器来选择文本：

doc.select(".head_wrapper")

这里的.head_wrapper就是网页标签的一个类，抓取到的文本就是.head_wrapper这个标签及其子节点的里面的内容。

2、根据id选择器来选择文本：

Element link2=doc.select("#css_index_result")

这里选取的是以这个为id的标签内容以及其子节点的所有内容

3、抓取a标签的href：

Elements hrefs = doc.select("a[href]");

4、灵活使用^,$与~分别抓取以什么开头，以什么结尾，正则表达式匹配的内容

//以.com结尾的img标签内容抓取
Elements hrefs = doc.select("img[src$=.com]");
println(hrefs)
//以//www.开头的img标签内容抓取
Elements imgs = doc.select("img[src^=//www.]");
println(imgs)
//正则表达式匹配以png，gif，jpg结尾的img标签抓取
 Elements jpgs = doc.select("img[src~=(?i)\\.(png|gif|jpg?g)]");
println(jpgs)

以上抓取的内容可能一条或者多条，多条存放就存放在一个list中，可以遍历这个list查看，ok，这里基础内容写到这里，接下来更新JSOUP学习分享（二），感谢您的阅读

有关JSOUP学习分享（一）

猜你喜欢