Java实现网络爬虫
Jsoup
介绍
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
一、使用方法
1）使用Jsoup工具类提供的方法parse，解析html，parse的参数可以是url、本地文件、String（html）、InputStream
解析之后得到一个Document对象。
2）可以使用Document对象的方法对页面进行解析
- 常用的方法
根据id选择
根据节点名称选择
根据属性选择
根据属性名称选择
根据class名称选择 - 使用css选择器：和jQuery相同的css选择器，使用select方法执行css选择器。
document的常用api
Document的常用方法
- 根据标签名称选择节点：
getElementsByTag - 根据id选择节点：
getElementById - 根据属性选择节点：判断节点是否包含此属性。
getElementsByAttribute - 根据属性的值选择节点：
getElementsByAttributeValue - 根据class选择节点：
getElementsByClass - 取标签内的文本信息：
text() - 取标签的属性：
attr("属性名称")
爬取本地保存的html
<html>
<head>
<title>传智播客官网-一样的教育,不一样的品质</title>
</head>
<body>
<div class="city">
<h3 id="city_bj">北京中心</h3>
<fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
<div class="city_in">
<div class="city_con" style="display: none;">
<ul>
<li id="test" class="class_a class_b">
<a href="http://www.itcast.cn" target="_blank">
<span class="s_name">北京</span>
</a>
</li>
<li>
<a href="http://sh.itcast.cn" target="_blank">
<span class="s_name">上海</span>
</a>
</li>
<li>
<a href="http://gz.itcast.cn" target="_blank">
<span abc="123" class="s_name">广州</span>
</a>
</li>
<ul>
<li>天津</li>
</ul>
</ul>
</div>
</div>
</div>
</body>
</html>
package com.itheima.crawler;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.Test;
import java.io.File;
public class JsoupTest {
@Test
public void parseHtml() throws Exception {
//使用Jsoup工具类提供的方法parse，解析html
//1、直接爬取页面解析
//Document document = Jsoup.parse(new URL("http://www.itcast.cn"), 3000);
//2、从本地的html解析
Document document = Jsoup.parse(new File("D:\\1.html"),"utf-8");
//解析标题
Elements elements = document.getElementsByTag("title");
//获取带标签的信息
System.out.println(elements);
//只获取文本信息
for (Element element : elements) {
System.out.println(element.text());
}
//获取链接地址
System.out.println("取链接地址--------------");
Elements elements1 = document.getElementsByTag("a");
for (Element element : elements1) {
System.out.println(element.attr("href"));
}
System.out.println("------------");
//根据id选择节点
Element test = document.getElementById("test");
System.out.println(test.text());
System.out.println("------------");
//根据属性选择节点
Elements elements2 = document.getElementsByAttribute("abc");
for (Element element : elements2) {
System.out.println(element);
}
System.out.println("------------");
//根据属性值来选择节点
Elements elements3 = document.getElementsByAttributeValue("target", "_blank");
for (Element element : elements3) {
System.out.println(element);
}
System.out.println("------------");
//根据class选择节点
Elements elements4 = document.getElementsByClass("s_name");
for (Element element : elements4) {
System.out.println(element);
}
}
}
结果
使用css选择器解析页面
跟jQuery写法一样，如果不会写，就从页面中获取，如下图
@Test
public void testCssSelector() throws Exception {
Document document = Jsoup.parse(new File("D:\\1.html"),"utf-8");
//解析document对象
//根据id选择
Elements elements = document.select("#city_bj");
for (Element element : elements) {
System.out.println(element);
}
//根据标签名选择
Elements elements1 = document.select("li");
for (Element element : elements1) {
System.out.println(element);
}
//根据class选择
Elements elements2 = document.select(".s_name");
for (Element element : elements2) {
System.out.println(element);
}
//根据属性选择
//Elements elements3 = document.select("[abc]");
Elements elements3 = document.select("[abc='123']");
for (Element element : elements3) {
System.out.println(element);
}
System.out.println("--------------------");
//css选择器组合使用
//Elements elements4 = document.select("div.city > div.city_in div.city_con span[abc='123']");
Elements elements4 = document.select("body > div > div > div > ul > li:nth-child(2) > a > span");
for (Element element : elements4) {
System.out.println(element);
}
}