文章目录

环境准备
Jsoup创建文档
- 从url创建文档
- 从字符串、文件创建文档
解析文档

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的主要功能如下：

从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据；
可操作HTML元素、属性、文本；

环境准备

引入maven依赖

<!--Jsoup-->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.3</version>
</dependency>
<!--测试-->
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
</dependency>
<!--工具-->
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.7</version>
</dependency>
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.6</version>
</dependency>

准备文件dom.html,用于测试内容如下：

<html>
 <head> 
  <title>传智播客官网-一样的教育,不一样的品质</title> 
 </head> 
 <body>
	<div class="city">
		<h3 id="city_bj">北京中心</h3>
		<fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
		<div class="city_in">
			<div class="city_con" style="display: none;">
				<ul>
					<li id="test" class="class_a class_b">
						<a href="http://www.itcast.cn" target="_blank">
							<span class="s_name">北京</span>
						</a>
					</li>
					<li>
						<a href="http://sh.itcast.cn" target="_blank">
							<span class="s_name">上海</span>
						</a>
					</li>
					<li>
						<a href="http://gz.itcast.cn" target="_blank">
							<span abc="123" class="s_name">广州</span>
						</a>
					</li>
					<ul>
						<li>天津</li>
					</ul>					
				</ul>
			</div>
		</div>
	</div>
 </body>
</html>

Jsoup创建文档

从url创建文档

Jsoup可以直接输入url，它会发起请求并获取数据，封装为Document对象，如下：

public static void urlDomTests() throws Exception {
    //    解析url地址
    Document document = Jsoup.parse(new URL("http://www.itcast.cn/"), 1000);
    //获取title的内容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());
}

虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup对这些的支持并不是很好，所以我们一般把jsoup仅仅作为Html解析工具使用

从字符串、文件创建文档

Jsoup可以直接输入字符串，并封装为Document对象,如下：

public static void fileStrTest() throws Exception {
    String html = FileUtils.readFileToString(new File("D:\\works\\ruoyi\\myspider\\src\\main\\java\\test\\dom.html"), "UTF-8");
    //    解析字符串
    Document document = Jsoup.parse(html);
    //jsoUP 可以直接从 url  文件、输入流等内容中直接获取到 document对象
    document =  Jsoup.parse(new File("D:\\works\\ruoyi\\myspider\\src\\main\\java\\test\\dom.html"), "UTF-8");
    //获取title的内容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());

}

解析文档

元素获取

根据id查询元素getElementById
根据标签获取元素getElementsByTag
根据class获取元素getElementsByClass
根据属性获取元素getElementsByAttribute

元素中获取数据

从元素中获取id
从元素中获取className
从元素中获取属性的值attr
从元素中获取所有属性attributes
从元素中获取文本内容text

使用选择器语法查找元素

选择器

tagname: 通过标签查找元素，比如：span
#id: 通过ID查找元素，比如：# city_bj
.class: 通过class名称查找元素，比如：.class_a
[attribute]: 利用属性查找元素，比如：[abc]
[attr=value]: 利用属性值来查找元素，比如：[class=s_name]

选择器组合

el#id: 元素+ID，比如： h3#city_bj
el.class: 元素+class，比如： li.class_a
el[attr]: 元素+属性名，比如： span[abc]
任意组合: 比如：span[abc].s_name
ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
parent > child: 查找某个父元素下的直接子元素，比如：
.city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
parent > *: 查找某个父元素下所有直接子元素

测试代码

public static void documentOper() throws Exception {

    //jsoUP 可以直接从 url  文件、输入流等内容中直接获取到 document对象
    Document document =  Jsoup.parse(new File("D:\\works\\ruoyi\\myspider\\src\\main\\java\\test\\dom.html"), "UTF-8");
   //根据id 获取元素
    Element ele1 = document.getElementById("test");
    System.out.println( "==============:"+ele1.toString());
    //可以获取元素的id 、class 、属性、内容文本等
    System.out.println( "==============:"+ele1.id());
    System.out.println( "==============:"+ele1.className());
    System.out.println( "==============:"+ele1.attr("id"));
    System.out.println( "==============:"+ele1.text());


    //根据元素名获取元素
    Element ele2 = document.getElementsByTag("title").first();
    System.out.println("==============:"+ ele2.toString());
    //根据属性名获取元素
    Element ele3 = document.getElementsByAttribute("href").first();
    System.out.println( "==============:"+ele3.toString());
    //根据属性名和属性值获取元素
    Element ele5 = document.getElementsByAttributeValue("abc","123").first();
    System.out.println( "==============:"+ele5.toString());
    //根据演示名获取元素
    Element ele4 = document.getElementsByClass("city").first();
    System.out.println( "==============:"+ele4.toString());

    //selector 选择器查找元素
    /*
     tagname: 通过标签查找元素，比如：span
    #id: 通过ID查找元素，比如：# city_bj
    .class: 通过class名称查找元素，比如：.class_a
    [attribute]: 利用属性查找元素，比如：[abc]
    [attr=value]: 利用属性值来查找元素，比如：[class=s_name]
    * */
    Elements span = document.select("span");
    for(Element ele:span){
        System.out.println(ele.text());
    }

    System.out.println("============>#city_bj:"+document.select("#city_bj").text());
    System.out.println("============>.class_a:"+document.select(".class_a").text());
    System.out.println("============>[abc]:"+document.select("[abc]").text());
    System.out.println("============>[class=s_name]:"+document.select("[class=s_name]").text());

    /*
    * 选择器组合使用
    * el#id: 元素+ID，比如： h3#city_bj
        el.class: 元素+class，比如： li.class_a
        el[attr]: 元素+属性名，比如： span[abc]
        任意组合: 比如：span[abc].s_name
        ancestor child: 查找某个元素下子元素，比如：.city_con li 查找"city_con"下的所有li
        parent > child: 查找某个父元素下的直接子元素，比如：
        .city_con > ul > li 查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
        parent > *: 查找某个父元素下所有直接子元素
    */
    System.out.println("============>h3#city_bj:"+document.select("h3#city_bj").text());
    System.out.println("============>span[abc]:"+document.select("span[abc]").text());
    System.out.println("============>span[abc].s_name:"+document.select("span[abc].s_name").text());
    System.out.println("============>.city_con > ul > li:"+document.select(".city_con > ul > li").text());
    System.out.println("============>.city_con li:"+document.select(".city_con > ul > li").text());

}

JAVA网络爬虫02-Jsoup解析爬取结果