Java爬虫-使用HttpClient+Jsoup实现简单的爬虫爬取文本

一、工具介绍

  HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。
HttpClient下载地址：http://hc.apache.org/downloads.cgi
  Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
Jsoup下载地址：https://jsoup.org/download

二、使用方法

1.HttpClient的使用步骤：
(1) 创建HttpClient对象；
(2) 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象；
(3) 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数；
(4) 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse；
(5) 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容；
(6) 释放连接。无论执行方法是否成功，都必须释放连接；
2.Jsoup的常用方法（Jsoup很强大，我只列出来一部分）：

类	方法	作用
Connection	connect(String url)	根据给定的url(必须是http或https)来创建连接
Connection	cookie(String name, String value)	发送请求时放置cookie
Connection	userAgent(String userAgent)	发送请求时设置User-Agent
Connection	header(String name, String value)	发送请求时添加请求头
Connection	data(Object data)	发送请求时传递请求参数,Object为Map或String
Connection	get()	以get方式发送请求并对返回结果进行解析
Connection	post()	以post方式发送请求并对返回结果进行解析
Document	parse(…)
Document	parseBodyFragment(…)
Document	getElementById(String id)	根据id获得元素
Document	getElementsByTag(String tag)	根据标签获得元素
Document	getElementsByClass(String className)	根据class获得元素
Document	getElementsByAttribute(String key)	根据属性获得元素
Document	select(String key)	用jquery/css选择器获得元素
Element	attr(String key)	获得元素的数据
Element	attr(String key, String value)	设置元素数据
Element	text()	获得文本值
Element	text(String value)	设置文本值
Element	html()	获取html
Element	html(String value)	设置html
Element	data()	获得数据内容

三、实例

  列了这么多，现在我们开始实例部分。我们要获取网站的指定文本信息，与获取网站全部链接是一样的，我们先来看看获取全部链接的代码。
  首先我们先用只用Jsoup来获取网站全部有用的链接：

package com.httpclient;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class MyJsoup {

    /**
     * 需求：使用Jsoup解析网页源码
     * @author ouyang
     * @since 20180630
     * @param args
     */
    public static void main(String[] args) {

        String url = "http://www.xaufe.edu.cn";

        //使用Jsoup向http://www.xaufe.edu.cn/发送请求
        Document doc = null;
        try {
            doc = Jsoup.connect(url)
                    .userAgent("Mozilla")
                    .cookie("auth", "token")
                    .timeout(3000)
                    .get();
        } catch (IOException e) {
            e.printStackTrace();
        }

        //Jsoup使用类型css，jquery选择器的方式获取元素节点
        Elements elements = doc.select("#top2_23 a");

        for(Element element : elements ) {
            System.out.println(element.text() + ": " + url+element.attr("href"));
        }

    }

}

  HttpClient+Jsoup获取网站的全部有用的链接，直接附上代码：

package com.httpclient;

import java.io.IOException;

import org.apache.http.HttpHost;
import org.apache.http.HttpResponse;
import org.apache.http.ParseException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class MyHttpClient {

    /**
     * 需求：使用httpClient爬取网站数据
     * @author ouyang
     * @since 20180630
     * @param args
     */
    public static void main(String[] args) {
        try {
            getTagA();
        } catch (ParseException | IOException e) {
            e.printStackTrace();
        }
    }

    public static void getTagA() throws ParseException, IOException {
        //要爬取的网站
        String url = "http://www.xaufe.edu.cn";

        //创建HttpClient对象
        HttpClient httpClient = HttpClients.createDefault();

        //大部分爬虫url都是get请求，创建get请求对象
        HttpGet httpGet = new HttpGet(url);

        /*
         * 设置响应时间，设置请求超时，设置代理服务器，
         * 防止网站识别你是爬虫软件进而拉黑禁止访问
         */
        RequestConfig requestConfig = RequestConfig.custom()
                .setConnectTimeout(5000)            //设置响应时间
                .setConnectionRequestTimeout(5000)  //设置请求超时
                .setProxy(new HttpHost("222.182.56.29", 8118))   //设置代理服务器(网上有)
                .build();
        httpGet.setConfig(requestConfig);

        //设置头信息，不然请求不到网页
        httpGet.setHeader("Accept-Language", "zh-CN,zh;q=0.8");
        httpGet.setHeader("User-Agent", 
                "Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2");  


        //向http://www.xaufe.edu.cn/发起请求，获取网页信息
        String content = "";
        HttpResponse httpResponse = httpClient.execute(httpGet);
        content = EntityUtils.toString(httpResponse.getEntity(), "GB2312");

        //System.out.println(content);

        //加上用Jsoup解析网页
        Document doc = Jsoup.parse(content);

        //Jsoup使用类型css，jquery选择器的方式获取元素节点
        Elements elements = doc.select("a"); //获取页面上所有a标签

        for(Element element : elements ) {
            String target = element.text();
            String src = element.attr("href");
            if(target != null && !"".equals(target) && !"".equals(src)) {
                if(src.contains("http")) {
                    System.out.println(target + ": " + src);
                } else {
                    System.out.println(target + ": " + url+src);
                }

            }

        }
    }

}

四、学有所思，欢迎大家评论留言

1、怎么获取列表的数据，因为列表有分页？

2、抓取的url是文件流（图片，视频），应该要怎样做处理？

3、怎么时爬虫一直爬下去，其中怎么让爬取效率更高？

HttpClient详细解释：https://blog.csdn.net/zhuwukai/article/details/78644484
Jsoup常用方法功能介绍：https://blog.csdn.net/key_mql/article/details/55522325