一，Jsoup是什么？有什么用？
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
中文版的参考文档是：http://www.open-open.com/jsoup/
二，使用Jsoup模拟登录GitHub
因为最近接到需求，在完全不动原系统的代码的情况下（因为系统太老，已经没人看得懂里面的代码了），实现一个推送信息的功能。因为所有的数据都需要从页面上获得，所以需要模拟登录系统，然后抓取要推送的数据。
我所理解的模拟登录，是在不打开浏览器的情况下，在代码里面模拟浏览器发送登录请求，得到登录请求返回的数据的一种功能，反正都是要获得数据并操作数据的。
模拟登录的原理：
总的来说，模拟发送请求，是浏览器发送什么，我们在代码里面就发送什么，包括请求的url，请求的参数，请求的方式，及请求头。既然是登录请求，则满足登录请求所需的条件即可。这里的重点是确定登录表单的参数，确定发送登录请求时所需的参数，以及这些参数被传到哪里去了。
下面分析模拟登录GitHub：
（1）首先我们用谷歌浏览器打开GitHub的登录页，f12看到如下信息：
（2）我们按正常流程登录GitHub，找到/session的请求。
由上图可以看出，表单数据全部被提交到/session请求。
（3）编码
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class GITHUBLoginApater {
public static String LOGIN_URL = "https://github.com/login";
public static String USER_AGENT = "User-Agent";
public static String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";
public static void main(String[] args) throws Exception {
simulateLogin("tanwenfang", "511t821z805t428w"); // 模拟登陆github的用户名和密码
}
/**
* @param userName 用户名
* @param pwd 密码
* @throws Exception
*/
public static void simulateLogin(String userName, String pwd) throws Exception {
/*
* 第一次请求
* grab login form page first
* 获取登陆提交的表单信息，及修改其提交data数据（login，password）
*/
// get the response, which we will post to the action URL(rs.cookies())
Connection con = Jsoup.connect(LOGIN_URL); // 获取connection
con.header(USER_AGENT, USER_AGENT_VALUE); // 配置模拟浏览器
Response rs = con.execute(); // 获取响应
Document d1 = Jsoup.parse(rs.body()); // 通过Jsoup将返回信息转换为Dom树
List<Element> eleList = d1.select("form"); // 获取提交form表单，可以通过查看页面源码代码得知
// 获取cooking和表单属性
// lets make data map containing all the parameters and its values found in the form
Map<String, String> datas = new HashMap<>();
for (Element e : eleList.get(1).getAllElements()) {
// 设置用户名
if (e.attr("name").equals("login")) {
e.attr("value", userName);
}
// 设置用户密码
if (e.attr("name").equals("password")) {
e.attr("value", pwd);
}
// 排除空值表单属性
if (e.attr("name").length() > 0) {
datas.put(e.attr("name"), e.attr("value"));
}
}
/*
* 第二次请求，以post方式提交表单数据以及cookie信息
*/
Connection con2 = Jsoup.connect("https://github.com/session");
con2.header(USER_AGENT, USER_AGENT_VALUE);
// 设置cookie和post上面的map数据
Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)
.data(datas).cookies(rs.cookies()).execute();
// 打印，登陆成功后的信息
System.out.println(login.body());
// 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可
Map<String, String> map = login.cookies();
for (String s : map.keySet()) {
System.out.println(s + " : " + map.get(s));
}
}
}
输出如下：
user_session:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
__Host-user_session_same_site:vbKDEuVP9CcYiTDJ9PgjBk_S7avOTTqGZMe6OknQXx2xYWn6
has_recent_activity:1
_gh_sess:UXhtTC9IM3hCVTVzR3dCS3ZCTFNCa0twdEpuTTJxZXdFZmRPbW1rSU9KUjdjbFpYeTE3VXRlV2NabzczQmVsL1c0bFZhL0lkeDZlOXZLOHRia0VBRGNVb2htVkYrUVlHMlRReGo3WjRtY1pvNGFqRzY4WVRjRjc1b3A0ZjFhU0lDOFVuOTFpcVpXTmpSc2ZDT3o2N2pyeXVFYjVBRGViOVJGY3Q3WTgzOENVU1lLNDl4K1dUTVhEY2pteENXV1I5LS1CTmxwNHRUU2J6MWYzaXZDWlBxT1FBPT0%3D--1a9be16d5fb8819b7f7914eff1a18e6b55175ca3
_octo:GH1.1.1256450890.1550226759
logged_in:yes
dotcom_user:tanwenfang
根据返回的cookies，可以判断此时登录成功，然后我们就可以带着cookies去请求各种url了。
三，登录之后进行数据分析，精确抓取数据。
根据上面的代码，我们不仅获取了cookies，还获取了登录之后返回的网页源码，此时有如下几种种情况：
（1）若我们所需的数据就在登录之后返回的源码里面，那么我们就可以直接通过Jsoup去解析源码了，然后利用Jsoup的选择器功能去筛选出我们需要的信息；
（2）若需要的数据是需要通过请求源码里的链接得到，那么我们就先解析源码，找出这个url，然后带上cookies模拟请求这个url就可以了。
（3）若我们所需的数据完全不在源码里面，那么我们就可以不用管这个源码了。我们看浏览器，打开谷歌的network，查找分析所有url的请求和响应结果，一般情况下，总能找到那一个url（一般这个url是一个固定的url，可能参数会不一样），其返回的数据是我们期望的，然后我们模拟请求这个url，带上cookies就可以请求了。
写在最后：一开始写模拟登录得时候，总觉得数据一定要在网页源码里面才能获取，所以当一个网页是由一堆js组成得就傻眼了。然后就希望能够获取渲染后的网页源码，这时候碰到了phantomjs，但是网上资料能说明白的很少，我还没理解，就放弃这种方式了。后来在一个QQ群碰到一个大神，教我用这种方式，去做数据分析。虽然这不是完美的解决方法，但是比较好理解，容易上手，暂时解决了问题。不过个人认为获取渲染后的网页的做法能适应大多数情况。