在网页数据采集的时候,我们往往要经过这几个大的步骤:
①通过URL地址读取目标网页
②获得网页源码
③通过网页源码抽取我们要提取的目的数据
④对数据进行格式转换,获得我们需要的数据。
引用java网页数据抓取实例
利用Jsoup模拟跳过登录爬虫获取数据
参考Java简单的抓取网页数据