java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

版权声明:小佳 https://blog.csdn.net/qq_37870901/article/details/82429946

1、获取数据源

以智联招聘官网为例

从智联官网首页中通过查看源码获取其数据源,通过okhttp获得数据源。

(kHttp是一个优秀的网络请求框架)

2、将网络数据源转换为本地数据

通过json将网络数据转化为本地的数据

(json是一种轻量级的数据交换格式)

3、建立数据库

通过MySQL建立数据库,然后再数据库中建立相关表格,用以存放挖掘的数据。。


4、将数据存入数据库

通过连接池连接数据库,再通过相关sql语句将挖掘到的数据存入到数据库中。

okhttp连接有两种方式,一个是同步一个是异步。这里用到的是同步。

本次数据挖掘用到了C3p0数据库连接池,连接池减少了连接创建时间,加快了数据存入数据库的效率。

使用批处理向数据库添加:

c3po连接池的配置:

 最终采集数据的效果:

源码:

链接:https://pan.baidu.com/s/1BRdK1KeB3ZU-h3mIs1wrng 密码:pt97


 

猜你喜欢

转载自blog.csdn.net/qq_37870901/article/details/82429946