12、Python 高级反爬机制-破解js加密

1、案例需求：爬取空气质量数据

URL：https://www.aqistudy.cn/html/city_detail.html

2、分析思路：

1.页面中是有相关的查询条件，指定查询条件后点击查询按钮，就会加载出相关的数据。

查询的条件：
- 城市名称
- 查询的时间范围
当点击了查询按钮后，整张页面没有刷新，而是局部页面发生了刷新
- 说明：点击了查询按钮后，发起了一个ajax请求，该请求可以帮我们进行页面的局部刷新，且请求到符合查询条件的相关指标数据。

2.目的：想要获取点击查询按钮后加载出来的数据。将ajax请求到的数据获取即可。

可以通过抓包工具捕获到ajax请求的数据包，

从数据包中想要提取出：
- 请求url：https://www.aqistudy.cn/apinew/aqistudyapi.php
- 请求方式：post
- 请求参数：d，参数值是一组看不懂的字符串
  - 是动态变化的请求参数（每次请求对应的请求参数的值都是不一样的）

响应数据：一组看不懂的字符串
- 响应一定是需要加载到前台页面进行显示，但是捕获到响应数据并不是前台页面加载出来的原文数据。说明请求到的响应数据一定是一组密文数据。

3.处理动态变化的请求参数

该请求是一个ajax请求，查看ajax请求对应的js代码或者Jquery代码中有没有请求参数的设置呢？
当点击了页面中的查询按钮后，就会发起一个ajax请求。说明该查询按钮一定被绑定了一个点击事件，当点击事件发生后就会执行一组ajax请求的代码。
通过查看ajax请求代码，就可以发现请求参数的参数值。

示例代码：

$.ajax({
       	 url:"发送请求（提交或读取数据）的地址", 
         dataType:"预期服务器返回数据的类型",  
         type:"请求方式", 
         async:"true/false",
         data:{id:func},
         success:function(data){请求成功时执行},      
         error:function(){请求失败时执行}
});

4.寻找ajax请求的代码。

找到查询按钮绑定的点击事件。（火狐浏览器的开发者工具）

5.发现getData函数就是点击了查询按钮后触发的函数，该函数实现内容去查询ajax请求的代码

6.查看getData函数的实现：

跳转到指定的位置

局部搜索getData

type=="HOUR"：查询条件是以小时为单位
没有发现ajax请求代码，但有另外的两个函数的调用，
说明ajax请求代码一定是存在于这两个函数实现中。

getAQIData();

getWeatherData();

7.查看getAQIData的实现：

未发现ajax请求代码，发现了另一个函数调用getServerData，
- getServerData参数：
  - method = GETDETAIL
  - param = {city,type,starttime,endtime}

8.getServerData(method,param)的实现：

可以基于谷歌浏览器的抓包工具进行全局搜索。
js混淆：服务器端会将一些比较重要的函数实现进行加密。
解决方式：通过工具js反混淆：进行线上平台暴力破解。平台的url：http://www.bm8.com.cn/jsConfusion/

破解后找到了通过getServerData函数的实现ajax请求代码，

且发现

动态变化的请求参数：getParam(method, object)函数返回
- 函数参数
  - method：GETDETAI
  - object：{city,type,starttime,endtime}
加密的响应数据解密的函数：decodeData(data)
- 参数data为加密的响应数据，返回值为解密后的原文数据

function getServerData(method, object, callback, period) {
        const key = hex_md5(method + JSON.stringify(object));
        const data = getDataFromLocalStorage(key, period);
        if (!data) {
            var param = getParam(method, object);
            $.ajax({
                url: '../apinew/aqistudyapi.php',
                data: {
                    d: param
                },
                type: "post",
                success: function (data) {
                    data = decodeData(data);
                    obj = JSON.parse(data);
                    if (obj.success) {
                        if (period > 0) {
                            obj.result.time = new Date().getTime();
                            localStorageUtil.save(key, obj.result)
                        }
                        callback(obj.result)
                    } else {
                        console.log(obj.errcode, obj.errmsg)
                    }
                }
            })
        } else {
            callback(data)
        }
    }

3、js逆向获取数据：

js逆向
- 可以将js代码改写成python代码进行相关的调用。
- 方式：
  - 1.手动将js函数改写成python函数
  - 2.可以使用工具自动进行python函数的改写
    - pyexclJS
PyExecJS介绍：PyExecJS 是一个可以使用 Python 来模拟运行 JavaScript 的库。
需要环境安装
```
pip install PyExecJS
```
注意：如果想使用PyExecJS的话，在你的本机中必须安装好nodejs的环境。

将解密成功的js方法存放到本地jsCode.js并对其方法进行封装

function getPostParamCode(method, city, type, startTime, endTime){
    var param = {};
    param.city = city;
    param.type = type;
    param.startTime = startTime;
    param.endTime = endTime;
    return getParam(method, param);
}

#动态实时获取ajax请求的参数
import execjs
node = execjs.get()
 
# Params
method = 'GETDETAIL'
city = '北京'
type = 'HOUR'
start_time = '2018-01-25 00:00:00'
end_time = '2018-01-25 23:00:00'
 
# Compile javascript
file = 'jsCode.js'
ctx = node.compile(open(file,encoding='utf-8').read())
 
# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)			#调用执行封装好的方法
print(params)

>>>
tdgHOYxwKdDSgYXe+RLPzYCgLvrddahasI5XXklB4gVLYqab+XRPpMD/oSqnJ/aEmFwzVEUhLnPzRy03+X1BIzLvxQKwu4A3YsqR3OemYgNnHqPdBwvJlbxia99YeK+xNLwdqFad2OO8kQ/eMmdXDnGMvVAdhy3hOdXSgMgwVdUjXSyKzDV31TAxmYlJqwB6U3oElEpwW7AG1sOS1EpGER7Q1a1xkekm9tvDAeHRXrPB1jXX4hsdnZoYBSE23ei+sBC/30MZXDD1ons7hnF4fNS7j0aSqyscRk5ueQAvN1FRHCg9aM9tClVrDd4dC9q5Tk8vlH8aiTmGBZjYRkdIina1REOBdr3z73I+8GTRintq9RjSTycygKb3IpNejPAtU+P4FwPOmhiTCf1pDl0GXOw23BHL/8yR0yWCSHwOH+EDUmV+oQKOwh7T84w7LGjaHB0hGrvW94R6bI5iC+Qsaw==

#携带上动态变化的请求参数发起ajax请求获取加密的响应数据
import execjs
node = execjs.get()
 
# Params
method = 'GETDETAIL'
city = '北京'
type = 'HOUR'
start_time = '2018-01-25 00:00:00'
end_time = '2018-01-25 23:00:00'
 
# Compile javascript
file = 'jsCode.js'
ctx = node.compile(open(file,encoding='utf-8').read())
 
# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)			#调用执行封装好的方法

#发起post请求
url = 'https://www.aqistudy.cn/apinew/aqistudyapi.php'
response_text = requests.post(url, data={'d': params}).text
print(response_text)
>>>
qZMXM1uw6YvIv1UWRplJEP8adQ/jrupTMOgOGHddu9sLczXIVdbUQNC6FKKO1n/E+u+ROZbS20IkqL9BxAlZGzas1Cr/5Xra0/8RJ4dgOSerFidYiI6gQTe2hR83SC2FtPOuHYS/0KmslfuTqyH21g==

import execjs
import requests

node = execjs.get()

# Params
method = 'GETDETAIL'
city = '北京'
type = 'HOUR'
start_time = '2018-01-25 00:00:00'
end_time = '2018-01-25 23:00:00'

# Compile javascript
file = 'jsCode.js'
ctx = node.compile(open(file,encoding='utf-8').read())

# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)

#发起post请求
url = 'https://www.aqistudy.cn/apinew/aqistudyapi.php'
response_text = requests.post(url, data={'d': params}).text

#对加密的响应数据进行解密
js = 'decodeData("{0}")'.format(response_text)
decrypted_data = ctx.eval(js)
print(decrypted_data)

这篇博文涉及到的反爬机制有：

js加密
- js逆向可以破解js加密
动态变化的请求参数
js混淆

12、Python 高级反爬机制-破解js加密

1、案例需求：爬取空气质量数据

2、分析思路：

3、js逆向获取数据：

猜你喜欢