爬虫-反爬二：有道词典js加密

絮叨一下

前个爬了boss直聘，感觉这些大网站的反爬总是有办法安排的，不要望而生畏，又想到即将面临毕业，论文是个大问题，便想到一招进行翻译，然后实现将重的功能，于是今个就安排了有道翻译一波。

分析

有道主页

打开F12进行抓包就会发现

http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule

这个才是真正的请求地址

既然是post请求看一下发送了什么数据


然后刷新，输入新的内容对比一下

发现这四个值是变化的，那就需要我们去分析一下js代码，看一下他们是怎么生成的

'salt': ,
'sign': ,
'ts':,
'bv': ,

这样在封装进data中发送过去不就ok了吗

开撸

1.查找js

点击：Initiator可以看见请求的js文件有那些

然后点击@fanyi.min.js:1

进去看一下

格式化一下

添加断点，也就是找到XHR/fetch Breakpoints 你可以针对某一个请求或者请求的关键字设置断点：

点一下‘+’输入url即可

然后去点击翻译


哦可以可以

可以点击这里t.translate 然后发现

'salt': ,
'sign': ,
'ts':,
'bv': ,

看一下8948行的断点处，发现是由generateSaltSign这个函数生成的

把鼠标放在上面提示这个函数在8368行，点击一下

没错就是这里了

2.分析js

var 是js 的变量 t,r,i 分别赋值给了ts,bv,salt 几个值 ，sign 是一个字符串加翻译内容加salt

然后分别来看一下他们是怎么生成的

ts:很明显是一个时间戳

bv:鼠标放在navigator.appVersion上发现 bv是ua 的md5 加密值

salt:是在时间戳的基础上加一位随机数

sign:是一个字符串加翻译内容加salt 在加一个字符串

OK　全部分析完毕就可以撸代码了

3. 写代码

import time
time = str(int(time.time()*1000))
#　时间戳　ｔｓ

import random
salt = str(time + str(int(random.random()*10)))
# 获取时间戳+随机数 salt

import hashlib
ua = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'
hashlib_bv = hashlib.md5()
# 获取一个MD5加密的对象
hashlib_bv.update(ua.encode('utf-8'))
# 指定加密的字符串
bv = hashlib_bv.hexdigest()
# 获取加密后的16进制字符串 bv的值

import hashlib
sign_data = 'fanyideskweb'+ translation_data + salt + 'mmbP%A-r6U3Nw(n]BjuEU'
# 进行字符串的拼接

hashlib_sign = hashlib.md5()
hashlib_sign.update(sign_data.encode('utf-8'))
sign = hashlib_sign.hexdigest()
# sign 

有了这些我们伪装一下ｕａ 然后去访问

import requests
import json

translation_data = input("请输入要翻译的内容：")
ua = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
headers = {
    'User-Agent':ua
}

data = {
    'i': translation_data,
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': str(salt),
    'sign': str(sign),
    'ts': str(time),
    'bv': str(bv),
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_CLICKBUTTION'
}

response = requests.post(url,headers=headers,data=data).content.decode()
translation = json.loads(response)

print(translation)

突然看见

额　请求失败了

4.封装请求头

再看看headers 加入 Cookie 以及 Referer

于是

headers = {
    'User-Agent':ua,
    'Cookie':'[email protected]; JSESSIONID=aaa43DnyRwVqd5dr3eglx; OUTFOX_SEARCH_USER_ID_NCOO=1050084892.1281917; ___rl__test__cookies=1592466058098',
    'Referer': 'http://fanyi.youdao.com/'
}

然后在请求一下：

okok 完全可以

5.提取数据

然后进行提取就可以了

print("翻译后：" + translation['translateResult'][0][0]['tgt'])

然后在运行一下

完全可以

整合一下代码

6.整合

import requests
import time
import hashlib
import random
import json


translation_data = input("请输入要翻译的内容：")
url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
ua = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'

headers = {
    'User-Agent':ua,
    'Cookie':'[email protected]; JSESSIONID=aaa43DnyRwVqd5dr3eglx; OUTFOX_SEARCH_USER_ID_NCOO=1050084892.1281917; ___rl__test__cookies=1592466058098',
    'Referer': 'http://fanyi.youdao.com/'

}

time = str(int(time.time()*1000))
# 获取时间戳

salt = str(time + str(int(random.random()*10)))
# 获取时间戳+随机数

hashlib_bv = hashlib.md5()
# 获取一个MD5加密的对象
hashlib_bv.update(ua.encode('utf-8'))
# 指定加密的字符串
bv = hashlib_bv.hexdigest()
# 获取加密后的16进制字符串

sign_data = 'fanyideskweb'+ translation_data + salt + 'mmbP%A-r6U3Nw(n]BjuEU'
# 进行字符串的拼接

hashlib_sign = hashlib.md5()
hashlib_sign.update(sign_data.encode('utf-8'))
sign = hashlib_sign.hexdigest()

data = {
    'i': translation_data,
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': str(salt),
    'sign': str(sign),
    'ts': str(time),
    'bv': str(bv),
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_CLICKBUTTION'
}

response = requests.post(url,headers=headers,data=data).content.decode()
"""
{"translateResult":[[{"tgt":"apple","src":"苹果"}]],"errorCode":0,"type":"zh-CHS2en","smartResult":{"entries":["","[园艺] apple\r\n"],"type":1}}
"""

translation = json.loads(response)

print("翻译后：" + translation['translateResult'][0][0]['tgt'])

写给看到最后的你

朋友，感谢你看到了最后，新手报道，技术不成熟的地方请多多指点，感谢！

公众号：Linux下撸python
期待和你再次相遇
愿你学的愉快