php外挂python脚本抓取ajax数据

之前我写过一遍php外挂python脚本处理视频的文章。今天和大家分享下php外挂python实现输入关键字搜索的脚本

首先我们先来分析一波网站：

http://www.dzdpw.com/s.php

我们可以看到，普通的抓取网站已经不能满足我们的需求了。此网站采用了二次获取数据。我们再来看看头部；

可以看到数据是通过ajax获取的。我们吧拿到的链接放到浏览器直接打开报错了。有些网站是直接拿到链接就能获取数据，但是明显，这个接口采用post接口请求

我们先来请求一波：

代码走起：

# -*- coding: utf-8 -*-
# @Time    : 2019/9/4 14:43
# @Author  : wujf
# @Email   : [email protected]
# @File    : 爬取ajax数据.py
# @Software: PyCharm
'''
json.loads(json_str) json字符串转换成字典
json.dumps(dict) 字典转换成json字符串
'''
import requests
import json
url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"
seach = input("请输入您要搜索的内容：")
list = ['507786','14922','-1']
list.append(seach)
d = {
    'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',
    'uid':'507786',
    'mycoid':'14922',
    'con':'15',
    'a':list
}

　　

 果然能得到数据。

接下来就好办了：

上代码--------

import requests
import json
import sys
url = "http://nddb.ic361.cn:8080/proc/getrows/dp_cloudprice_gets"
seach = sys.argv[1]
#seach1 = sys.argv[2]
#item = seach+'-'+seach1
# with open(r'D:\\phpStudy_server\\PHPTutorial\\WWW\\demo\\log.txt','a') as f:
#     try:
#         f.write(seach)  
#     except Exception as e:
#         print(e)
# seach = input("请输入您要搜索的内容：")
list = ['507786','14922','-1']
list.append(seach)
d = {
    'token':'A0E5CD90-ECE4-440C-8B39-084C0FE61E69',
    'uid':'507786',
    'mycoid':'14922',
    'con':'15',
    'a':list
}
r = requests.post(url,data=d)
dic = r.json()
print(json.dumps(dic))

　　

 然后我们来看下打印结果：