そして、いくつかのピット、ウェブのURL http://125.35.6.84:81/xk/がされてある
だけでシミュレーションした後、ホーム・ページにアクセスし、データがされ
、その後、AJAXを使用していることが判明しない、再発見urlは
2回目のピットは、データのURLですまたそれは、最終的なデータが統計である
最終的なデータにアクセスするには、この次のURLのURLのid行くを介して取得します
# -*- coding: utf-8 -*-
import requests
import json
if __name__ == '__main__':
#批量获取企业id
url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}
id_list = [] # 存储企业id
all_data_list = [] # 存储所有的企业详情数据
for page in range(1,6):
page = str(page)
data={
'on': 'true',
'page': page, #页数
'pageSize': '15',
'productName':'',
'conditionType': '1',
'applyname':'',
'applysn':''
}
json_ids=requests.post(url=url,headers=headers,data=data).json()
for dic in json_ids['list']:
id_list.append( dic['ID'])
#获取企业详情数据
post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
for id in id_list:
data={
'id':id
}
detail_json=requests.post(url=post_url,headers=headers,data=data).json()
# print(detail_json,'--------结束')
all_data_list.append(detail_json)
#储存到本地
fp = open('./allData.json','w',encoding='utf-8')
json.dump(all_data_list,fp=fp,ensure_ascii=False)
print('结束')