Pythonの爬虫類ラーニング(ファイブ)食品医薬品局(FDA)は、化粧品の生産ライセンスを取得しました

そして、いくつかのピット、ウェブのURL http://125.35.6.84:81/xk/がされてある
だけでシミュレーションした後、ホーム・ページにアクセスし、データがされ
、その後、AJAXを使用していることが判明しない、再発見urlは
2回目のピットは、データのURLですまたそれは、最終的なデータが統計である
最終的なデータにアクセスするには、この次のURLのURLのid行くを介して取得します

# -*- coding: utf-8 -*-
import requests
import json
if __name__ == '__main__':
    #批量获取企业id
    url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
    }
    id_list = []  # 存储企业id
    all_data_list = []  # 存储所有的企业详情数据

    for page in range(1,6):
        page = str(page)
        data={
            'on': 'true',
            'page': page,                #页数
            'pageSize': '15',
            'productName':'',
            'conditionType': '1',
            'applyname':'',
            'applysn':''
        }
        json_ids=requests.post(url=url,headers=headers,data=data).json()
        for dic in json_ids['list']:
           id_list.append( dic['ID'])

    #获取企业详情数据
    post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById'
    for id in id_list:
        data={
            'id':id
        }
        detail_json=requests.post(url=post_url,headers=headers,data=data).json()
       # print(detail_json,'--------结束')
        all_data_list.append(detail_json)
    #储存到本地
    fp = open('./allData.json','w',encoding='utf-8')
    json.dump(all_data_list,fp=fp,ensure_ascii=False)
    print('结束')
公開された23元の記事 ウォンの賞賛0 ビュー676

おすすめ

転載: blog.csdn.net/haimian_baba/article/details/103713089