Python3.0

爬虫运用的模块

#请求响应

import requests

import re

#解析文本

from bs4 import BeautifulSoup as  XX

from lxml import etree

import urllib.parse(等价于之前版本的 import urlparse)

数据存储

import json

       json.dump()                   json.load()

扫描二维码关注公众号，回复： 2724865 查看本文章

      json.dumps()                   json.loads()

import csv

      csv.writer()                    csv.reader()

      csv.writerow()               csv.writeeows()

文件流

import codecs

codecs.open()

#python 默认为ASCII码，此模块可以输入utf-8编码