在学过Python的基础语法之后,开始学习爬虫,今天是学习的第一天。
了解了什么是爬虫,安装Charles软件可以很清楚该软件实时对浏览器的数据进行爬取。
自己之后再PyCharm自己动手编写了对网页信息的爬取,其程序如下所示:
import urllib.request#爬取网页信息需要urllib包
#向指定的url地址发起请求,并返回服务器相应的数据(文件的对象)
response=urllib.request.urlopen("http://www.baidu.com")
#读取网页的全部内容
data=response.read()
print(data)
#将爬取到的数据存储到文件
with open(r"C:\Users\Administrator\Desktop\file\file1.html","wb") as f:
f.write(data)
还有另一种把爬取的网页信息存储到本地文件中的方法
#爬取网页信息需要urllib包
import urllib.request
urllib.request.urlretrieve("http://www.baidu.com",filename=r"C:\Users\Administrator\Desktop\file\file3.html")