python3 url 爬取网页并读写

import urllib.request

#向指定的url地址发送请求,并返回服务器相应的数据(文件的对象)
response=urllib.request.urlopen("http://www.baidu.com")

# #读取文件的全部内容,会把读取到的数据赋值给一个字符串变量
# data=response.read()
# print(data)

#将爬取到的网页写入到文件中
# with open(r"C:\untitled\filel.html","wb")as f:
#     f.write(data)

#读取一行代码
#data=response.readline()

#读取全部内容,会把读取到的数据赋值给一个列表变量
data=response.readlines()
'''
print(data)
print(len(data))
print(type(data[100].decode("utf-8")))
'''



#response属性
#返回当前环境的有关信息
print(response.info())


#返回状态码
# print(response.getcode())
# if response.getcode()==200 or response.getcode()==304:
#     #处理网页信息
#     pass


#返回当前正在爬取的url地址
#print(response.geturl())


#解码
# url="******"
# newurl=urllib.request.unquote(url)
# print(newurl)

猜你喜欢

转载自blog.csdn.net/qq_38636998/article/details/82704571