9 lines of code to achieve entry python reptile

"""
通用爬虫:静态
聚焦爬虫:静态
增量式爬虫:实时爬取网站的最新数据。

Http协议:应用层协议
user-Agent 请求载体的信息
connection 请求完毕后,是断开还是保持连接
Content-type 服务器响应给客户端的数据类型

Https协议
安全的http协议。数据加密。
对称密钥
非对称密钥
证书密钥 :https采用的

URLlib模块,request模块是前者的高级版
作用:模拟浏览器发请求
1 指定URL
2 发起请求
3 获取响应数据
4 持久化存储
"""

import requests
if __name__=="__main__":
    #1 指定URL
    url = 'https://blog.csdn.net/LVGAOYANH'
    #发起请求
    response =  requests.get(url=url)
    #获取响应数据
    page_text = response.text
    print(page_text)
    #持久化存储
    with open("h:\\test.txt",'w',encoding='utf-8')as fp:
        fp.write(page_text)
    print("爬取数据完毕")











 

Published 97 original articles · won praise 42 · views 120 000 +

Guess you like

Origin blog.csdn.net/LVGAOYANH/article/details/104595330