抓取网页的逻辑和过程
用户用浏览器，打开某个url地址，然后浏览器就可以显示出对应的页面内容了。这个过程，如果用程序来实现，就可以被称为抓取网页（进行后期的数据提取）对应的英文说法有，website crawl/scrape/data mining 用来抓取网页的工具，常叫做spider,crawler等。
去访问一个url地址，获取对应的网页的过程，其对应的内部机制就是：
准备好对应的http请求（http Request）+提交对应的Http Request
获得返回的响应（http Response）+获取Http Response中的网页源代码
下面介绍这两大步骤的具体操作
url (完整的url=基本的url+查询字符串)
查询字符串参数-----------chrome中称为 query String
例子：https://baidu.com/?k=spider ?以前的就是 基本url, 以后的就是查询的字符串
GET还是POST
1.headers
头信息headers包含很多header，有些是必须的，有些是可选的（根据不同情况可忽略），有时候也能都不需要header.
2.Post Data
如果是POST方法，则还需要填写对应的数据：chrome中称为 Post Data
换句话说：
如果是GET，则是没有POST数据的。
提示：所以，你在IE9中通过F12抓取到的内容中，会看到，对于所有的GET请求，对应的“请求正文（request body）”都是空的。
3.cookie
在模拟登录的时候，往往都会涉及到cookie的
4.其他的一些可能用到的东西
代理proxy
设置最大的超市时间timeout
提交HttpRequest，即可获得此http请求的响应Response（访问URL之后的要做的工作）
获取对应的response，从响应中得到网页的源码等信息
（1）获得返回的网页HTML源码（或json等）
（2）[可选]如果有需要，还要获得对应的cookie
（3）[可选]判断返回的其他一些相关信息，比如response code等
网页抓取过程中的注意事项
（1）直接跳转 （2）间接跳转
A。javascript脚本中有对应的代码实现网页跳转
B。本身所返回的HTML源码中包含refresh动作，所实现的网页跳转
抓取网页后，如何分析获得所需要的内容
一般来说，去访问一个URL地址，所返回的内容，多数都是网页的HTML源码，也有其他一些形式的内容的，比如json等。
我们所想要的则是，从返回的内容（HTML或json等）中，提取我们所需要的特定的信息，即对其进行一定的处理，获得所需信息。
就我所遇到的情况，有几种方法可以实现提取所需的信息：
（1）对于html源码
如果对python中的话，可以通过调用第三方的Beautifulsoup库
参考：https://beautifulsoup.readthedocs.io/zh_CN/latest/ （回退和前进）
直接使用正则表达式提取
参考：https://www.jb51.net/article/65286.htm (边界匹配，特殊构造（不作为分组）)
(2)对于json
参考：https://www.crifan.com/summary_what_is_json_and_how_to_process_json_string/
处理json格式的方法
- Python中，有对应的json库，常用的是json.load，即可将json格式的字符串，转换为对应的字典Dictionary类型变量，很是好用。
- 正则表达式 re模块
http,网页访问，httpRequest,httpresponse相关的知识
https://www.crifan.com/http_web_technology_experience_summary/
chrom浏览器开发工具
https://www.crifan.com/browser_developer_tool_chrome_vs_ie9/