准备工作
requests、Beautiful Soup、MongoDB
抓取分析
在抓取之前首先分析抓取的逻辑，打开今日头条的首页https://www.toutiao.com/如图
右上角有一个搜索入口，这里尝试抓取街拍美图，所有输入“街拍”二字，搜索一下，结果如下图所示：
这时打开发者工具，查看所有网络请求，首先打开第一个网络请求，这个请求的URL就是当前的链接：https://www.toutiao.com/search/?keyword=街拍，
刷新一下界面，查看响应结果，如下没有找到页面上的内容
切换到XHR查看，找到了我们需要的信息
article_url就是内容详细的链接
再看一下Headers,这是我们需要构造的请求参数
进入内容详细页查看响应信息，找到了每个图片链接的页面是在Doc：
