Python作为一门胶水语言，能够在众多领域流行起来的一个很重要的原因是python具有强大的第三方库。这样就可以拾取线程的零件组装一个完整的程序。这就好比某知名厂商一样，核心部件均购买自国外，然后进行组装，贴上巨大的logo即可。在科技领域这样做是没有核心竞争力的，赚得的钱都被国外零件厂商瓜分殆尽。但是在爬虫领域这却是一个非常友好的现象，因为我们不需要再重新写一遍已经存在的东西了。这些第三方库可以使我们的爬虫起到事半功倍的效果。
1.BeautifulSoup库
在pycharm中安装
1.1打开Pycharm，在菜单栏选择File ——>Settings
1.2在弹出的对话框选择Project Interpreter
1.3在对话框右侧点击 + 按钮，进行添加
1.4 在弹出的对话框搜索栏输入BeautifulSoup，然后勾选Install to user site，最后点击Install Package即可
2.Requests库
安装步骤如上
3.Python自带库
urllib 是 Python 的标准库（就是说你不用额外安装就可以运行这个例子），包含了从网络请求数据， 处理 cookie，甚至改变像请求头和用户代理这些元数据的函数。我们将广泛使用 urllib，所以建议你读读这个库的 Python 文档（https://docs.python.org/3/library/urllib.html）。urlopen 用来打开并读取一个从网络获取的远程对象。因为它是一个非常通用的库（它可以轻松读取 HTML 文件、 图像文件，或其他任何文件流）