爬虫就是获取网页并提取和保存信息的自动化程序
1.获取网页
爬虫首先要做的就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到，就可以从提取信息了。
向网站服务器发送一个请求，返回的响应体就是网页的源码。
2.提取信息
获取网页源码后，提取信息就是分析网页源码，从中提取想要的数据。通用的方法是使用正则表达式。这个方法时万能的，但构造正则表达式比较复杂。
我们利用网页的结构化特点，可以使用一些根据网页节点属性、CSS选择器或XPath来获取网页信息的库，如：BeautifulSoup、pyquery、lxml。这些可以快速获取网页中的信息。如节点的属性，文本等。
3.保存数据
提取信息后，我们需要对数据进行持久化。如保存为t本地ext文件，json文件，或者保存到数据库中(Mysql,MongoDB等)，也可以保存到远程的服务器(如：借助SFTP进行操作)。
4.自动化程序
当数据量特别大或者获取大量的数据时，需要借助程序。爬虫就是代替人来完成爬取信息的自动化程序。它可以在抓取信息过程中进行各种异常处理、错误重试等操作，确保爬取持续高效进行。