版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/duozhishidai/article/details/88088285
大量的数据散落在互联网中，要分析互联网上的数据，需要先把数据从网络中获取下业，这就需要网络爬虫技术。
网络爬虫是搜索引擎抓取系统的重要组成部分，爬虫的主要目的是将互联网上网页下载到本地，形成一个或联网内容的镜像备份。
网络爬虫的基本工作流程如下：
1.首先选取一部分种子URL
2.将这些URL放入待抓取URL队列
3.从待抓取URL队列中取出待抓取的URL,解析DNS，得到主机的IP，并将URL对应的网页下载下来，存储到已下载网页库中，此外，将这些URL放入已抓取URL队列。
4.分析已抓取到的网页内容中的其他URL,并将URL放入待抓取URL队列，从而进入下一个循环。
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
网络爬虫是什么，我们为什么要学习网络爬虫
http://www.duozhishidai.com/article-14888-1.html
Python和R语言对比，数据分析与挖掘该选哪一个?
http://www.duozhishidai.com/article-21757-1.html
Python工程师与人工智能工程师之间，最根本的区别是什么?
http://www.duozhishidai.com/article-14635-1.html
为什么要学习Python，有哪些优缺点，应该如何上手？
http://www.duozhishidai.com/article-1784-1.html
