1，网络爬虫的定义
网络爬虫（Web Spider），把互联网比作一张蜘蛛网，Spider就是在这张蜘蛛网上面爬来爬去的蜘蛛。Spider从网站的某一个页面开始读取网页内容，找到这个网页的链接地址，然后通过这个链接地址找下一个网页内容，这样一直循环直到将整个网站的所有网页抓取完为止。
2，浏览网页的过程
浏览器中输入“www.baidu.com”后，向服务器发送了一次请求，把服务端的文件抓取过来，浏览器再进行解析、展现出来给我们看。HTML是一种标记语言，用标签标记内容并加以解析和区分。
3，URI的理解
我们通常看到的是类似“www.baidu.com”这样的是URL，这样在浏览器里面输入的字符串。
那么URI是什么呢？Web上每种资源，如html文档、图像、视频、程序等都是一个通用资源标识符（Universal Resource Identifier，简称URI）进行定位。
URI分为三个部分组成：
①，访问资源的命名机制
②，存放资源的主机名
③，资源自身的名称，由路径表示。
比如：http://xiaojingjing.iteye.com/admin/blogs/new ，这个就是URI。我们可以这样解释：
①，这是通过http协议访问的资源
②，位于主机xiaojingjing.iteye.com上
③，通过路径“/admin/blogs/new”来访问
4,URL的理解
URL是URI的一个子集，它是Uniform Resource Locator的缩写，意思是“统一资源定位符”。
可以说URL是Internet上描述信息资源的字符串，采用URL可以用统一的格式来描述各种信息资源，包括文件、服务器地址和目录等，主要用在www客户端和服务器程序上。
URL分为三个部分组成：
①请求协议（或称为服务方式）
②存放该资源主机的IP地址，有时候也包括端口号。
③主机资源的具体位置，如目录和文件名等。
爬虫最重要的处理对象是URL，它根据URL地址取得所需要的文件内容，然后对它进一步处理。因此，准确的理解URL对理解网络爬虫至关重要。