搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。
搜索的三部曲：1,搜集数据 2,处理数据 3,查询数据
Crawler
seeds
像所有的爬虫进程一样，需要一个存放在文本中的种子（seed）列表。它的其他参数有：
- 发出链接—— 用于从一个种子的抓取结果指定需进一步抓取的链接。
- 深度—— 为种子（seed）限定的URL深度。
- 抓取类型—— 同时多种深度或者一次一种深度
- URL数量—— 指定最大可抓取的URL数量。
- MIME类型—— 指定抓取的页面类型
- 分析选项—— 有多种分析类型供选择，如关键字匹配，正则表达式匹配，运行客户程序进行分析等。
运行任务时，爬虫从起初提供的种子开始抓取Web页面，参考发出链接的设置，对抓取的内容进行分析。它提供了简单的分析，如指定匹配关键字 或基于正则表达式筛选信息。
动态网页
静态网页不多，下载的网站多以动态页面为主。除非有特别针对动态网页做静态话的。对于搜索引擎而言，动态网页，没有静态网页利于抓取。因为动态网页中，包含很多脚本。所以，可以采取如下的两种方法：
1，抓取html和js，利用js引擎，最终生成整个页面的DOM TREE
2，将抓取到的网页，交给webkit (浏览器)运行产生结果后再利用
扩展策略
抓取连接的策略，比如是深度还是广度优先
Politeness
爬虫会对一个站点去抓网页，但是这样很有可能给网站带来流量的消耗，导致网站不可用，所以需要有所控制。一般是通过控制IP在某个时间段内的流量和频度。一般Crawler的ip会变的，会分配一些IP供爬虫来用，防止被抓取的网站屏蔽IP。
Robots.txt ->该文本文件会放在网站的根目录下，只是一种建议，告知爬虫哪些可以抓取，哪些不可以抓取，但是这个不是强制的。像淘宝就禁止百度的爬虫。其robots.txt的文件内容为：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
Trap
爬虫的抓取需要有节制，可以根据URL Pattern，或者判断目录下的东西是否有价值，无价值就停止抓取。
刷新
信息在变，需要一定的频度来抓取，根据信息变化的频率，来对其进行升级和降级处理
索引器
网页去重:去除重复内容和链接等
页面分析，格式转换：word,pdf这些还好，对于flash就比较麻烦，因为其中包含很多ActionScript
分词：根据此表，对内容进行分词，有些专用的名词，需要自己维护。
倒排索引：区别于正排索引，有时候索引比较大，需要压缩。正排索引，利于过滤和排序。倒排索引便于查询。
文本相关性：spam，对于cheat(比如关键词非常多)的直接删除索引
屏蔽敏感词
