搜索引爬虫
搜素引爬虫只能分析文本、网页链接和一些网页HTML标记代码，然后根据每个页面上的文字统计分析，推断出你网页的性质、质量和主题相关性。以下内容是大多数搜索引看不见的：1. 图片，标题，标语和公司标志中的文本。2.动画内容、视频内容、音频内容。3.文本内容非常少且未标记的图片非常多的网页。4.网站导航中包含了滚动图片、老旧的图形链接或HTML语言。5.基于 Javascript或其他动态代码生成的导航链接（Web爬虫通常不会执行javascript代码)6.内容中含有 RSS feeds 7和其他依赖于 Javascript 的文本。
