URL标准化和设置 -- 未完

• URL标准化是来自于国外matt cutts的博客文章，期望能给蜘蛛一个规范化的URL作为收录的标准。举个简单的例子，比如起源seo论坛首页，是有多个URL都可以访问的，比如

  www.wocaoseo.com
  wocaoseo.com
  www.wocaoseo.com/index.php
  www.wocaoseo.com/forum.php
  

• 这4个不同的URL对于我们来说，很容易判别是一个首页的四个链接，但是蜘蛛却不这么认为的，它会把这几个页面全部当作重复的页面，而且在链接权重计算上会分开计算，这样当有不同链接指向这4个链接（同一个页面）的时候，权重是不集中的。那么怎么集中权重而且可以让蜘蛛知道这4个页面是一样，让他避免重复抓取而节省抓取时间呢，最好的办法就是把其中的一个作为参考标准，而忽略其他的。

• 被选择为标准的url我们称之为标准化的URL。

• 蜘蛛是怎么判断URL标准化的？

• 一般情况下，蜘蛛根据被外链的数量来判断。采用多的，则是标准化URL。

• 我想告诉蜘蛛我想要的标准化URL，怎么办？

• 采用301重定向进行URL标准化。

• 未完。。。。。。