禁止搜索引擎的爬虫

 

拦截所有搜索引擎把网页收录:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

只是拦截百度蜘蛛爬取网页,而允许其他搜索引擎收录: 

<META NAME="baiduspider" CONTENT="NOINDEX, NOFOLLOW">

允许搜索引擎收录你的网页,但禁止其追踪外部链接:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

允许搜索引擎收录你的网页,但禁止其收录网页上的图片:

<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">

猜你喜欢

转载自limon87.iteye.com/blog/837256