robots禁止搜索引擎收录图片

目前百度图片搜索也使用了与百度网页搜索相同的spider,如果想禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现:


禁止Baiduspider抓取网站上所有图片

仅允许抓取网页,禁止抓取任何图片。

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$



仅允许Baiduspider抓取网页和.gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片

User-agent: Baiduspider

Allow: /*.gif$

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.bmp$


仅禁止Baiduspider抓取.jpg格式图片

User-agent: Baiduspider

Disallow: /*.jpg$


附各大蜘蛛名字:

百度蜘蛛:baiduspider

搜狗蜘蛛:sogou spider

360搜蜘蛛:360spider

google蜘蛛:googlebot

yahoo蜘蛛:slurp

bing蜘蛛:bingbot