robots.txt文件用法举例

发布者:安平云商网络 来源:http://www.baisoubao.cn/ 发布时间:2012-9-3 11:23:14 浏览量:

安平 

例1.禁止所有搜索引擎访问网站的任何部分User-agent: *
Disallow: /
例2.允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
第1种写法
User-agent: *
Allow: /
第2种写法
User-agent: *
Allow:
第3种写法
User-agent: *
Disallow:
例3. 仅禁止Baiduspider访问您的网站User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站User-agent: Baiduspider
Allow:
/
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分urlUser-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
例7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: / .htm$
例9. 禁止访问网站中所有的动态页面User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /* .jpeg$
Disallow: /* .gif$
Disallow: /* .png$
Disallow: /*.bmp$
例11. 仅允许Baiduspider抓取网页和。gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow: / .jpeg$
Disallow: / .png$
Disallow: /.bmp$
例12. 仅禁止Baiduspider抓取。jpg格式图片User-agent: /Baiduspider
Disallow: /.jpg$
百度各个产品使用不同的user-agent:
  
无线搜索Baiduspider-mobile
图片搜索Baiduspider-image
视频搜索Baiduspider-video
新闻搜索Baiduspider-news
百度搜藏Baiduspider-favo
百度联盟Baiduspider-cpro
商务搜索Baiduspider-ads
网页以及其他搜索Baiduspider

相关新闻:安平robots.txt文件用法举例
冀州区robots.txt文件用法举例
深州robots.txt文件用法举例
枣强robots.txt文件用法举例
武邑robots.txt文件用法举例
武强robots.txt文件用法举例
饶阳robots.txt文件用法举例
景县robots.txt文件用法举例
故城robots.txt文件用法举例
阜城robots.txt文件用法举例
我们可为您提供如下安平网络服务: 安平营销型网站建设 安平百度爱采购 安平阿里淘宝装修 安平支付接口对接 安平程序开发 安平网站维护
(转载请注明转自:http:anping.baisoubao.cn 安平网站建设 谢谢!)
上一篇:安平关进404页面robots禁止蜘蛛爬取的问题?
下一篇:安平各大搜索引擎网站地址收录大全含百度谷歌等