8年网站建设、推广经验!服务客户2000+
微信关注
扫一扫,享优惠!
咨询电话:400-888-2014;座机:029-81627176;手机/微信:153 5370 4270
建站百科

您现在的位置:主页 > 心海资讯 > 建站百科 >

  • 推荐文章
  • 瓜瓜技术公司花10万美元
    瓜瓜技术公司花10万美元购买guagua.com域名 英国《卫报》25日报导,薄家人以10万美元为薄瓜瓜购下瓜瓜网的网址guagua.com。这一网址注册到了瓜瓜技术公司名下。这家公司是由......
    201205/13
  • 西安网站建设教你如何建
    西安网站建设教你如何建设完美的企业网站 随着互联网事业的发展,越来越多的重复性和高仿的网站层出不穷,甚至是一些模板网站建设的出现,都让网站建设的特色有了一定的局......
    201206/03
  • 西安问答网站类网站建设
    西安问答网站类网站建设 提起问答服务,人们往往会想起百度知道、新浪爱问等流行网站。但它们普遍存在一个问题:由于用户提出的问题全都是由热心网友解答的,常常无法获 得......
    201206/26
  • 网站建设公司之发展趋势
    网站建设公司之发展趋势团队化 之前在站长年会上也强调过现在不是个人站长打天下了,不是一个人,一台电脑就可以去创业,个人站长打天下时代已经结束,这句话说出了互联网的竞......
    201205/24
  • 织梦5.7评论功能不能用,
    很久没用织梦的评论功能了,因为考虑到安全方面,所以一般做企业站把很多功能就直接删掉了,今天又客户要加,我加上后就是显示不对,和织梦官方的演示网址显示一样, 总之......
    201310/13
  • 西安网站制作公司不要浮
    西安网站制作公司不要浮躁,如今社会要淡定 这段时间一直在整理被降权的网站,再加上和同事行业站长们的沟通,感觉到现在做百度优化越来越艰难了。同时又很多时候得不到客......
    201305/27
  • 相关文章
  • 西安网站建设业务流程
    网站建设业务流程: 客户提出需求: 客户通过电话、电子邮件或在线订单方式提出自己网站建设方面的基本需求。 涉及内容包括: 1、公司介绍 2、栏目描述 3、网站......
    201705/03
  • 做网站一年做总结网站建设行业的一些教训
    2012年8月,开始正式操作西安网站建设,和小丽一起把心海网络一点点做起来,到几年十月,积累客户140多个,算是不小的收获了,这一年多,总结了很多教训: 1、客......
    201310/10
  • 2013年2月份IDC排行榜
    作为网站建设行业的,我觉得有必要了解最新的idc行业动态,以便更好的为企业服务! 中国IDC评述网03月04日报道:据IDC评述网最新数据显示,2013年2月份,全国IDC......
    201305/24
  • 如何让自己的网站排到百度首页
    西安网站建设公司帮你如何把自己的网站排到百度第一位,详询:薛经理:153 5370 4270 029—81627176 地址:陕西省西安市未央区龙首村公园壹号一号楼1815室。......
    201303/13

网站建设robots的书写规范

心海网络:2015-01-19 15:26     阅读数:
1、Sitemap: http://www.***.com/sitemap.xml
(此处请填写XML地图的绝对路径,即完整URL,如果按习惯填写Sitemap: /sitemap.xml,提交后会提示:检测到无效的 Sitemap 网址;语法错误。

2. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。

3,"User-agent:*"这样的记录只能有一条
Disallow:   该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。


4、一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。

 "$" 匹配行结束符。   "*" 匹配0或多个任意字符。
在线客服
热线电话
400-888-2014
029-81627176
153 5370 4270

扫一扫微信咨询