- 推荐文章
-
塑料瓶的神奇!
大胆的奇想,赶快来试试吧! 这些环保的小工艺品希望你能喜欢!赶快支持一下我们吧!西安网站设计公司感谢您的支持!......201409/13
-
三千左右组装电脑配置参
一般小型办公三千左右的主机组装基本可以满足了。 如果做图或者视频可以要显卡好一点,cpu现在基本都是i系列的双核处理器或者以上配置。 下面晒一下我2009年到2015年间用过......201509/20
-
今年的夏天不再用空调
今年的西安真是超级凉快,夏天就过去了,可能是下雨多的原因,连续下了半个月真是快发霉的节奏......201409/22
-
西安网站建设公司如何定
西安网站建设公司 如何定位自己发展路线,联系人:薛经理,电话:153 5370 4270 地址:陕西省西安市未央区龙首村十字公园壹号一号楼1815室。 网络这行,说实话现在很多公司......201305/18
-
微耕机参数
......201607/01
-
【视频】四川康定地震现
......201411/22
- 相关文章
-
西安网站建设业务流程
网站建设业务流程: 客户提出需求: 客户通过电话、电子邮件或在线订单方式提出自己网站建设方面的基本需求。 涉及内容包括: 1、公司介绍 2、栏目描述 3、网站......201705/03
-
做网站一年做总结网站建设行业的一些教训
2012年8月,开始正式操作西安网站建设,和小丽一起把心海网络一点点做起来,到几年十月,积累客户140多个,算是不小的收获了,这一年多,总结了很多教训: 1、客......201310/10
-
2013年2月份IDC排行榜
作为网站建设行业的,我觉得有必要了解新的idc行业动态,以便更好的为企业服务! 中国IDC评述网03月04日报道:据IDC评述网新数据显示,2013年2月份,全国IDC品牌......201305/24
-
西安网站建设对于企业选购网站空间的几点见解
西安网站建设对于企业选购网站空间的几点见解......201208/13
网站建设robots的书写规范
心海网络:2015-01-19 15:26 阅读数:
1、Sitemap: http://www.***.com/sitemap.xml
(此处请填写XML地图的绝对路径,即完整URL,如果按习惯填写Sitemap: /sitemap.xml,提交后会提示:检测到无效的 Sitemap 网址;语法错误。
2. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。
3,"User-agent:*"这样的记录只能有一条
Disallow: 该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
4、一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。
"$" 匹配行结束符。 "*" 匹配0或多个任意字符。
(此处请填写XML地图的绝对路径,即完整URL,如果按习惯填写Sitemap: /sitemap.xml,提交后会提示:检测到无效的 Sitemap 网址;语法错误。
2. 如果你的网站是动态网页,并且你为这些动态网页创建了静态副本,以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引,以保证这些网页不会被视为含重复内容。
3,"User-agent:*"这样的记录只能有一条
Disallow: 该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
4、一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。
"$" 匹配行结束符。 "*" 匹配0或多个任意字符。
上一篇:两个路由器连接如何配置在同一个局域网内?
下一篇:西安域名注册不能再通过淘宝购买