配资杠杆

我的账户
屯溪百科网

自媒体资讯干货

亲爱的游客,欢迎!

已有账号,请

立即登录

如尚未注册?

加入我们
  • 客服电话
    点击联系客服

    在线时间:8:00-16:00

    客服电话

    400-000-0000

    电子邮件

    xjubao@163.com
  • APP下载

    屯溪百科网APP

    随时随地掌握行业动态

  • 官方微信

    扫描二维码

    关注屯溪百科网公众号

屯溪百科网 网站股票配资 资讯列表 资讯内容

网站的优化中要学会用好robots文件

2020-07-10 发布于 屯溪百科网
网站的优化中要学会用好robots文件
搜索引擎蜘蛛在访问网站之前,都会先访问网站根目录下的robots.txt文件。搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。

robots.txt是搜索引擎爬取协议,也就是说你可以通过这个文件告诉搜索引擎,哪些目录不要爬去,一个网站的源码中包含了很多系统文件,而这些文件是不需要展示给用户看的,自然也不需要展示给搜索引擎看,如果你不进行引导,会让搜索引擎的蜘蛛把精力浪费在那些系统文件上,造成资源浪费。

当网站有些页面不希望被引擎抓取到,避免不必要的流量浪费,就可以通过robot.txt文件来完成。只要在该文件下输入相关代码,便可以指定哪些页面可以抓取哪些页面不可以抓取。这也是一种优化URL结果的方法。

只针对于用户的页面,对于搜索引擎来说没有价值的页面,比如一些咨询的页面,注册的页面等等,这些页面收不收录对于排名没有任何影响,我们可以用robots.txt文件进行屏蔽。

有些时候,我们为了节省服务器资源,需要禁止各类搜索引擎来索引我们网站上的图片,这里的办法除了使用“Disallow: /images/”这样的直接屏蔽文件夹的方式之外,还可以采取直接屏蔽图片后缀名的方式。

死链过多,对查找引擎优化来说,是丧命的。不能不导致站长的高度注重。在网站的开展过程中,目录的删去和调整是不可避免的,若是你的网站当时目录不存在了,那有必要对此目录进行robots屏蔽,并回来正确的404过错页面。

写robots.txt要注意的地方:
1. 第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。
2. 斜杠:/ 代表整个网站
3. 如果“/”后面多了一个空格,则屏蔽整个网站
4. 不要禁止正常的内容
5. 生效时间是几天到两个月

有一个误解是:你必须制定一个robots标签。实际上:robots指定了索引与跟踪链接两项权限,如果你不写robots标签,那么就会默认为,允许搜索引擎索引该页面与跟踪该页面链接。只有当你需要改变两项权限其中的一项时,才十分有必要去添加。


文章来源  


1

鲜花
1

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

屯溪百科网

扫一扫二维码关注我们Get最新资讯

相关分类
热点推荐
关注我们
屯溪百科网与您同行

配资杠杆客服电话:400-000-0000

配资杠杆客服邮箱:xjubao@163.com

周一至周五 9:00-18:00

屯溪百科网 版权所有

Powered by 屯溪百科网 X1.0@ 2015-2020