剖析robots.txt文件中应该屏蔽哪些目录

一个合格的网站,必须在根目录下包含一下robots.txt文件,这个文件的作用对所有运营网站的朋友来说并不陌生,网上也提供了很多制作robots.txt文件的方法和软件,可谓相当方便。但是,你真的知道网站的robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、

一个合格的网站,必须在根目录下包含一下robots.txt文件,这个文件的作用对所有运营网站的朋友来说并不陌生,网上也提供了很多制作robots.txt文件的方法和软件,可谓相当方便。但是,你真的知道网站的robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?

那下面带着这些疑问,笔者会进行详细的解答,希望对新手站长朋友们有所帮助,老鸟勿喷。

一、什么是robots.txt

笔者引用百度站长工具中后段话来解释。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站有什么好处

1、快速增加网站权重和访问量;

2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度;

3、为搜索引擎提供一个简洁明了的索引环境

三、哪些网站的目录需要使用robots.txt文件禁止抓取

1)、图片目录

图片是构成网站的主要组成元素。随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站,而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。如果你非要用这种网站的话,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img;

2)、网站模板目录

如上面 图片目录 中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余,且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录,因此,应该进行模板目录的屏蔽。通常模板目录的文件目录是:templets

3)、CSS、JS目录的屏蔽

CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是:CSS 或者 style

JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境;

4)、屏蔽双页面的内容

这里拿DEDECMS来举例吧。大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。

5)、模板缓存目录

很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多使用CMS建站的朋友都没有注意到,必须要引起重视。

6)被删除的目录

死链过多,对搜索引擎优化来说,是致命的。不能不引起站长的高度重视,。在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值 或者 文件,而不应该是:URL,以防止搜索引擎返回200的状态码。至于怎么设置,网上教程很多,大家要吧搜索一下)

这里有一个争议性的问题,关于网站后台管理目录是否需要进行屏蔽,其实这个可有可无。在能保证网站安全的情况下,如果你的网站运营规模较小,就算网站管理目录出现在robots.txt文件中,也没有多大问题,这个我也见过很多网站这样设置的;但如果你的网站运营规模较大,竞争夺手过多,强烈建议千万别出现任何你网站后台管理目录的信息,以防被别有用心的人利用,损害你的利益;其实搜索引擎越来越智能,对于网站的管理目录还是能很好的识别,并放弃索引的。另外,大家在做网站后台的时候,也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

最后,需要说明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这里并不是去屏蔽搜索引擎,而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下:1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;

转载时注明:绿壳鸡蛋http://www.zangji.com/原创发布。

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

织梦DEDECMS 栏目文章文章命名规则修改, 每次添加栏目的时候 都要改文章命名规则,十分麻烦, 修改下面这个地方就可以一改永亦,织梦模板网为您解答 找到\include\common.inc.php 搜索 $cfg_df_namerule 把: $cfg_df_namerule = {typedir}/{Y}/{M}{D}/{aid
当我们通过{dede:arclist keyword=关键词}来调用文章列表时,你会发现只在其中一个栏目里生效,在其他栏目,仍然显示上一次的关键词。 原因是由于arclist的缓存导致的。 只需修改/include/taglib/arclist.lib.php文件,大概在384行: $taghash = md5(seriali
我们在使用织梦dedecms数据库内容替换时候,经常遇到 安全码 显示的无法识别或者不清晰,这个安全码的位置是在核心 - 批量维护 - 数据库内容替换,如果识别不了,这个页面还没有改变验证码的地方,只能重新刷新页面,如果我们不想要这个安全码的话,要怎么操
今天一个客户在安装织梦dedecms时候,安装完成后登录后台就出现Safe Alert Request Error step 2,常用dedecms的朋友都知道,这是织梦的安全机制,在程序觉得有sql注入等攻击时候,会有这种提示。 1、起初我以为是文件没传全,让这个朋友重新传了文件上去安
很多人在修改织梦会员中心模板的时候 会遇到 明明修改了,为什么还是原来样式?确认文件没有修改错误的情况下,可能是缓存问题,你 只要把 /data/tplcache/ 里面的文件全部删除,重新访问即可。
dede织梦搜索伪静态,伪静态设置成功后,访问URL地址效果如下: 搜索页 http://www.baidu.com/search/织梦.html 搜索分页 http://www.baidu.com/search/织梦-2.html 本教程也适用于手机端。 开启伪静态: 后台-系统参数-核心设置-开启伪静态 后台-系统参数-