返回首页
[登录] [注册]

小心搜索引擎收录你的后台页面

[日期:2009-08-08]   来源:碧波荡漾-电脑知识学习网  作者:熊苏苏   [字体:五分PK10网址 五分PK10注册]

    想让搜索引擎大量收录我们的文章总是很困难,不想让它收录的后台页却被收录了,这样的情况,不知道站长朋友碰到过没有?被搜索引擎无情收录了后台,别人一输入site:www.mybbdy.com,就可以把你的后台地址暴露无遗,是不是很郁闷的事?别急,虽然我们很难让搜索引擎收录我们希望收录的页面,但是我们很容易做到让搜索引擎不收录我们不希望它收录的页面,跟本站一起学习一下。

    一旦你遇到这样的情况时,我们常用的办法有两个:一是编辑robots.txt文件;或在不想被收录的页面头部放置META NAME="ROBOTS"标签。

    robots.txt文件,是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件,搜索引擎就可以知道在你的网站中,哪些文件是可以被索引的,哪些文件是被拒绝索引的。

    在很多网站中,站长们都忽略了使用robots.txt文件。因为很多站长都认为,自己的网站没有什么秘密可言,而且自己也不太会使用robots.txt的语法,因此一旦写错了会带来更多的麻烦,还不如干脆不用。

    其实这样的做法是不对的。在前面的文章中我们知道,如果一个网站有大量文件找不到的时候(404),搜索引擎就会降低网站的权重。而robots.txt作为蜘蛛访问网站的第一个文件,一旦搜索引擎要是找不到这个文件,也会在他的索引服务器上记录下一条404信息。

    虽然在百度的帮助文件中,有这样的一句话“请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。”但是我个人还是认为建立robots.txt还是必须的,哪怕这个robots.txt文件是一个空白的文本文档都可以。因为我们的网站毕竟不是仅仅会被百度收录,同时也会被其他搜索引擎收录的,所以,上传一个robots.txt文件还是没有什么坏处的。

相关文章
相关评论