源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: 关于robots应该写入那些内容解析 [打印本页]

作者: 广知不易 时间: 2013-10-27 11:52
标题: 关于robots应该写入那些内容解析
随着百度对360的状告，robots一鸣天下知，大家都知道了什么是robots，他是用来干嘛的，所以小编在这就不多说了，本章的主题是robots中应该写入那些内容，那些内容是不必要让蜘蛛抓取的，如果一些不必要的内容被蜘蛛抓取了，第一，他有可能会泄露你网站不想让别人看到的信息，第二是浪费资源。好现在我们就罗列一下那些内容是不必要抓取的。
分别是：后台管理文件
         程序脚本
         附件
         数据库文件
         编码文件
         样式表文件
         模版文件
         导航图片
         背景图片
一般情况下还有就是公司的介绍，也不让抓取，一些插件。只让他抓取，文章新闻的部分，方便收录，当网站有一些权重，排名后，就可以看一些网站的日志文件，来做出相应的调整
如果说上面写得太笼统的话，大家可以去看一下，我做到邮轮乘务网www.intlcruisejob.com的robots文件，相信方法大家都知道了，小编就不多说啰嗦了，以上就是本章的内容，谢谢大家的支持。

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)