关于robots应该写入那些内容解析

广知不易 · 发表于 2013-10-27 11:52:20

随着百度对360的状告，robots一鸣天下知，大家都知道了什么是robots，他是用来干嘛的，所以小编在这就不多说了，本章的主题是robots中应该写入那些内容，那些内容是不必要让蜘蛛抓取的，如果一些不必要的内容被蜘蛛抓取了，第一，他有可能会泄露你网站不想让别人看到的信息，第二是浪费资源。好现在我们就罗列一下那些内容是不必要抓取的。
分别是：后台管理文件
         程序脚本
         附件
         数据库文件
         编码文件
         样式表文件
         模版文件
         导航图片
         背景图片
一般情况下还有就是公司的介绍，也不让抓取，一些插件。只让他抓取，文章新闻的部分，方便收录，当网站有一些权重，排名后，就可以看一些网站的日志文件，来做出相应的调整
如果说上面写得太笼统的话，大家可以去看一下，我做到邮轮乘务网www.intlcruisejob.com的robots文件，相信方法大家都知道了，小编就不多说啰嗦了，以上就是本章的内容，谢谢大家的支持。

		自动登录	找回密码
密码			会员注册

[原创] 关于robots应该写入那些内容解析