源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: 学习robots主要搞明白的3个问题 [打印本页]

作者: china001 时间: 2011-11-25 10:46
标题: 学习robots主要搞明白的3个问题

1. robots是什么？
2. robots有什么作用？
3. 如何写robots.txt？

robots是什么？
kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。

robots有什么作用？
kyw的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

如何写robots.txt
用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

原文链接：http://www.seotest.cn/blog/seo-jiaocheng-robots.html
www.crusher-honge.com

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)