源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: 百度会收录符合用户搜索体验的网站和网页 [打印本页]

作者: bawg002 时间: 2012-1-4 23:12
标题: 百度会收录符合用户搜索体验的网站和网页
您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法，参见：如何撰写Robots文件。
如果您的网站在被百度收录之后才设置Robots文件禁止抓取，那么新的Robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots.txt禁止收录以前百度已收录的内容，从搜索结果中去除可能需要数月的时间。
如果您的拒绝被收录需求非常急迫，可以在投诉中心反馈，我们会尽快处理。为什么我的网站内一些不设链接的私密性网页，甚至是需要访问权限的网页，也会被百度收录？
Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
　　A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
　　B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过投诉中心反馈给我们进行解决。文章由好看189影视网回收：http://www.eee189.com资源整理分享

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)