源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: Robots禁止一个月后又开放，百度多久会来抓取 [打印本页]

作者: 诱惑你的情 时间: 2011-11-9 14:05
标题: Robots禁止一个月后又开放，百度多久会来抓取
我的网站羽绒服十大品牌 http://www.yuanshengdai.com/ 8月底大更新之前，网站是小偷程序，收录9万
8月底大更新，K的只剩下首页，应该K的，我认了
9月15日，旧程序删除，robots已经屏蔽旧程序url，并更换新的正常CMS程序，老实做站
9月15日至今 10月28日了，apache日志分析，百度早抓取了robots，并每日都是抓取2-4万次旧程序url，返回404，除了首页抓取数百次，新url任何页面日志中一次都不抓取，site结果还是首页
提问：robots禁止这么久了，百度还在抓取旧url，要等待多久，新url才会来抓取？
备注：
1.robots通过google网站管理员工具输入多种url测试robots，是正确的
2.站内链接很通畅
3.外链domain近一万，每日也去推广网站，并且发布的外链被收录，百度蜘蛛从外链过来新url也没问题

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)