源码论坛公告:本站是一个交流学习建站资源的社区论坛,旨在交流学习源码脚本等资源技术,欢迎大家投稿发言! 【点击此处将锦尚放在桌面

源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

 找回密码
 会员注册

QQ登录

只需一步,快速开始

查看: 519|回复: 0
打印 上一主题 下一主题

[交流] 揭秘:搜索引擎蜘蛛从何爬起

[复制链接]

1144

主题

1129

帖子

2150

金币

中级会员

Rank: 3Rank: 3

积分
5090
QQ
跳转到指定楼层
1#
发表于 2013-9-17 17:37:12 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
  了解搜索引擎工作原理的SEOer都知道搜索引擎蜘蛛这个东西,spider这个东西我们做SEO的都很喜欢在日志中每天都看到他,恨不得分分钟的都让他出现在自己的网站上,为什么呢?因为只有他来了,我们的站点中的内容才有可能被索引,也就是被搜索引擎所收录,也只有被搜索引擎收录之后我们的站点信息才有可能被广大的网民找到并阅览。

  我们先来普及以下什么是搜索引擎蜘蛛(spider),搜索引擎蜘蛛 (又被称为网页蜘蛛,网络机器人等),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。

  我们也知道搜索引擎的工作原理简单的来说是:爬行抓取、预处理、排序这几个重要步骤,要想让站点有一个良好的排序,那么第一步的爬行和抓取是极其重要的。我们今天主要探讨的是诺大的一个互联网世界,海量的信息,亿万级别的网页,那么搜索引擎蜘蛛的出发地是在哪里呢?它这个小东西会从什么地方开始爬行互联网去抓取这些海量的信息呢?

  曾经从官方内部人士透露出来的信息是这样,他们说搜索引擎蜘蛛会从它认为最信任的网站开始爬行,然后顺着这些被信任的页面上出现的URL一直爬下去。这里有一个很重要的关键词“最信任的网站”,那么对于搜索引擎来说什么样的站点他最信任呢?

  我个人的理解是这样的,那些被搜索引擎认可的,有一定权威性的,用户喜欢的站点,你比如说百度的新闻源站点,既然能成为百度的新闻源,那么肯定是被百度认可和信任的,这些站点搜索引擎蜘蛛就会极其频繁的爬行和抓取,至少5分钟一次。

  还有就是对于百度自身来说,自己旗下的产品那肯定也是被非常信任的,比如知道、贴吧等,这些平台我估计蜘蛛就是常驻与此。其实这些问题也不难理解,就像我们显示生活中人际交往是一样的,如果你想打听一件事情,你肯定是从自己身边最信任的人开始打听,然后慢慢延伸。搜索引擎蜘蛛也是如此。当你明白了这个道理,也明白了蜘蛛的爬行起点,那么你是否也明白了如何让一个站点快速的被搜索引擎收录呢?
本文来自: 3152.cc|7681.cc|9829.cc|3987.cc|5973.cc
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享
您需要登录后才可以回帖 登录 | 会员注册

本版积分规则

锦尚中国源码论坛

聚合标签|锦尚中国,为中国网站设计添动力 ( 鲁ICP备09033200号 ) |网站地图

GMT+8, 2024-11-17 16:51 , Processed in 0.143679 second(s), 26 queries .

带宽由 锦尚数据 提供 专业的数据中心

© 锦尚中国源码论坛 52jscn Inc. 非法入侵必将受到法律制裁 法律顾问:IT法律网 & 褚福省律师 锦尚爱心 版权申诉 版权与免责声明