百度蜘蛛的爬行和抓取原理

lisa58 · 发表于 2012-6-2 16:12:53

   相信所有SEO(搜索引擎优化)er都知道搜索引擎用户来爬行和访问页面的程序被称为蜘蛛（spider）或者我们也可以称之为机器人（bot）。搜索引擎蜘蛛访问网站页面时就好比我们普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回到HTML代码，蜘蛛程序把收到的代码存入到页面数据库。
为了抓取网上尽可能多的页面。搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛名称的由来。
  最简单的爬行策略分为两种，一个是深度优先，另一个是广度优先。
  所谓深度优先，指的是蜘蛛沿着发现的一个链接一直向前爬行，知道前面再也没有其他链接，在返回到第一个页面，沿着另一个链接再一直往前爬行。
广度优先是指蜘蛛在一个页面发现多个链接时，不是顺着一个链接一直先前爬行，而是把所有页面的第一层链接全部爬完，然后沿着第二层页面发现的链接爬向第三层页面。
从理论上讲，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，都能爬完整个网站。不过在实际工作中，蜘蛛的宽带有限，不可能爬完所有页面。实际上最大的搜索引擎也只是爬行和收录的互联网的一小部分。由此可见，理论上蜘蛛能爬行和抓取所有页面，但实际上不能。SEO(搜索引擎优化)er要想让自己更多的页面被收录，就要想方设法的吸引蜘蛛来抓取。

  文章由http://www.csws1.com/html/9946/1440.html转载请保留链接

pc865 · 发表于 2012-8-17 10:59:14