分析搜索引擎如何首先抓取最重要的网页？

andi_huang · 发表于 2012-6-9 17:45:02

　　搜索引擎面对海量的网页，他们并不是平行的抓取每一个网页，由于无论搜索引擎数据库怎样扩张，都是无法跟上网页的增长速度，搜索引擎会优先抓取最重要的网页，一方面节省数据库，一方面对普通的用户也是有协助的，由于，对用户来说，他们并不需求海量的后果，只需求最重要的后果。所以说一个好的搜集战略是优先搜集重要的网页，以便可以在最短的工夫内把最重要的网页抓取过去。　　那么搜索引擎如何首先抓取最重要的网页?

　　经过对海量的网页特征剖析，搜索引擎以为重要的网页有如下的根本特征，虽然不一定完全精确，但是大少数时分的确是这样的：　　1) 网页被其他的网页链接的特点，假如被链接的次数多或许被重要的网页所链接，则是很重要的网页;

　　2) 某网页的父网页被链接的次数多或许被重要的网页所链接，比方一个网页是一个网站的内页，但是其首页被链接的次数多，而首页也链接了这个网页，则阐明这个网页也比拟重要;　　3) 网页的内容被转载传达的广。

　　4) 网页的目录深度小，易于用户阅读到。这里定义“URL 目录深度”为：网页 URL 中除去域名局部的目录层次，即URL 为http:// www. domain.com，则目录深度为 0;假如是 http:// www. domain.com/cs，则目录深度为 1，一次类推。需求阐明的是，URL 目录深度小的网页并非总是重要的，目录深度大的网页也并非全不重要，有些学术论文的网页 URL 就有很长的目录深度。少数重要度高的网页会同时具有上述 4 个特征。　　5)优先搜集网站首页，并赋予首页高的权重值。网站数目远小于网页数，并且重要的网页也必定是从这些网站首页链接过来的，因而搜集任务该当优先取得尽能够多的网站首页。

　　这里成绩就随之呈现，搜索引擎开端抓取网页的时分，能够既不晓得网页被链接的状况也不晓得被转载的状况，换句话说，最开端的时分他并不能晓得后面3项的特征，这些要素只能在取得网页或简直一切的 Web 链接构造之后才干够晓得。那么怎样处理这个成绩呢?那就是特征4和5是可以在抓取的时分就能晓得的，只要特征 4 是不需求晓得网页的内容(没有抓取网页之前)就可以确定某个 URL 能否契合“重要”的规范，而且网页 URL 目录深度的计算就是对字符串的处置，统计后果标明普通的 URL 长度都小于 256 个字符，这使得 URL 目录深度的判别易于完成。所以关于搜集战略确实定，特征 4 和5是最值得思索的指点要素。　　但是，特征 4 和5具有局限性，由于链接的深度并不能完全标明这个网页的重要水平。那么怎样处理这个成绩?搜索引擎采用如下的方法：

　　1) URL 权值的设定：依据 URL 的目录深度来定，深度是多少，权值就增加多少，权值最小为零。　　2) 设定 URL 初始权值为一个固定的数值。

　　3) URL 中呈现字符”/”，”?” ，或”&” 1 次, 则权值减一个数值，出　　现”search”，”proxy”，或”gate” 1 次，则权值减一个数值;最多减到零。(包括”?”，

　　或”&” 的URL 是带参数的方式，需求经过被恳求方顺序效劳取得网页，不是搜索引擎零碎侧重的静态网页，因而权值相应降低。包括”search”，”proxy”，或”gate” ，阐明该网页极大能够是搜索引擎中检索的后果页面，代理页面，因而要降低权值)。　　4) 选择未拜访 URL 的战略。由于权值小不一定阐明不重要，所以有必要

　　给一定的时机搜集权值小的未拜访 URL 。选择未拜访 URL 的战略可以采用轮番的办法停止，一次依照权值排序取，一次随机取;或许 N次随机选取。　　当搜索引擎抓取了少量的网页的时分，然后进入到一个阶段，对网页停止后面3个特征的判读，再经过少量的算法判别网页的质量，然后给予绝对的排名。

　　本文来源自最新股评http://www.niulaile.com/stockblog/,转载请保留链接。