搜索引擎预处理规则

luyunsky

　　预处理中必不可少的一个环节是去停止词，不管是中文还是英文中总是有一些词在文章中必须出现但是又没有意义的存在，比如中文文章中经常出现的“的”、“地”、“得”这些助词，又或者一些感叹词比如嘿、哈、哇，还有一些副词和介词的比如，从而、以、却。

　　英文文章中经常出现的这类词有 the、a、an、to、of这样的词统一被我们称之为停止词，搜索引擎在爬行文章的时候第一步就是去掉这些词，获得文章中德精髓。一个是减少数据存储，另外可以让数据更加精准。处理完了这些进行的下一步就是消除噪声，我们大部分网站中总有那么些无用的内容，比如标识声明，导航，广告之类的内容这类对用户搜索起来没有任何的意义并且只能干扰网站主题内容的提取，在经历消除噪声后剩下的就是页面内的真正内容。http://zybdf.ycnews.cn/syzybdf