源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: 网站万能小偷采集规则编写教程二（中级版） [打印本页]

作者: 洪七公 时间: 2016-6-29 01:13
标题: 网站万能小偷采集规则编写教程二（中级版）
在基础版教程中只做了写简单的文字及LOGO替换。
本帖中级教程中的内容有：搜索的处理，广告过滤，去掉多余区域（如登陆框、友情链接、JS特效等等）。
------------------------------------------------------------------------
程序要求：万能小偷2.3以上版本
目标站点：http://v57.demo.dedecms.com/ （dedecms的官方演示站）
选择理由：单域名、稳定、未防盗链
------------------------------------------------------------------------
首先在后台【添加】采集节点。
通过查看目标站源代码我们已经知道：标题，编码，搜索地址。如图：

然后看有哪些需要去掉的部分。首页的有这些，如图红框内：

一共有3个地方。首先处理顶部的滚动文字，经过搜索发现这是一个JS调用的。

编写一条过滤，这里用正则过滤处理，当然你也可以用字符串全部替换掉

{vivi replace=''}<span id="time" class="time">(.*)</span>{/vivi}

[color=rgb(51, 102, 153) !important]复制代码
再处理顶部的图片广告，是这段代码：

过滤代码

{vivi replace=''}<div class="banner">(.*)</div>{/vivi}
{vivi replace=''}<div class="banner2">(.*)</div>{/vivi}

[color=rgb(51, 102, 153) !important]复制代码
再处理登陆框，是这段代码：

代码比较长，用正则替换也比较困难。可以考虑把它隐藏起来。用css方式处理，登陆框是处于class为usercenter的框架中。给他加个style隐藏掉。
用字符串替换方式，代码如下：

class="usercenter"******style="display:none"

[color=rgb(51, 102, 153) !important]复制代码
下面再处理友情链接，在源代码里搜索友情链接可以看到这段代码：

发现友情链接在class为flink的DIV标签中，且标签内不存在其它的div，所以可以直接使用正则替换处理
正则替换的代码如下：

{vivi replace=''}<div class="flink w960 center clear">(.*)</div>{/vivi}

[color=rgb(51, 102, 153) !important]复制代码
其它一些logo地址、标识什么的，可以一个个替换了。不会的看教程的基础篇
最后提交保存看看吧。
采集规则如下：

VIVI:YToxNzp7czo0OiJuYW1lIjtzOjE4OiKyybyvvcyzzCAtINavw85jbXMiO3M6ODoiZnJvbV91cmwiO3M6Mjg6Imh0dHA6Ly92NTcuZGVtby5kZWRlY21zLmNvbS8iO3M6NzoiY2hhcnNldCI7czo1OiJ1dGYtOCI7czo5OiJvdGhlcl91cmwiO3M6MDoiIjtzOjEwOiJzZWFyY2hfdXJsIjtzOjE2OiIvcGx1cy9zZWFyY2gucGhwIjtzOjE0OiJzZWFyY2hfY2hhcnNldCI7czo1OiJ1dGYtOCI7czoxMDoiZnJvbV90aXRsZSI7czoyMDoi1q/DzkNNU19WNS430d3KvtW+teMiO3M6MTI6InJlcGxhY2VydWxlcyI7czo0NDoiY2xhc3M9InVzZXJjZW50ZXIiKioqKioqc3R5bGU9ImRpc3BsYXk6bm9uZSIiO3M6OToic2lmdHJ1bGVzIjtzOjI3MToie3ZpdmkgcmVwbGFjZT0nJ308c3BhbiBpZD0idGltZSIgY2xhc3M9InRpbWUiPiguKik8L3NwYW4+ey92aXZpfVtjdXRsaW5lXXt2aXZpIHJlcGxhY2U9Jyd9PGRpdiBjbGFzcz0iYmFubmVyIj4oLiopPC9kaXY+ey92aXZpfVtjdXRsaW5lXXt2aXZpIHJlcGxhY2U9Jyd9PGRpdiBjbGFzcz0iYmFubmVyMiI+KC4qKTwvZGl2Pnsvdml2aX1bY3V0bGluZV17dml2aSByZXBsYWNlPScnfTxkaXYgY2xhc3M9ImZsaW5rIHc5NjAgY2VudGVyIGNsZWFyIj4oLiopPC9kaXY+ey92aXZpfSI7czo4OiJiaWc1MmdiayI7czoxOiIwIjtzOjc6InJlcGxhY2UiO3M6MToiMCI7czo3OiJyZXdyaXRlIjtzOjE6IjAiO3M6NzoibGljZW5jZSI7czowOiIiO3M6Nzoic2lmdGFncyI7YTo0OntpOjA7czo2OiJpZnJhbWUiO2k6MTtzOjY6Im9iamVjdCI7aToyO3M6NDoib3V0YSI7aTozO3M6NToib3V0anMiO31zOjQ6InRpbWUiO2k6MTQzNzAzNTQ0NTtzOjEyOiJvdGhlcl9pbWd1cmwiO3M6MDoiIjtzOjM6ImNzcyI7czowOiIiO30=:END

[color=rgb(51, 102, 153) !important]复制代码
[color=rgb(51, 102, 153) !important]

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)