源码论坛公告:本站是一个交流学习建站资源的社区论坛,旨在交流学习源码脚本等资源技术,欢迎大家投稿发言! 【点击此处将锦尚放在桌面

源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

 找回密码
 会员注册

QQ登录

只需一步,快速开始

查看: 12916|回复: 0

[交流] 域名采集工具爬域名软件源码的简单使用心得

[复制链接]

39

主题

1万

帖子

124

金币

中级会员

Rank: 3Rank: 3

积分
7465
QQ
发表于 2023-6-2 11:21:18 | 显示全部楼层 |阅读模式
域名采集对我们站长和程序员来说,都是经常要用到的,比如要找我们可能用来发信息,采集数据,还有拿shell的 或者是无法访问的域名批量注册之类的 等等吧.. 反正就是个人有个人的各种用处...



首先来看下工具的界面功能,其实不需要设置什么,直接点开始按钮就能开始采集工作



28c7b6ad3f2c7caa2057be11281bbe9d_16839773338cfd8e



下面给大家介绍一下各个部分的功能说明:

左上角部分



image





【按钮区】  

开始采集 - 开始采集域名,点击后会变成停止采集,点击后会停止采集

读取进度 - 读取之前保存的进度,可以继续上次的进度采集

保存进度 - 将采集进度保存下来,可以关闭电脑,下次打开电脑可以通过读取进度继续采集



【配置区】

多少分钟自动保存进度 - 此功能是为了避免,在采集过程中电脑意外断电造成数据未来得及保存的情况

多少个停止采集 - 我们要设定采集的域名数量,以万为单位 比如填写50就是采集50万个

多少线程数 - 就是采集的速度比如20线程就是同时访问20个网站去采集,这里线程数大家的设置都不一样,根据自己的宽带决定,比如你家的宽带使用的是100M的那一般开100个线程是没问题的,如果不想让软件占用太多的网络,可以把线程适当调低一点

采集二级域名 - 因为有些论坛或者博客会以bbs和blog开头,还有移动站点开头的wap或m ,如果你想采集这一类的就在这里打钩,我这里只采集主域名,所以一般不打钩

下边的日志记录,会显示软件运行期间的一些状态日志!





右侧是一个数据图标,这个可以很方便的查看当前采集状况。





image





然后是下半部分:

image



采集关键词 -  这里我们输入 钢材 , 软件会从百度去搜索钢材,拿到搜搜结果中的网之后,会从这些钢材网站里开始爬取他们的外链,然后再从这些外链网址中去爬取外链。。。无限循环,无线扩散,达到采集域名的目的。这里也可以输入网址以http开头就行,如果输入的是网址那么软件就会直接去采集这个网址中的域名,然后外链扩散



动态监控 - 这里会间隔几秒钟访问其中的域名网址,这些网址的内容通常是实时变化的,比如站长之家的查询页面:

image

我们可以看到这里是实时变化的,而且有很多新网站的站长会到这里来查询,我们正好可以实时监控这些页面,达到采集域名的目的,还有很多类似的页面,您可以自己写到动态监控的输入框里,一行一个即可



到这里采集功能就介绍完毕了,下面我们来说手导出域名的功能:



image



导出项目介绍:

【导出项目】

未验证最新采集 - 这是我们刚刚采集回来的新域名,还没有验证他是否能正常访问呢

已验证中文网站 - 这里的域名是已经验证过了,域名可以正常的打开并访问,并且网站页面包含中文,一般可以定义为中国的网站

已验证外文网站 - 域名可以正常访问,但是页面中没有发现包含中国字,一般可以判断为国外的网站

已验证报错网站 - 这里可以肯定是打不开的域名,一般是网站服务器挂了,或者是域名到期了没续费,一般这里的域名可以用来做老域名检测,喜欢买老域名的可以拿这里的域名



【导出配置】

附加前缀 - 因为我们采集的是一级主域名,一般的网站主页都会有www开头,所以我们可以在导出的时候给他批量添加前缀

域名分隔符 -  \n的意思就是换行, 有部分电脑上  \r\n 才能代表回车换行,这个一般不用修改,如果导出的域名没换号,可以改成\r\n

导出位置 - 一般导出都是从0到最后一个,但是有时候我们之前已经导出了一批了比如100万个,我们想从100万往后导出,那就可以用这个功能设置了





右侧的设置就更简单了

image



指定域名后缀 - 比如我们想要导出的域名指定后缀,我们只需要 .net 和 .com的域名,就勾选指定后缀后面的启用,然后在下边写上 .net 和 .com即可



排除特定字符 - 比如我们不需要倒出一些 gov相关的域名,那我们就点启用,然后下边写上 .gov.cn 这类的就会排除,gov的域名是干什么用的大家应该都懂吧





对了软件直接可以下载使用,下载链接: https://niu5.com/download/ixoYJGBv.zip





好了,基本的功能使用都给大家介绍完啦,还有什么不懂的可以问我哦,我的Q是929058152



另外还有一款不错的根据纯关键词采集网址的,那个就是采集出来的网址标题关键词描述中肯定包含指定的关键词,没有其他的杂项网址,下次再给大家发出来。



下次再跟大家聊天其他软件的使用心得。。。

您需要登录后才可以回帖 登录 | 会员注册

本版积分规则

锦尚中国源码论坛

聚合标签|锦尚中国,为中国网站设计添动力 ( 鲁ICP备09033200号 ) |网站地图

GMT+8, 2024-4-17 14:33 , Processed in 0.038079 second(s), 18 queries .

带宽由 锦尚数据 提供 专业的数据中心

© 锦尚中国源码论坛 52jscn Inc. 非法入侵必将受到法律制裁 法律顾问:IT法律网 & 褚福省律师 锦尚爱心 版权申诉 版权与免责声明