水淼关键词网址采集器是一款网络辅助工具,能让你设置相对应的搜索引擎,选择自己适合的模板,然后完成各种去除结果设置,就能够开始采集。你可以输入关键词,然后按照自己的需求进行搜索,模板包含了标题、网址等,你还能自动去除重复结果,提高采集的准确性。
软件功能
采集网页信息,相关如下:
#网址#:采集的原始网址
#标题#:网址对应的网页标题
#域名#:原始网址的域名部分,如“http://test.shuimiao.net/123.htm”中的“test.shuimiao.net”
#顶级域名#:取原始网址的顶级域名部分,如“http://test.shuimiao.net/123.htm”中的“shuimiao.net”
#描述#:网页标题下面的一段描述文字
常见问题
为什么采集一段时间之后,无法采集?
这可能采集多了被搜索引擎限制,重启软件可继续采集,如果不换,只能等待搜索引擎取消屏蔽之后才能继续采集。百度的屏蔽时间通常半小时到数小时。
不过,现在即使出现验证码屏蔽,软件也会弹出验证码手动输入的(百度、谷歌)
不同批次关键词采集的结果为什么会存在部分网址重复?
尤其是只引用了 #域名# 或 #顶级域名# 之后,这种部分网址重复的情况比较多。这也是正常的,因为每个网站的内页可能包含很多主题,不同关键词都可能采集到该网站的不同内页,当引用域名后,相同网站的不同内页的域名结果自然就相同了。
另外,软件里的自动去重,是针对本次采集的结果内部进行去重,以前采集的结果是不在本次去重范围的。如果两次采集的结果存在部分网址重复,可以把他们合并一起,使用软件去重(水淼·文本去重打乱器)。
为什么采集回来的网址的主题与关键词不符?
是因为引用了 #域名# 或 #顶级域名# 后,取的是域名部分,域名打开的是该网站的首页,而采集的原网址可能不是首页,而是该网站的某一篇文章的内页,该内页包含关键词主题,因此被搜索引擎收录,软件才能采集得到。但取域名后,你打开的域名首页就不一定包含该关键词。
为了比对采集是否正确,可以在保存模板里输入:<a href="#网址#" target="_blank">#标题#</a>,保存为htm文件,采集完后可以自己打开该文件查看比对。
更新内容
1.改造为支持OEM代理
2.增加必应和雅虎采集;多项改动
3.将必应、雅虎、谷歌改为https请求以避免一些情况下的采集失败问题。
4.增加百度新闻采集。
5.一些更新。
6.增加关键词分割线选项。
7.修复百度最新变动无法采集的问题。
8.修复必应改动采集失效问题;修复某些电脑不能使用xmlhttps的问题(涉及谷歌、必应、雅虎)。
标签: 网址采集
装机必备软件
网友评论