蓝天采集器可以帮助用户快速爬取网站数据,可将数据全部存储在云上,无需在本地进行管理,节省了大量的硬盘空间,支持多级多页等采集方式与内容发布功能,需要的用户快来下载吧。
软件介绍
蓝天采集器是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预,是大数据、云时代网站数据自动化采集的最佳云端爬虫软件!
软件特色
关于软件
蓝天采集器(SkyCaiji),致力于网站数据自动化采集发布,系统采用PHP+Mysql开发,可部署在云端服务器,使数据采集便捷化、智能化、云端化,让您随时随地移动办公!
数据采集
支持多级、多页、分页采集,自定义采集规则(支持正则、XPATH、JSON等)精准匹配任意信息流,几乎能采集所有类型的网页,绝大多数文章类型页面内容可实现智能识别
内容发布
无缝对接各类CMS建站程序,实现免登陆导入数据,支持自定义数据发布插件,也可以直接导入数据库、存储为Excel文件、生成API接口等
自动化及云平台
软件实现定时定量全自动采集发布,无需人工干预!内置云平台,用户可分享及下载采集规则,发布供求信息以及社区求助、交流等
使用方法
升级软件
可直接在后台首页中检测更新后点击升级,或者将压缩包上传至服务器解压覆盖即可!
安装软件
将下载的软件上传至您的服务器,如果根目录有站点建议放在子目录里,解压后打开浏览器输入您的服务器域名或ip地址(存放在子目录则加上子目录的名称),进入安装界面
点击“接受”,进入环境检测页面
必须确保所有参数都正确,否则使用中会出现错误,点击“下一步”进入数据安装界面
填写好数据库及创始人配置,点击“下一步”
最后安装完成,现在可以使用蓝天采集器了!
匹配规则
“规则”支持:(*)(通配符)、正则表达式,使用[内容](通用匹配)或捕获组(正则捕获组)将匹配的数据保存为标签,在“拼接内容”中引用[内容N]标签组成结果
[内容]和捕获组的区别:[内容]会自动转换成固定格式捕获组:(?<content>.*?)
而捕获组:(?<content>[\s\S]*?),可以编写任意正则表达式
[内容]适用于精准度不高的通用匹配,捕获组适用于精准匹配
默认为单个匹配,多个匹配可勾选“允许匹配多个元素”
数据采集在现在的各行各业都是非常重要的,用户们可以根据相关的数据来进行分析出各种不同的需求,这样就能解决各种不同的问题,提高工作效率!
装机必备软件
网友评论