PiFlow是一个功能强大的大数据流水线系统,基于分布式计算框架Spark开发使用它可以进行高效的数据采集、清洗、计算和存储等功能。并且可以将数据可视化,通过各种线形图、柱状图和饼状图等等直观将数据展现出来。
软件特色
使用方便
提供所见即所得的Web界面来配置数据流
监控数据流状态
检查数据流日志
提供检查点
强大的可扩展性:
支持定制的数据处理组件开发
出众的表演
基于分布式计算引擎Spark
强大
提供100多种数据处理组件
包括spark,mllib,hadoop,hive,hbase,solr,redis,memcache,elasticSearch,jdbc,mongodb,http,ftp,xml,csv,json等
使用要求
JDK 1.8
Scala-2.11.8
Apache Maven 3.1.0或更高版本
Spark-2.1.0,Spark-2.2.0,Spark-2.3.0
Hadoop-2.6.0
更新内容
增加可视化分析功能,包括线性图、柱状图、饼状图、散点图;
增加可编程特性,无缝衔接上下游组件,按需在线开发和调试;
增加多语言特性,支持Scala、Python、Shell等多种语言的编程;
增加Spark依赖jar包管理
数据管理软件在现今还是蛮受用户们的喜爱的,软件能够快速的帮助你进行管理,将数据进行调整,帮助你很好的进行把控,有需求的用户们一起来看看吧!
数据采集在现在的各行各业都是非常重要的,用户们可以根据相关的数据来进行分析出各种不同的需求,这样就能解决各种不同的问题,提高工作效率!
装机必备软件
网友评论