Hortonworks已经在不知不觉中完成了他们的DataFlow平台,这个平台基于Apache NiFi项目并准备去解决物联网(IoAT)中的数据处理需求。
Hortonworks公司在最近的一次 研讨会 上向石油和天然气行业的客户介绍了其DataFlow (HDF)平台。HDF(Hortonworks Data Flow)平台基于 Apache NiFi 项目,它是一种实时数据流处理 系统,在去年由美国安全局( NSA )开源并进入Apache社区,NiFi初始的项目名称是Niagarafiles。当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司最近收购了Onyara并将其开发者整合到自己的团队中。
因为NiFi可以对来自多种数据源的流数据进行处理,Hortonworks认为HDF平台非常适合用于物联网 (IoAT)的数据处理。HDF中的数据流动可以是多个方向,甚至是点对点的,用户可以同收集到的数据流进行交互,这种交互甚至可以延伸到数据源,比如一些传感器或是设备。按照Hortonworks公司的说法,HDF产品是对 HDP 产品的补充,前者主要处理移动中的数据,而后者基于Hadoop技术,主要负责从静止的数据中获取洞察。
NiFi项目在创建过程中遵循了一些理念:1)精细化管理信息流的能力;2)跟踪数据相关事件和信息的能力,比如数据从哪里来,在路径中发生了什么;3)保证控制和数据面的安全能力。NiFi的主要特性包括:
NiFi并非只能用于物联网,实际上,它可以用于所有种类的实时数据处理,比如预测分析、欺诈检测、大数据注入、资源评估等等。NiFi项目自身提供了90个数据处理器 (data processors),这其中包括了数据的编码、加密、压缩、转换、从数据流创建Hadoop的序列文件、同AWS交互、发送消息到Kafka、从Twitter上获取消息,以及其它等等。你可以在拖放风格的可视化界面上来配置这些数据处理器,把它们链接到一起,并在它们之间使用背压机制来进行流控。NiFi还提供了内置的自动扩展、请求复制、负载均衡和故障切换机制。
在NiFi的 路标 中还可以看到以下特性:对流的配置管理做进一步的提升、一个扩展和模板注册表、对Avro的优先支持、交互式队列管理、多租户的数据流,以及其它。
目前,HDF已经可以在沙箱式的环境中配合 Apache Ambari 进行测试验证。
查看英文原文: Hortonworks Addresses the IoAT with DataFlow Based on NiFi