转载

Apache Falcon升级为Apache顶级项目

Apache Falcon 是一个面向Hadoop的、新的数据处理和管理平台，设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。近日，Apache基金会宣布 Falcon升级为顶级项目。

Apache Falcon项目副主管Srikanth Sundarrajan说：

Apache Falcon解决了大数据领域中一个非常重要和关键的问题。升级为顶级项目是该项目的一个重大进展。Apache Falcon有一个完善的路线图，可以减少应用程序开发和管理人员编写和管理复杂数据管理和处理应用程序的痛苦。

用户会发现，在Apache Falcon中，“基础设施端点（infrastructure endpoint）”、数据集（也称 Feed ）、处理规则均是声明式的。这种声明式配置显式定义了实体之间的依赖关系。这也是该平台的一个特点，它本身只维护依赖关系，而并不做任何繁重的工作。所有的功能和工作流状态管理需求都委托给工作流调度程序来完成。下面是Falcon的架构图：

从上图可以看出，Apache Falcon：

在Hadoop环境中各种数据和“处理元素（processing element）”之间建立了联系；
可以与Hive/HCatalog集成；
根据可用的Feed组向最终用户发送通知。

而按照开发人员Michael Miklavcic的说法，Apache Falcon使他们的团队逐步构建起一个复杂的管道。该管道包含超过90个 Process 和200个Feed。如果单独使用Apache Oozie，这会是一项重大挑战。Hortonworks工程部门副总裁Greg Pavlik则表示，Apache Falcon是用于“数据湖（Data lake）”建模、管理和操作的最好的、最成熟的构建模块。Hortonworks官方网站上提供了一个在Hadoop中使用Apache Falcon的示例。

另外，在升级成为顶级项目之前，Apache Falcon已经在多个行业中获得了广泛的应用，包括广告、医疗、移动应用等。InMobi是该平台的最大用户之一。该公司的联合创始人兼首席技术官Mohit Saxena表示：

对于社区而言，Apache Falcon项目毕业是一个令人自豪的时刻。他们一起解决了Hadoop生态系统中一个非常重大的数据处理和管理问题。

Apache Falcon遵循Apache许可协议2.0。要了解更多信息，请点击这里。

感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ）或者腾讯微博（@InfoQ）关注我们，并与我们的编辑和其他读者朋友交流。

正文到此结束