转载

Netflix发布Genie3

Genie 是一个分布式的 RESTful 架构的任务编排引擎，用于 Netflix 的数据平台。Genie 有两个主要使用场景：第一个是创建和提交自定义的数据处理任务请求，其次是设置本地环境来开发和测试在 Genie 集群上运行的新应用程序和任务。

Netflix 宣布 Genie3 支持几项新特性，包括对较早的任务执行引擎进行重新设计、增强安全功能、增加依赖关系缓存，同时 API 也有更新。

Genie 引擎的早期版本不支持领导选举，导致工作节点不必要地执行相同的任务。现在，通过 Zookeeper 或手动配置属性设置单个节点的 IP 地址即可支持集群领导选举。早期版本中所有任务的单一运行脚本运行时间过长，无法满足安全隔离的要求，并降低了在项目扩张阶段项目维护者引入代码更改时隔离风险的能力。Genie3 引入新的方法，使用改进的数据模型来保证运行时间并实现了配置的模块化、描述性和版本化。

在 Genie3 中，任务由若干抽象过程组成，以确保可扩展性。应用程序的运行时间和可执行命令可以通过其 API 进行配置。Genie 独立于特定运行时配置或待处理数据，生成 Spark、Hadoop、Pig、Hive、PrestoDB 和 Sqoop 等类型的应用程序运行脚本。作为开发人员，本地模式工作流能够为不同运行时生成运行脚本，同时还集成了 REPL 和 stdout 的底层实现以支持测试和开发。

Genie3 的 API 组件覆盖了 Genie 的全部功能。

集群API、命令API、应用API 和作业API 提供了操作 Genie3 所需的语义。集群 API 负责管理 Genie 的逻辑 worker 集群，不包括基础架构本身。集群 API 还协助管理集群相关的元数据、启动时 worker 集群的基准状态、可用于集群的命令和基准包的安装。从这一点来看它与 Puppet 或 Chef 类似，只是它专注于 Genie 应用程序命令在运行时所需的工作集群的特定安装包和配置。这样可以使应用程序在启动时更加灵活、不受限制，否则应用程序就需要在启动时下载并安装依赖包。

命令 API 的语义在底层应用程序上运行，并且必须指向特定应用程序，但允许定义自己的启动和运行时配置。

作业 API 允许 Genie 用户调度或执行一组命令，并跟踪有关作业执行状态的数据。Genie3 附带了用于 MySql、PostgreSQL 和 HSQLDB 的 JDBC 驱动程序，用于支持 Genie 及其 API 的存储配置。

Genie 3 还支持基于 OAuth2和X.509公钥证书。

来自: InfoQ

正文到此结束