Spring Cloud Data Flow 2.0 发布了 ,Spring Cloud Data Flow 是构建数据集成和实时数据处理流水线的工具包。
新版主要更新内容有:
流部署始终委托给 Skipper
在所有受支持平台运行的单个服务器
针对多平台的任务启动
UI 升级
标准化 OAuth2 和 OpenID Connect
应用部署的度量改进和监听
更新 Analytics 以使用 micrometer
支持数据库迁移
更新至 Boot 2.1
更新内核以使用 JPA
改善任务(Tasks)/工作的执行和性能
1.x系列的 Data Flow Server 允许直接部署流,或者委托给 Skipper。而现在只剩下一个选项,即通过 Skipper 部署到受支持平台,为长期存在的流应用提供滚动升级和降级功能。架构上,任务仍像之前一样由 Data Flow Server 部署,但现在可以跨平台部署。有关该功能的更多信息,请参见下图。
开发团队已经将 Local、Cloud Foundry 和 Kubernetes 服务器合并到单个服务器中,而不再需要根据不同平台选择不同的 jar 或 docker 镜像。
不同平台的部署步骤大致相同,一个大的变化是任务的配置方式,现在已经支持跨不同平台启动任务了。长期存在的应用可以像之前的发行版一样,部署在不同平台上。
当任务启动时,您可以指定任务将执行的平台。而在以前,此功能仅适用于流和应用的部署。数据流服务允许配置多个 Kubernetes 和 Cloud Foundry 任务平台,这对于希望针对多个平台编排数据管道、但从中心位置管理它们的情况,会很有用。
采用 OAuth2 和 OpenID Connect 作为默认的安全实现,这关乎着安全性的提升。传统的安全选项被删除,而基于令牌的授权、口令授予类型验证和 LDAP 集成的这几个选项,在 UAA 作为后端的帮助下,它们可以始终得到支持。
在 Data Flow 2.0中,Redis 计数器已被 micrometer 库提供的计数器所取代。 Twitter Analytics 示例应用 已经更新,使用了新的计数器来实现的同时,提供了 Grafana 仪表板,可以显示数据流分析 UI 先前展示内容的等效视图。
Flyway 迁移代码已经升级,并使用一套 基于 Docker 的集成测试 进行了跨平台测试。
新增了一个端点,可以避免中断对现有 REST 资源的更改,而这些资源在客户端工具的幕后使用。通过这些改动,任务/批处理执行的历史记录查询速度几乎快了 10 倍,有助于在批处理作业中执行数百个步骤。
虽然开发团队已经考虑了 2.1 版本的一些特性,但接下来几个月的重点将放在文档、入门指南、视频和用户体验上,另外还有打算建立一个新的 Data Flow 网站。
需要注意的是,SpringCloud Data Flow 的 1.x 版本将在 2.0 GA 版本发布的12个月内停止维护。
更新详情见 发布公告
下载地址: https://cloud.spring.io/spring-cloud-dataflow/