转载

Spark Streaming 妙用之实现工作流调度器

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这块并没有什么经验，这只是一个存在于脑海中的东西。

一个典型的工作流调度器架构可能如下：

也就是说要搭建一个稳定可靠的Azkaban的工作流调度器，你可能需要

然而，你完全可以不需要关注这么多，按照Transfomer架构的设计,我们应该可以找到一个Estimator ，简化我们的编程，我们只要按照Estimator的规范，

其他的事情应该都是Estimator 要去做的。我搜罗了一圈，发现Spark Streaming 是能够满足该需求的一个Estimator。

这得益于，Spark Streaming 从某个角度而言就是个定时任务调度系统，也就是我们说的微批处理。对于工作流调度器而言，无非就是每个周期(duration)在Driver端启动线程扫描MySQL,实现任务的分发和执行。

那如果实现一个类似Azkaban 能够的做的事情，前面我们提到，要做三件事情，分别对应为：

实现业务逻辑，也就是工作流的生成，解析，运行和存储等操作。其中 生成 ， 解析 ， 存储 三个环节可以放在Driver端,也可以都放在Executor 端。也就是说：Driver的设计可重可轻。重的设计可由Driver读取MySQL 并且解析成工作流任务，然后发送给Executor 去执行。轻的设计Driver仅仅是读取MySQL,然后就简单将id分发给各个Executor,各个Executor 负责解析执行和反馈结果。

2.增强 Spark Streaming UI,添加管理页面，实现Azkaban Web Server类似界面。