在当今的数据处理和数据流水线系统中,将数据从源流传输到接收器是一项非常琐碎的任务。因此,有许多流媒体解决方案,例如:Kafka Stream,Spark Streaming,Apache Flink等。
所有这些都以一种或另一种方式要么需要建立基础架构以能够充分利用它们(例如HDFS,Spark群集,Kafka流设置等),要么我们需要在流作业之间进行某种编排(例如Apache Airflow)。
Akka流
Akka流在这场战斗中脱颖而出,并具有完全由应用程序驱动的优势。Akka流是在Akka著名的Actor模型(实际上是受Erlang的actor模型启发)的基础上构建的。因此,Akka流可以利用其经过战斗考验的 弹性,弹性,事件驱动和响应 能力(请参阅 反应性宣言 )。
Akka问题
尽管互联网上没有可用的资源,但我们实际上可以使用Java进行Akka流,并且可以轻松地进行。
在本文中,我们将使用Java和Spring Boot构建Akka流应用程序!然后,我们将分析使用Akka流可以获得的现成优势。所以,让我们开始...
我们需要一个简单的实时流,该流将消耗在Kafka主题上发布的所有更新,并在解析后将事件保留在SQL Server数据库中。而且,我们只想在将记录插入数据库后提交Kafka偏移量。
点击标题见原文详细配置。