基于 Flink CDC 实现海量数据的实时同步和转换 大数据

基于 Flink CDC 实现海量数据的实时同步和转换

一、Flink CDC 技术 CDC 是 Change Data Capture 的缩写,是一种捕获变更数据的技术,CDC 技术很早就存在,发展至今,业界的 CDC 技术方案众多,从原理上可以分为两大类: 一类是基于查询的 CDC 技术 ,比如 DataX。随着当下场景对实时性要求越来越高,此类技术的缺陷也逐渐凸显。离线调度和批处理的模式导致延迟较高;基于离线调度做切片,因而无法...
阅读全文
Loading...