Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询 大数据

Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询

1.概览 这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析,Doris 1.1版本提供了Iceberg的支持,本文主要展示Doris和Iceberg怎么使用,同时本教程整个环境是都基于伪分布式环境搭建,大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。 1.1 软件环境 本教程的演示环境如下: Centos7...
阅读全文
基于 Flink CDC 实现海量数据的实时同步和转换 大数据

基于 Flink CDC 实现海量数据的实时同步和转换

一、Flink CDC 技术 CDC 是 Change Data Capture 的缩写,是一种捕获变更数据的技术,CDC 技术很早就存在,发展至今,业界的 CDC 技术方案众多,从原理上可以分为两大类: 一类是基于查询的 CDC 技术 ,比如 DataX。随着当下场景对实时性要求越来越高,此类技术的缺陷也逐渐凸显。离线调度和批处理的模式导致延迟较高;基于离线调度做切片,因而无法...
阅读全文
Loading...