Flink-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

Spring Boot集成flink快速入门demo

一、flink介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。二、环境搭建安装flink https://nightlie...

2024-03-01 浏览(894) 评论(0)

阅读全文

flink SQL 实现mysql同步数据到starrocks

一、业务场景以商品累计销量实时榜单为例，存储在 MySQL 中的原始订单表，通过 Flink 处理计算出产品销量的实时排行，并实时同步至 StarRocks 的主键模型表中。最终用户可以通过可视化工具连接StarRocks查看到实时刷新的榜单。二、mysql和starrocks表结构和数据 mysql CREATE TABLE `orders` ( `order_id` bigin...

2024-02-29 浏览(488) 评论(0)

阅读全文

seatunnel基于flink快速入门

第一步：安装seatunnel和插件部署seatunnel 第二步：部署和配置flink 下载 https://flink.apache.org/downloads/，这里选择flink-1.17.2-bin-scala_2.12.tgz 解压 $ tar -xzf flink-*.tgz 浏览目录 cd flink-* && ls -l 启动flink ...

2024-01-03 浏览(443) 评论(0)

阅读全文

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

去重是大数据计算中的常见场景，本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合，以及位图（Bitmap）的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案，并在最后与其他方案进行了对比。大数据去重的两种思路我们知道，离线大数据计算有很多框架，如hive、spark-sql、clickhouse、impala、kylin、presto等等，各个框架在处...

2023-12-28 浏览(452) 评论(0)

阅读全文

starrocks使用 Flink Connector 读取数据

StarRocks 提供自研的 Apache Flink® Connector (StarRocks Connector for Apache Flink®)，支持通过 Flink 批量读取某个 StarRocks 集群中的数据。 Flink Connector 支持两种数据读取方式：Flink SQL 和 Flink DataStream。推荐使用 Flink SQL。说明 Fl...

2023-07-07 浏览(1,329) 评论(0)

阅读全文

SeaTunnel StarRocks 连接器的使用及原理介绍

作者：毕博，马蜂窝数据平台负责人，StarRocks 活跃贡献者 & Apache SeaTunnel 贡献者 Apache SeaTunnel（以下简称 SeaTunnel）是一个分布式、高性能、易扩展、用于海量数据（离线 &实时）同步和转化的数据集成平台。StarRocks 通过与 SeaTunnel 的结合可以轻松实现 StarRocks 和不同数据源之间的数据交换。 ...

2023-06-20 浏览(824) 评论(0)

阅读全文

StarRocks数据导入--Flink Connector与CDC秒级数据同步

Flink作为当前流行的流式计算框架，在对接StarRocks时，若直接使用JDBC的方式“流式”写入数据，对StarRocks是不友好的，StarRocks作为一款MVCC的数据库，其导入的核心思想还是“攒微批+降频率”。为此，StarRocks单独开发了flink-connector-starrocks，其内部实现仍是通过对数据缓存攒批后执行Stream Load导入。 StarRock...

2023-06-13 浏览(857) 评论(0)

阅读全文

基于Flink+ClickHouse打造轻量级点击流实时数仓

前言今天事情又比较多，写得言简意赅一些，看官勿怪。 Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流（click stream），就是指用户访问网站...

2023-06-07 浏览(699) 评论(0)

阅读全文