大数据-Harries Blog™ | 追心中的海，逐世界的梦

一个集成170种场景Spring Boot Demo项目

能用365块大洋去解决的事，千万不要用时间

南瓜手机(pumpkin phone）

Java获取gravatar头像链接

读《洛克菲洛写给儿子的38封信》有感

List数组使用stream根据时间进行排序实现

mysql ibdata1文件过大解决

用PMML实现机器学习模型的跨平台上线

flink SQL 实现mysql同步数据到starrocks

一、业务场景以商品累计销量实时榜单为例，存储在 MySQL 中的原始订单表，通过 Flink 处理计算出产品销量的实时排行，并实时同步至 StarRocks 的主键模型表中。最终用户可以通过可视化工具连接StarRocks查看到实时刷新的榜单。二、mysql和starrocks表结构和数据 mysql CREATE TABLE `orders` ( `order_id` bigin...

2024-02-29 浏览(476) 评论(0)

阅读全文

UData+StarRocks在京东物流的实践

1 背景数据服务与数据分析场景是数据团队在数据应用上两个大的方向，行业内大家有可能会遇到下面的问题： 1.1 数据服务烟囱式开发模式：每来一个需求开发一个数据服务，数据服务无法复用，难以平台化，技术上无法积累服务维护难度大：当开发了大量数据服务后，后期维护是大问题，尤其是618、双11大促期间，在没有统一的监控、限流、灾备方案的情况下一个人维护上百个数据服务是一件很痛苦的事，...

2024-01-24 浏览(630) 评论(0)

阅读全文

一.starrocks为什么需要需要建立mysql外部表 StarRocks 支持以外部表 (External Table) 的形式，接入其他数据源。外部表指的是保存在其他数据源中的数据表，而 StartRocks 只保存表对应的元数据，并直接向外部表所在数据源发起查询。目前 StarRocks 已支持的第三方数据源包括 MySQL、StarRocks、Elasticsearch、Apache ...

2024-01-19 浏览(524) 评论(0)

阅读全文

seatunnel基于flink快速入门

第一步：安装seatunnel和插件部署seatunnel 第二步：部署和配置flink 下载 https://flink.apache.org/downloads/，这里选择flink-1.17.2-bin-scala_2.12.tgz 解压 $ tar -xzf flink-*.tgz 浏览目录 cd flink-* && ls -l 启动flink ...

2024-01-03 浏览(432) 评论(0)

阅读全文

基于seatunnel-engine快速开始任务

第一步：部署seatunnel和插件详解《seatunnel部署》第二步：通过job定义文件编排任务文件目录：config/v2.batch.config.template，下面是例子 env { execution.parallelism = 1 job.mode = "BATCH" } source { FakeSource { result_table_...

2024-01-03 浏览(474) 评论(0)

阅读全文

seatunnel部署

第一步：准备环境 Java (Java 8 or 11, 推荐版本大于等于 Java 8 ) 配置 JAVA_HOME 第二步：下载seatunnel export version="2.3.3" wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.t...

2024-01-03 浏览(477) 评论(0)

阅读全文

Flink基于两阶段聚合及Roaringbitmap的实时去重方案

去重是大数据计算中的常见场景，本文介绍了Flink结合数据倾斜问题的一般性解决方案——两阶段聚合，以及位图（Bitmap）的优化版数据结构——Roaringbitmap给出的一种实时去重解决方案，并在最后与其他方案进行了对比。大数据去重的两种思路我们知道，离线大数据计算有很多框架，如hive、spark-sql、clickhouse、impala、kylin、presto等等，各个框架在处...

2023-12-28 浏览(439) 评论(0)

阅读全文

ES多字段匹配查询时的权重控制

一、场景说明我们在使用ES进行查询时常常遇到这样的场景：需要根据用户输入的查询关键字同时去匹配多个字段，并且希望对匹配字段的权重做不同的设置，比如同时去匹配公司名称和公司简介，这里一般需要提升公司名称匹配的权重，这样得出的相关性评分才会更准确。在ES中，我们可以通过boost参数来控制多字段查询的权重。二、权重参数boost 官网链接 boost是一个用来修改文档的相关性的参数...

2023-12-07 浏览(404) 评论(0)

阅读全文

NoNodeAvailableException[None of the configured nodes are available

在使用elasticsearch时报错: [None of the configured nodes are available: [{#transport#-1}{wXgtIC2KRUyygVQIJeSrFA}{127.0.0.1}{127.0.0.1:9300}]] NoNodeAvailableException[None of the configured nodes are ava...

2023-12-01 浏览(419) 评论(0)

阅读全文

通过导入实现数据变更

StarRocks 的主键模型支持通过 Stream Load、Broker Load 或 Routine Load 导入作业，对 StarRocks 表进行数据变更，包括插入、更新和删除数据。不支持通过 Spark Load 导入作业或 INSERT 语句对 StarRocks 表进行数据变更。 StarRocks 还支持部分更新 (Partial Update) 和条件更新 (Condi...

2023-10-23 浏览(460) 评论(0)

阅读全文