转载

发表于 2019年07月24日
浏览 (844)
评论 (0)

035-解决streamsets jdbc全量模式数据重复问题

这是坚持技术写作计划（含翻译）的第35篇，定个小目标999，每周最少2篇。

本文主要解决在使用streamsets的JDBC Query Consumer Origin组件消费时，使用全量模式(Full Mode)，数据重复问题。

在之前一篇《 033-史上最全-mysql迁移到clickhouse的5种办法》中，有介绍如何使用JDBC Query Consumer全量导出，但是有人反馈因为streamsets的管道(pipeline)一直在重复运行，导致最后数据是重复的。

实际上在官方文档有讲 Full and Incremental Mode

035-解决streamsets jdbc全量模式数据重复问题

主要看提示(Tip)部分，如果只想执行一次查询后就停止pipeline，应该配置origin的generate events 并且使用Pipeline Finisher来自动停止pipeline，更多信息参见 Event Generation.

在jdbc origin勾选 Produce Events

035-解决streamsets jdbc全量模式数据重复问题

从组件选则Pipeline Finisher，并且配置 Preconditions 为 ${record:eventType() == 'no-more-data'} 即可

035-解决streamsets jdbc全量模式数据重复问题

原文 https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/

正文到此结束

所属分类：编程技术 Java

本文标签： http src https consumer git GitHub ip 数据 2019 db UI stream 翻译 JDBC mysql 配置 IO sql
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(13,614) 评论(0)
Caffe 深度学习框架上手教程

浏览(10,361) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(11,197) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(11,086) 评论(0)
Decorators in ES7

浏览(15,645) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,668) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(12,115) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(11,091) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(25,363) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(13,228) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG