转载

Apache Pulsar 2.4.2 版本说明

️阅读本文需 8 分钟

2019 年 12 月 04 日，Apache Pulsar 发布了 2.4.2 版本。

2.4.2 版本合并了社区的 110 个 PR，修复了大量漏洞，覆盖 Broker、客户端、Pulsar Functions 和 connectors 等，进一步丰富和完善了 Pulsar 作为一个云原生流数据平台的能力。

以下是 2.4.2 版本的详细信息。

>>> :mag_right:漏洞修复 <<<

> Broker

修复了在 asyncReplayEntries 触发 callback 之后，没有返回 empty result 的问题。 [PR-5500]
修复了在并发场景下，PersistentDispatcherMultipleConsumers 存在的竞态问题。 [PR-5499]
修复了当用户使用自定义的 auth-provider 时出错的问题。 [PR-5462]
修复了由于 NPE 导致的 namespace policies 设置不生效的问题。 [PR-5408]
修复了由于 messagesToRedeliver 的竞态条件，导致无法读取更多的 entries 的问题。 [PR-5391]
修复了在 addConsumer 中潜在的死锁问题。 [PR-5371]
在 proxy 中增加 request body 的 cache，确保请求能够被重新发送到 proxy。 [PR-5361]
修复了当数据写入 BookKeeper 失败时，需等待 10s 后才创建新 ledger 的问题。 [PR-5322]
当前，如果在创建 producer/consumer 时，broker 会通过 zkCache 中所记录的 namespace 策略尝试给它们授权，但是，如果从 zk-node 中读取数据超时，zk-cache 将会处于 5 分钟左右的 pending 状态，这导致在此期间，client 将无法在该 topic 上继续创建新的 producer/consumer。 2.4.2 版本修复了此问题。 [PR-5298]
修复了在 ack timeout 到期后，触发 broker 重新发送消息时存在的数据竞态问题。 [PR-5276]
修复了消息去重时可能导致的消息重复状态不确定的场景下，错误未被正确处理的问题。 [PR-5243]
修复了在多线程场景下，可能会同时更改 brokerToNamespaceToBundleRange 这个 map，如果出现 NPE，可能导致查询 namespace 下的 bundle 出错。 [PR-5191]
修复了在 Failover 的订阅模式下，如果执行 reset cursor 会造成消息无法被再次正确分发的问题。 [PR-5185]
修复了 broker 在开启 TLS 的情况下，与 Functions Worker 一起启动时出错的问题。 [PR-5151]
修复了 reset cursor 可能导致的死锁问题。 [PR-5136]
修复了在没有订阅的情况下，storage size 的值总是为 0 的问题。[PR-5108]

> Pulsar Functions

修复了 connectorsManager 在 WorkerService 中重复初始化的问题。 [PR-5545]
修复了在 FunctionRuntimeManager 初始化阶段，functions 不必要地重新启动。这会影响外部调度程序调度 Functions，例如:bernetes。 [PR-5527]
修复了在创建 Functions 的过程中，使用 --output-serde-classname 选项时，functionClassLoader 不能被正确设置的问题。[PR-5357]
修复了当从 state function 中查询一个不存在的 key 时，导致的 NullPointerException 的问题。 [PR-5272]
修复了在使用不同 classloaders 加载 function instance 时， window functions 可能被阻塞的问题。 [PR-5117]

> Java Client

修复了在 Java Client 中捕获 interrupt 异常后需要再次设置 interrupt 标志的问题。 [PR-5643]
修复了数据到期后由于连接 readers 而被删除的问题。 [PR-5621]
修复了在使用 REST API 获取 non-persistent topics 时，会显示 persistent topics 的问题。 [PR-5502]
修复了 UnAckedMessageTracker 中由于参数错误导致 “3600 messages have timed-out” 的问题。 [PR-5477]
修复了在序列化单挑 batch message 中可能导致的 OOM 问题。 [PR-5443]
修复了在 batch 启用时，发送大消息时会导致 producer 被阻塞的问题。 [PR-5282]
修复了用户设置 initial backoff delay 和 max backoff delay 不生效的问题。 [PR-5261]

> Cpp Client

修复了 negative ack tracker 不能按照给定的初始化顺序进行初始化的问题。 [PR-5453]
修复了关闭 producer 时bad_weak_ptr 导致的错误。 [PR-5315]
修复了 ClientConnection 中的析构函数没有正确被执行导致的内存泄漏问题。 [PR-5286]
修复了在 mac OS 系统中 Cmake build 出错的问题。 [PR-5263]
修复了 deadline_timer 持有对象引用导致的内存泄漏问题。 [PR-5246]

> Python Client

修复了 Python API create_reader 选项中 typo 错误导致 reader 创建失败的问题。 [PR-5487]

> Go Client

修复了官网缺少 Go Client 相关接口文档的问题。 [PR-5595]

> Schema

修复了在 Protobuf Schema 下， schema def 构建错误的问题。 [PR-5569]
修复 StringSchema 静态初始化时的顺序问题。 [PR-5445]

> Connectors

修复了 pulsar-spark 中，receive 忽略了大部分 ConsumerConfiguration 选项的问题。 [PR-5152]

>>> :mag_right: 优化改进 < <<