eBay 的技术人员最近展示了一种称为 GRIT 的分布式事务协议,支持跨多个具有多个底层数据库的微服务的 ACID(原子性、一致性、隔离性、持久性)事务。
本文描述了在 2019 年 IEEE 数据工程国际会议(ICDE)上公布的 GRIT 协议的基本思想,并提供了一个使用部分协议实现 JanusGraph 事务存储后端的示例。本例关注的是只有一个数据库的系统,但是正如我们所说,GRIT 可以支持包含多个数据库的系统的 ACID 事务 。
在 微服务 体系结构中,应用程序可能调用多个微服务,这些微服务通常由不同的团队以不同的应用程序语言实现,并可能使用多个底层数据库来实现其功能。这种流行的架构为跨多个微服务的分布式事务一致性带来了新的挑战。在微服务上下文中支持 ACID 事务是一个实际的需求,但是使用现有的技术很难实现,因为为单个数据库设计的分布式事务机制很难通过微服务扩展到多个数据库。
在涉及多个独立数据库的环境中,在应用程序不做额外工作的情况下,传统的两阶段提交(2PC)协议 [1] 基本上是系统分布式事务的惟一选择。然而,由于可能需要协调许多参与交互的系统,而且期间需要锁定,它在横向扩展平台上的效果并不好。另一方面,使用由诸如 Saga 之类的框架 [2] 执行的事务日志会导致应用程序产生复杂的补偿逻辑,并且由于部分成功的事务不可逆,可能会影响业务。
为了解决这些问题,我们开发了 GRIT ,这是一种用于分布式事务全局一致性的新协议,它巧妙地结合了来自乐观并发控制(OCC) [3]、2PC 和确定性数据库 [4][5] 的思想,实现了跨多个底层数据库的微服务的高性能、全局一致性事务。
下图说明了具有两个数据库的微服务系统中的 GRIT 协议。GRIT 组成部分包括 GTM、GTL、DBTM、DBTL 和 LogPlayer,如下图所示。
上图是在不借助 GRIT 组件的情况下,一个普通的微服务架构的系统,它有两个横向扩展的数据库。它的组成部分如下:
GRIT 的主要组件包括:
为了理解协议的细节,我们使用下图来展示分布式事务的主要步骤。
在 GRIT 中,分布式事务要经历三个阶段:
总的来说,我们的方法在执行和提交过程中都避免了悲观锁定,也避免了物理提交等待。我们采用乐观的方法,利用逻辑提交日志,并使用确定性数据库技术将物理数据库修改移出提交决策过程,从而使提交过程非常高效,这与复制中的日志播放类似。
GRIT 能够为调用微服务的应用程序实现高吞吐量且可串行化的分布式事务一致性,并且只需最少的协调。GRIT 非常适合于冲突很少的事务,并为应用程序提供了关键的功能,否则就需要复杂的机制来实现跨多个底层数据库的微服务的事务一致性。
如你所见,GRIT 协议包括两个部分:一个针对每个数据库(或每个数据库域,可以是数据库的一组分区),由 DBTM、DBTL 和 LogPlayer 执行,另一个跨数据库协调,由 GTM 和 DBTM 执行。在下图中,我们将演示下如何使用 GRIT 协议的一部分为 JanusGraph 设计一个事务性图形存储后端(称为 NuGraphStore)。
下图展示了如何使用两个可用区域(AZ1 和 AZ2)部署来实现 NuGraphStore,仅供参考:
JanusGraph 的 NuGraphStore 后端包含以下几个组件:
当应用程序执行事务时,它可以从存储区读取数据及向存储区写入数据。对于读操作,存储插件直接与存储服务器通信(除了在事务的写集中找到的读操作)。当应用程序在事务上下文中从存储中读取数据时,存储插件还会跟踪读集。每次读取获得的有用信息是 <key, lsn> 对,其中 lsn 是反映读取键值时存储引擎状态的日志序列号。LSN 是事务修改条目的日志索引。它由 LogStore 分配,用于定义后端数据库的快照。没有找到的键也被记录为读集的一部分。与读操作不同,写操作的存储插件并不直接与存储服务器通信。相反,存储插件缓存与事务写集对应的写入。
当事务提交时,存储插件将提交请求连同为事务捕获的读集和写集提交给 DBTM。DBTM 为事务 OCC 执行标准的冲突检查。如果没有冲突,它将把写集持久化到复制的 LogStore 中(即将写集发送到 LogStore 副本集,这样,所有副本都保留了完全相同的日志)。此时,事务提交逻辑完成,DBTM 将响应发回存储插件。LogPlayer 跟踪 LogStore 并根据数据分布将日志条目播放到后端的分片服务器。
需要指出的是,上面描述是一个基本设计,性能和可靠性还有许多可以提高的地方。我们相信,在跨组件优化或使用 DBTM 复制来实现更高的可靠性之前,完善基本组件更高效。同样,我们也有不同的方法来获取读集和写集。对于 KV 存储,我们在冲突检查时需要的最简单形式是 <key, lsn> 对。但是,为了支持更复杂的系统,读集可能包括范围或谓词 [6]。在本文写作时,NuGraphStore 正在经历开源过程。
1. C. Mohan, Bruce Lindsay and R. Obermarck, “R* 分布式数据库管理系统中的事务管理” ACM Transactions on Database Systems (TODS), Volume 11 Issue 4, Dec. 1986, Pages 378 - 396.
2. Pat Helland, “分布式事务之外:叛教者的观点”, CIDR 2007.
3. H.T. Kung, J.T. Robinson, “并发控制的乐观方法”, ACM Transactions on Database Systems 6:2, June, 1981.
4. Thomson, Alexander and Diamond, Thaddeus and Shao, Philip and Ren, Kun and Weng, Shu-Chun and Abadi, Daniel J, “Calvin:分区数据库系统的快速分布式事务”, SIGMOD 2012.
5. Kun Ren, Alexander Thomson, Daniel Abadi, “确定性数据库系统优缺点评估”, VLDB 2014.
6. Thomas Neumann, Tobias Mühlbauer, Alfons Kemper, “主存数据库系统的快速可串行化多版本并发控制”, SIGMOD 2015
本文最初发布于 eBay 的技术博客,由 InfoQ 中文站翻译并分享。
GRIT: a Protocol for Distributed Transactions across Microservices