转载

求取一份极致的简单：全链路跟踪中间件探索之路（编辑中）

一. 背景

二. 设计目标

三. 产品架构

四. 追本溯源

五. 传递之道

六. 落地之机

七. 改造之旅

一. 背景

公司内部的业务系统有近千个，基本上很少有比较孤立的；尤其外部系统，即便用户在页面上一个很普通的操作，后台也需要少则几个多则几十个服务协同完成。以前我们定位调用链上的问题方式，基本上都是叫上调用链上所有对服务比较熟悉的技术人员，定位问题费时费力；由此，我们团队决定引入一套全链路跟踪中间件产品。

起初，我们全面调研了社区很多比较成熟的产品之后，发现这些产品与我们公司现存场景多有不符的地方，主要的一点就是我们公司内部应用之间通信方式的多样化。各业务部门之间技术栈极不统一，各业务部门内部的应用之间以及各业务部门应用之间的通信方式自然也多种多样，公开服务的方式包括：REST、RabbitMQ、Dubbo、RMI、Zookeeper等，调用服务的方式包括：OkHttp 2.x、OkHttp 3.x 、Apache HttpClient、Spring RestTemplate、RabbitMQ、Dubbo、RMI、Zookeeper等。我们在自研这套产品过程中，首先参考了谷歌公开的《Dapper大规模分布式系统的跟踪系统》这篇论文，借鉴了社区类似产品的很多思路和理念，像Twitter的Zipkin、阿里的鹰眼、去哪儿网的QTracer、GitHub上开源的PinPoint等产品。

二. 设计目标

设计目标是企业的设计部门根据设计战略的要求组织各项设计活动预期取得的成果。在产品设计之初，我们就参考了谷歌公开的《Dapper大规模分布式系统的跟踪系统》论文及我们的实际业务场景，制定了如下设计目标：

2.1 低消耗：全链路跟踪中间件在接入后应该做到对在线服务的影响足够小，甚至可以忽略不计；

2.2 低侵入：不应该让各在线服务显示感受到跟踪API的存在，至少不应该显示侵入业务代码内部，也就是不能出现在类中的import处；

2.3 可开关：全链路跟踪中间件的调用链参数传递及日志落地时机要做到在线开关，以避免重大Bug影响在线服务；

2.4 延展性：全链路跟踪中间件至少在未来几年的服务体量和集群规模都应该能完全把控住，主要针对的是存储组件。

三. 产品架构

3.1 Trace Agent：各业务服务内部的埋点，其中包括各种通信方式的参数传递、配置模块、接入模块等，最终将调用链节点数据以日志形式落地；

3.2 Filebeat：采集Trace agent产生的调用链节点日志并送给Logstash；

3.3 Logstash：对跟踪日志进行再处理，像属性提取并结构化后输出到ElasticSearch；

3.4 ElasticSearch：调用链节点日志的最终存储地，每个节点日志以行为单位进行存储；

3.5 Trace Web UI：数据展现页分为四部分，调用链TraceId列表、调用链列表、依赖分析图(基于百度的Echarts)、节点详情页，如下：

3.5.1调用链TraceId列表

3.5.2调用链列表

3.5.3依赖分析图

3.5.4节点详情页

四. 追本溯源

全链路跟踪中间件产品要解决的第一个非常重要的问题就是调用链源头的追溯，随着对产品的理解逐渐加深，关于调用链源头我们梳理出两点，一是人为调用(触发页面上某事件)，二是系统定时调用(定时任务触发)：

4.1、人为调用：调用链源头可追溯至javax.servlet.javax.servlet.Filter上

4.2、系统定时调用：调用链源头可追溯至定时任务的执行点(基于我们自研的分布式定时任务产品)

五. 传递之道

全链路跟踪中间件产品要解决的第二个非常重要的问题就是调用链参数(traceId和父spanId)向下游服务传递。在调用下游服务时，有些调用是不需要跟踪的，比如调用K8s的REST接口、ES的REST接口，所以我们设计了三级开关处理：机器级开关(跳掉某个IP的跟踪)、应用级开关(跳掉某个应用的跟踪)、接口级开关(跳掉应用内某个接口的跟踪)。各种通信方式调用链参数传递逻辑如下：

5.1 OkHttp2.x、OkHttp3.x(HTTP)

5.2 Apache HttpClient(HTTP)

5.3 Spring RestTemplate(HTTP)

5.4 REST端(HTTP)

5.5 RabbitMQ Send(MQ)

5.6 RabbitMQ Recv(MQ)

5.7 Dubbo Provider(RPC)

5.8 Dubbo Consumer(RPC)

5.9 RMI Server(RPC)

5.10 RMI Client(RPC)

5.11 异步调用时，线程池内的线程是获取不到与主线程关联的对象数据的，需要用使用阿里开源的一个类库(transmittable-thread-local)对原有线程池进行包装