开发排查系统问题用得最多的手段就是查看系统日志,在分布式环境中一般使用ELK来统一收集日志,但是在并发大时使用日志定位问题还是比较麻烦, 我们来看下面的图:
上图一个用户请求一个url,整个链路如图,每个处理层都会产生日志,那我们如何把这些日志串在一些,形成一个请求全路径日志。
在现有的系统中,由于大量的其他用户/其他线程的日志也一起输出 穿行其中导致很难筛选出指定请求的全部相关日志。 那我们如何来处理呢?
我们可以把 每个请求弄一个唯一标识 ,然后我们 可以在日志打印的时候代上每个请求都使用一个唯一标识 ,而且那个 唯一标识需要传递给下游服务 , 下游服务打印日志的时候也带上这个唯一标识 ,这样就很好的追踪全部的链路显示在日志中。
那技术实现方案是什么呢? 我们应该尽可能的 对代码无入侵 ,使用 Logback的MDC机制日志模板中加入traceId标识,取值方式为%X{traceId} 。
MDC(Mapped Diagnostic Context,映射调试上下文) 是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能 。 MDC 可以看成是一个与当前线程绑定的Map ,可以 往其中添加键值对 。
MDC 中包含的内容可以被同一线程中执行的代码所访问 。当前线程的子线程会继承其父线程中的 MDC 的内容。当需要记录日志时, 只需要从 MDC 中获取所需的信息即可 。MDC 的内容则由程序在适当的时候保存进去。对于一个 Web 应用来说,通常是在请求被处理的最开始保存这些数据。
由于MDC内部使用的是 ThreadLocal所以只有本线程才有效 ,子线程和下游的服务MDC里的值会丢失;所以 方案主要的难点是解决值的传递问题 ,主要包括以几下部分:
API网关中的MDC数据如何传递给下游服务
服务如何接收数据,并且调用其他远程服务时如何继续传递
异步的情况下(线程池)如何传给子线程
logback配置文件日志格式添加该标识
此过滤器就是来解决网关如何把MDC的数据传递给下游服务:
生成traceId并通过header传递给下游服务
上面代码有个MDC是属于org.slf4j.MDC中的,下面就是常量的值:
/** * 日志链路追踪id信息头 */ String TRACE_ID_HEADER = "x-traceId-header"; /** * 日志链路追踪id日志标志 */ String LOG_TRACE_ID = "traceId";复制代码
接收并保存traceId的值:
继续把当前服务的traceId值传递给下游服务:
主要针对业务会使用线程池(异步、并行处理),并且spring自己也有@Async注解来使用线程池,要解决这个问题需要以下两个步骤:
重写logback的LogbackMDCAdapter
由于logback的MDC实现内部使用的是ThreadLocal不能传递子线程,所以需要重写替换为阿里的TransmittableThreadLocal。
TransmittableThreadLocal 是Alibaba开源的 、用于 解决 “在使用线程池等会缓存线程的组件情况下传递ThreadLocal” 问题的 InheritableThreadLocal 扩展 。若希望 TransmittableThreadLocal 在线程池与主线程间传递,需配合TtlRunnable和TtlCallable使用。
其他代码与ch.qos.logback.classic.util.LogbackMDCAdapter一样,只需改为调用copyOnInheritThreadLocal变量。
TtlMDCAdapterInitializer类 用于程序启动时加载自己的mdcAdapter实现:
增加TtlRunnable和TtlCallable扩展:
测试代码如下:
log.info("测试") @Async public void test(){ log.info("测试1") } userService.findByUserName("gu");复制代码
api网关打印的日志
ELK聚合日志通过traceId查询整条链路日志
当系统出现异常时,可直接通过该异常日志的traceId的值,在日志中心中询该请求的所有日志信息,类似下图:
到此分布式的日志跟踪就已经完成了,这样就很好的可以排查整个微服务的日志链路,谢谢!!!
转载于:https://mp.weixin.qq.com/s/xoaXUnzOdK-RaBYOGbYmqw