转载

神奇的Java僵尸(defunct)进程问题排查过程

点击上方 "IT牧场" ,选择 "设为星标" 技术干货每日送达!

神奇的Java僵尸(defunct)进程问题排查过程

原文链接: https://www.jianshu.com/u/21add3dce532

现象描述

  • 大概1个月多以前 在启动脚本中增加了tail -f

  • 用来启动后追踪日志判断是否启动成功

  • 后发现无法执行shutdown.sh(卡住 利用curl) 然后无奈使用kill -9

  • 但通过ps -el 发现此时进程变为defunct 即僵尸进程

  • 当时的解决办法无奈 只能找到僵尸进程的父进程kill

  • 当时认为可能是tail的问题 后来启动脚本中去掉tail 发现问题解决

  • But

    • 当时一直没有来得及排查是如何引起僵尸进程的问题

    • 这两天抽时间排查了一下 发现和tail没有一毛钱关系

艰难的排查过程1-尝试复现

测试代码Defunct.java

import java.util.concurrent.TimeUnit;

public class Defunct {
public static void main(String[] args) {
while (true) {
System.out.println("test defunct");

try {
TimeUnit.SECONDS.sleep(30);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}

启动脚本start.sh

#!/bin/bash

nohup java -cp defunct.jar Defunct &

echo "$!"
echo "$!" > pid

启动脚本start_tail.sh 使用了tail

#!/bin/bash

nohup java -cp defunct.jar Defunct &

echo "$!"
echo "$!" > pid

tail -f nohup.out

关服脚本stop.sh 这里使用kill关服

#!/bin/bash

pid=`cat pid`
echo $pid

kill $pid

分别用两个脚本测试,得出下面几个结论:

  • 所以初步结论是貌似和tail没有什么关系

  • 此时sh和tail两个进程都结束了

  • 而此时java进程的父进程变为了1

  • sh分别有两个子进程

  • 一个是java子进程 一个是tail子进程

  • start.sh启动的java进程的父进程是1 即init进程

  • start_tail.sh启动后 java进程的父进程是sh

  • 当启动start_tail.sh后 因为tail是前台进程 所以ctrl+c可以结束

  • 用这个例子做各种测试 都无法复现僵尸进程的问题

艰难的排查过程2-游戏服务器尝试复现

  • 当初出现是在游戏服务器复现的 那么应该比较复现吧

  • 修改了一个游戏服务器的启动脚本 默认是没有加tail 现在加上了tail -f

  • 启动游戏服务器脚本 看到日志 启动成功 ctrl+c 退出tail

  • 调用shutdown.sh 发现服务器顺利关闭

结论: 竟然无法在游戏服务器复现

艰难的排查过程3-各种思考、查阅资料

首先从僵尸进程的产生原因入手, 猜测是否是sh这个父进程没有调用waitpid去回收java子进程。

查询网上类似的tomcat tail -f问题, 思考当初1个多月以前的情形, 其中有一个很重要的当初情形是shutdown的时候ctrl卡住了。 灵光一现, 道是当初操作失误了,没有按下ctrl+c而是按下了ctrl+z。

神奇的ctrl+z 复现测试代码defunct

启动start_tail.sh 然后ctrl+z

[xx@achilles deploy_defunct]$ sh start_tail.sh
3974
nohup: appending output to `nohup.out'
defunct2
^Z
[2]+ Stopped sh start_tail.sh

启动stop.sh 发现进程(3974)无法被stop

[xx@achilles deploy_defunct]$ sh stop.sh
3974
[xx@achilles deploy_defunct]$ jps
4146 Jps
3974 Defunct2
12790 SpursLauncher
3726 SpursLauncher

使用kill -9 尝试杀死进程 此时发现进程已经是defunct了

[xx@achilles deploy_defunct]$ kill -9 3974
[xx@achilles deploy_defunct]$ jps
3974 Defunct2
12790 SpursLauncher
4314 Jps
3726 SpursLauncher
[xx@achilles deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java <defunct>

此时只要使用fg命令从后台调到前台然后按下ctrl+c 则僵尸进程自动消失

[xx@achilles deploy_defunct]$ ps -el | grep 3974
0 Z 500 3974 3973 0 80 0 - 0 exit pts/4 00:00:00 java <defunct>
[xx@achilles deploy_defunct]$ fg
sh start_tail.sh
^C
[xx@achilles deploy_defunct]$ ps -el | grep 3974

神奇的ctrl+z 复现游戏服务器defunct

启动脚本(有tail) 等待一段时间(将所有服务器全部开启) 并ctrl+z

[xx@achilles spurs-2]$ sh start.sh
......
^Z
[1]+ Stopped sh start.sh

此时执行shutdown.sh 发现没有任何反应(卡住) 无奈ctrl+c

[xx@achilles spurs-2]$ sh shutdown.sh
^C
[xx@achilles spurs-2]$ jps
9667 SpursLauncher
9796 Jps
[xx@achilles spurs-2]$ ll /proc/9667 | grep cwd
lrwxrwxrwx 1 xx xx 0 Dec 5 17:32 cwd -> /data/home/user00/xx/achilles/backend/spurs-2

[xx@achilles spurs-2]$ ps -el | grep 9667
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
[xx@achilles spurs-2]$ ps -el | grep 9666
0 T 500 9666 8959 0 80 0 - 26521 signal pts/6 00:00:00 sh
0 T 500 9667 9666 7 80 0 - 1442848 signal pts/6 00:00:07 java
0 T 500 9669 9666 0 80 0 - 25241 signal pts/6 00:00:00 tail

此时执行jstack 也发现没有任何反应(卡住) 无奈ctrl+c

[xx@achilles spurs-2]$ jstack 9667
^C

此时执行kill -9 此时java进程已经变为了僵尸进程

[xx@achilles spurs-2]$ kill -9 9667
[xx@achilles spurs-2]$ ps -el | grep 9667
0 Z 500 9667 9666 1 80 0 - 0 exit pts/6 00:00:07 java <defunct>

此时用fg将暂停的脚本恢复 然后ctrl+c 则僵尸进程消失 顺利被回收

[xx@achilles spurs-2]$ fg
sh start.sh
^C
[xx@achilles spurs-2]$ ps -el | grep 9666
[xx@achilles spurs-2]$ ps -el | grep 9667

总结1

  • tail和造成defunct没有任何关系

  • 根本原因是因为按下ctrl+z 将start_tail.sh切换到了后台

  • 测试1 当start_tail.sh后 按下ctrl+z 如果直接被crt#session关闭了呢

    • 更神奇的事情发生了 java进程直接被干掉了

    • !!这个在游戏服务器也测试了 一定要注意!!

  • 测试2 执行start_tail.sh 直接关闭ctr#session 则java进程还在 因为是nohup启动

  • 测试3 当start_tail.sh后 按下ctrl+z 再按fg 恢复执行 此时之后可以顺利shutdown

总结2

  • 正常启动脚本 没有tail java进程的父进程是1 即init进程 使用shutdown脚本关闭java进程后 自动被init进程回收

  • 启动脚本加了tail

    • 此时java进程的父进程是sh进程

    • sh进程有两个子进程 一个是java子进程 一个是tail子进程

    • 直接ctrl+c 则sh进程和tail进程都结束 java进程的父进程变为了1

    • 如果不ctrl+c 直接shutdown java进程 则java进程也会正常结束,即sh父进程会回收java子进程

总结3

  • 最终'罪魁祸首'是 ctrl+z ,它会暂停程序的运行

  • 如果我们启动脚本没有加tail 则执行完nohup & 自动到后台

  • 但是我们加了tail后 因为tail是前台进程 所以要么ctrl+c结束 要么ctrl+z

  • 如果我们按下了ctrl+z 则sh启动的所有子进程都会暂停

  • 所以我们的java进程此时处于暂停状态 所以shutdown/jstack都卡住了一样 只能ctrl+c退出

  • 然后错误的操作就是使用kill -9 这个会把进程给干掉 但是因为父进程sh被暂停了 所以无法waitPid 执行子进程的回收操作 从而导致java进程变为了僵尸进程

  • 而通过fg恢复后 ctrl+c 父进程和tail都退出 java进程被init进程接管 自动回收

总结4

  • 加tail -f 没有问题, 是一定不要忘了ctrl+c;

  • 如果ctrl+z 那么一定要fg然后ctrl+c;

  • 当出现shutdown.sh卡住或者操作jvm都没反应,则可以怀疑是暂停引起的;

干货分享

最近将个人学习笔记整理成册,使用PDF分享。关注我,回复如下代码,即可获得百度盘地址,无套路领取!

001:《Java并发与高并发解决方案》学习笔记; 002:《深入JVM内核——原理、诊断与优化》学习笔记; 003:《Java面试宝典》 004:《Docker开源书》 005:《Kubernetes开源书》 006:《DDD速成(领域驱动设计速成)》 007: 全部 008: 加技术讨论群

近期热文

想知道更多?长按/扫码关注我吧↓↓↓ 神奇的Java僵尸(defunct)进程问题排查过程 >>>技术讨论群<<< 喜欢就点个 "在看" 呗^_^

原文  http://mp.weixin.qq.com/s?__biz=MzI4ODQ3NjE2OA==&mid=2247485642&idx=2&sn=7357ba237a9ddbc683657fd2c47e7e4c
正文到此结束
Loading...