分析 ExitCode 定位 Pod 异常退出原因

使用 kubectl describe pod <pod name> 查看异常 pod 的状态:

  1. Containers:
  2.   kubedns:
  3.     Container ID:  docker://5fb8adf9ee62afc6d3f6f3d9590041818750b392dff015d7091eaaf99cf1c945
  4.     Image:         ccr.ccs.tencentyun.com/library/kubedns-amd64:1.14.4
  5.     Image ID:      docker-pullable://ccr.ccs.tencentyun.com/library/kubedns-amd64@sha256:40790881bbe9ef4ae4ff7fe8b892498eecb7fe6dcc22661402f271e03f7de344
  6.     Ports:         10053/UDP, 10053/TCP, 10055/TCP
  7.     Host Ports:    0/UDP, 0/TCP, 0/TCP
  8.     Args:
  9.       --domain=cluster.local.
  10.       --dns-port=10053
  11.       --config-dir=/kube-dns-config
  12.       --v=2
  13.     State:          Running
  14.       Started:      Tue, 27 Aug 2019 10:58:49 +0800
  15.     Last State:     Terminated
  16.       Reason:       Error
  17.       Exit Code:    255
  18.       Started:      Tue, 27 Aug 2019 10:40:42 +0800
  19.       Finished:     Tue, 27 Aug 2019 10:58:27 +0800
  20.     Ready:          True
  21.     Restart Count:  1

在容器列表里看 Last State 字段，其中 ExitCode 即程序上次退出时的状态码，如果不为 0，表示异常退出，我们可以分析下原因。

退出状态码的区间

  • 必须在 0-255 之间
  • 0 表示正常退出
  • 外界中断将程序退出的时候状态码区间在 129-255，(操作系统给程序发送中断信号，比如 kill -9 是 SIGKILL，ctrl+c 是 SIGINT)
  • 一般程序自身原因导致的异常退出状态区间在 1-128 (这只是一般约定，程序如果一定要用129-255的状态码也是可以的)

假如写代码指定的退出状态码时不在 0-255 之间，例如: exit(-1)，这时会自动做一个转换，最终呈现的状态码还是会在 0-255 之间。我们把状态码记为 code

  • 当指定的退出时状态码为负数，那么转换公式如下:
  1. 256 - (|code| % 256)
  • 当指定的退出时状态码为正数，那么转换公式如下:
  1. code % 256

常见异常状态码

  • 137 (被 SIGKILL 中断信号杀死)

    • 此状态码一般是因为 pod 中容器内存达到了它的资源限制(resources.limits)，一般是内存溢出(OOM)，CPU达到限制只需要不分时间片给程序就可以。因为限制资源是通过 linux 的 cgroup 实现的，所以 cgroup 会将此容器强制杀掉，类似于 kill -9，此时在 describe pod 中可以看到 Reason 是 OOMKilled
    • 还可能是宿主机本身资源不够用了(OOM)，内核会选取一些进程杀掉来释放内存

    • 不管是 cgroup 限制杀掉进程还是因为节点机器本身资源不够导致进程死掉，都可以从系统日志中找到记录:

      ubuntu 的系统日志在 /var/log/syslog，centos 的系统日志在 /var/log/messages，都可以用 journalctl -k 来查看系统日志

    • 也可能是 livenessProbe (存活检查) 失败，kubelet 杀死的 pod

    • 还可能是被恶意木马进程杀死
  • 1 和 255
    • 这种可能是一般错误，具体错误原因只能看容器日志，因为很多程序员写异常退出时习惯用 exit(1) 或 exit(-1)，-1 会根据转换规则转成 255

状态码参考

这里罗列了一些状态码的含义：Appendix E. Exit Codes With Special Meanings

Linux 标准中断信号

Linux 程序被外界中断时会发送中断信号，程序退出时的状态码就是中断信号值加上 128 得到的，比如 SIGKILL 的中断信号值为 9，那么程序退出状态码就为 9+128=137。以下是标准信号值参考：

  1. Signal     Value     Action   Comment
  2. ──────────────────────────────────────────────────────────────────────
  3. SIGHUP        1       Term    Hangup detected on controlling terminal
  4.                                      or death of controlling process
  5. SIGINT        2       Term    Interrupt from keyboard
  6. SIGQUIT       3       Core    Quit from keyboard
  7. SIGILL        4       Core    Illegal Instruction
  8. SIGABRT       6       Core    Abort signal from abort(3)
  9. SIGFPE        8       Core    Floating-point exception
  10. SIGKILL       9       Term    Kill signal
  11. SIGSEGV      11       Core    Invalid memory reference
  12. SIGPIPE      13       Term    Broken pipe: write to pipe with no
  13.                                      readers; see pipe(7)
  14. SIGALRM      14       Term    Timer signal from alarm(2)
  15. SIGTERM      15       Term    Termination signal
  16. SIGUSR1   30,10,16    Term    User-defined signal 1
  17. SIGUSR2   31,12,17    Term    User-defined signal 2
  18. SIGCHLD   20,17,18    Ign     Child stopped or terminated
  19. SIGCONT   19,18,25    Cont    Continue if stopped
  20. SIGSTOP   17,19,23    Stop    Stop process
  21. SIGTSTP   18,20,24    Stop    Stop typed at terminal
  22. SIGTTIN   21,21,26    Stop    Terminal input for background process
  23. SIGTTOU   22,22,27    Stop    Terminal output for background process

C/C++ 退出状态码

/usr/include/sysexits.h 试图将退出状态码标准化(仅限 C/C++):

  1. #define EX_OK           0       /* successful termination */
  3. #define EX__BASE        64      /* base value for error messages */
  5. #define EX_USAGE        64      /* command line usage error */
  6. #define EX_DATAERR      65      /* data format error */
  7. #define EX_NOINPUT      66      /* cannot open input */
  8. #define EX_NOUSER       67      /* addressee unknown */
  9. #define EX_NOHOST       68      /* host name unknown */
  10. #define EX_UNAVAILABLE  69      /* service unavailable */
  11. #define EX_SOFTWARE     70      /* internal software error */
  12. #define EX_OSERR        71      /* system error (e.g., can't fork) */
  13. #define EX_OSFILE       72      /* critical OS file missing */
  14. #define EX_CANTCREAT    73      /* can't create (user) output file */
  15. #define EX_IOERR        74      /* input/output error */
  16. #define EX_TEMPFAIL     75      /* temp failure; user is invited to retry */
  17. #define EX_PROTOCOL     76      /* remote error in protocol */
  18. #define EX_NOPERM       77      /* permission denied */
  19. #define EX_CONFIG       78      /* configuration error */
  21. #define EX__MAX 78      /* maximum listed value */