使用 crictl 对 Kubernetes 节点进行调试

FEATURE STATE: Kubernetes v1.11 [stable]

crictl 是 CRI 兼容的容器运行时命令行接口。 你可以使用它来检查和调试 Kubernetes 节点上的容器运行时和应用程序。 crictl 和它的源代码在 cri-tools 代码库。

准备开始

crictl 需要带有 CRI 运行时的 Linux 操作系统。

安装 crictl

你可以从 cri-tools 发布页面 下载一个压缩的 crictl 归档文件，用于几种不同的架构。 下载与你的 kubernetes 版本相对应的版本。 提取它并将其移动到系统路径上的某个位置，例如/usr/local/bin/。

一般用法

crictl 命令有几个子命令和运行时参数。 有关详细信息，请使用 crictl help 或 crictl <subcommand> help 获取帮助信息。

crictl 默认连接到 unix:///var/run/dockershim.sock。 对于其他的运行时，你可以用多种不同的方法设置端点：

  • 通过设置参数 --runtime-endpoint 和 --image-endpoint
  • 通过设置环境变量 CONTAINER_RUNTIME_ENDPOINT 和 IMAGE_SERVICE_ENDPOINT
  • 通过在配置文件中设置端点 --config=/etc/crictl.yaml

你还可以在连接到服务器并启用或禁用调试时指定超时值，方法是在配置文件中指定 timeout 或 debug 值，或者使用 --timeout 和 --debug 命令行参数。

要查看或编辑当前配置，请查看或编辑 /etc/crictl.yaml 的内容。

  1. cat /etc/crictl.yaml
  1. runtime-endpoint: unix:///var/run/dockershim.sock
  2. image-endpoint: unix:///var/run/dockershim.sock
  3. timeout: 10
  4. debug: true

crictl 命令示例

警告：

如果使用 crictl 在正在运行的 Kubernetes 集群上创建 Pod 沙盒或容器， kubelet 最终将删除它们。 crictl 不是一个通用的工作流工具，而是一个对调试有用的工具。

打印 Pod 清单

打印所有 Pod 的清单：

  1. crictl pods
  1. POD ID              CREATED              STATE               NAME                         NAMESPACE           ATTEMPT
  2. 926f1b5a1d33a       About a minute ago   Ready               sh-84d7dcf559-4r2gq          default             0
  3. 4dccb216c4adb       About a minute ago   Ready               nginx-65899c769f-wv2gp       default             0
  4. a86316e96fa89       17 hours ago         Ready               kube-proxy-gblk4             kube-system         0
  5. 919630b8f81f1       17 hours ago         Ready               nvidia-device-plugin-zgbbv   kube-system         0

根据名称打印 Pod 清单：

  1. crictl pods --name nginx-65899c769f-wv2gp
  1. POD ID              CREATED             STATE               NAME                     NAMESPACE           ATTEMPT
  2. 4dccb216c4adb       2 minutes ago       Ready               nginx-65899c769f-wv2gp   default             0

根据标签打印 Pod 清单：

  1. crictl pods --label run=nginx
  1. POD ID              CREATED             STATE               NAME                     NAMESPACE           ATTEMPT
  2. 4dccb216c4adb       2 minutes ago       Ready               nginx-65899c769f-wv2gp   default             0

打印镜像清单

打印所有镜像清单：

  1. crictl images
  1. IMAGE                                     TAG                 IMAGE ID            SIZE
  2. busybox                                   latest              8c811b4aec35f       1.15MB
  3. k8s-gcrio.azureedge.net/hyperkube-amd64   v1.10.3             e179bbfe5d238       665MB
  4. k8s-gcrio.azureedge.net/pause-amd64       3.1                 da86e6ba6ca19       742kB
  5. nginx                                     latest              cd5239a0906a6       109MB

根据仓库打印镜像清单：

  1. crictl images nginx
  1. IMAGE               TAG                 IMAGE ID            SIZE
  2. nginx               latest              cd5239a0906a6       109MB

只打印镜像 ID：

  1. crictl images -q
  1. sha256:8c811b4aec35f259572d0f79207bc0678df4c736eeec50bc9fec37ed936a472a
  2. sha256:e179bbfe5d238de6069f3b03fccbecc3fb4f2019af741bfff1233c4d7b2970c5
  3. sha256:da86e6ba6ca197bf6bc5e9d900febd906b133eaa4750e6bed647b0fbe50ed43e
  4. sha256:cd5239a0906a6ccf0562354852fae04bc5b52d72a2aff9a871ddb6bd57553569

打印容器清单

打印所有容器清单：

  1. crictl ps -a
  1. CONTAINER ID        IMAGE                                                                                                             CREATED             STATE               NAME                       ATTEMPT
  2. 1f73f2d81bf98       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   7 minutes ago       Running             sh                         1
  3. 9c5951df22c78       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   8 minutes ago       Exited              sh                         0
  4. 87d3992f84f74       nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f                                     8 minutes ago       Running             nginx                      0
  5. 1941fb4da154f       k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a   18 hours ago        Running             kube-proxy                 0

打印正在运行的容器清单：

  1. crictl ps
  1. CONTAINER ID        IMAGE                                                                                                             CREATED             STATE               NAME                       ATTEMPT
  2. 1f73f2d81bf98       busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47                                   6 minutes ago       Running             sh                         1
  3. 87d3992f84f74       nginx@sha256:d0a8828cccb73397acb0073bf34f4d7d8aa315263f1e7806bf8c55d8ac139d5f                                     7 minutes ago       Running             nginx                      0
  4. 1941fb4da154f       k8s-gcrio.azureedge.net/hyperkube-amd64@sha256:00d814b1f7763f4ab5be80c58e98140dfc69df107f253d7fdd714b30a714260a   17 hours ago        Running             kube-proxy                 0

在正在运行的容器上执行命令

  1. crictl exec -i -t 1f73f2d81bf98 ls
  1. bin   dev   etc   home  proc  root  sys   tmp   usr   var

获取容器日志

获取容器的所有日志：

  1. crictl logs 87d3992f84f74
  1. 10.240.0.96 - - [06/Jun/2018:02:45:49 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
  2. 10.240.0.96 - - [06/Jun/2018:02:45:50 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"
  3. 10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"

获取最近的 N 行日志：

  1. crictl logs --tail=1 87d3992f84f74
  1. 10.240.0.96 - - [06/Jun/2018:02:45:51 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.47.0" "-"

运行 Pod 沙盒

用 crictl 运行 Pod 沙盒对容器运行时排错很有帮助。 在运行的 Kubernetes 集群中，沙盒会随机地被 kubelet 停止和删除。

  1. 编写下面的 JSON 文件：

    1. {
    2.     "metadata": {
    3.         "name": "nginx-sandbox",
    4.         "namespace": "default",
    5.         "attempt": 1,
    6.         "uid": "hdishd83djaidwnduwk28bcsb"
    7.     },
    8.     "logDirectory": "/tmp",
    9.     "linux": {
    10.     }
    11. }

  2. 使用 crictl runp 命令应用 JSON 文件并运行沙盒。

    1. crictl runp pod-config.json

    返回了沙盒的 ID。

创建容器

用 crictl 创建容器对容器运行时排错很有帮助。 在运行的 Kubernetes 集群中，沙盒会随机的被 kubelet 停止和删除。

  1. 拉取 busybox 镜像

    1. crictl pull busybox
    2. Image is up to date for busybox@sha256:141c253bc4c3fd0a201d32dc1f493bcf3fff003b6df416dea4f41046e0f37d47

  2. 创建 Pod 和容器的配置：

    Pod 配置：

    1. {
    2.     "metadata": {
    3.         "name": "nginx-sandbox",
    4.         "namespace": "default",
    5.         "attempt": 1,
    6.         "uid": "hdishd83djaidwnduwk28bcsb"
    7.     },
    8.     "log_directory": "/tmp",
    9.     "linux": {
    10.     }
    11. }

    容器配置：

    1. {
    2.   "metadata": {
    3.       "name": "busybox"
    4.   },
    5.   "image":{
    6.       "image": "busybox"
    7.   },
    8.   "command": [
    9.       "top"
    10.   ],
    11.   "log_path":"busybox.log",
    12.   "linux": {
    13.   }
    14. }

  3. 创建容器，传递先前创建的 Pod 的 ID、容器配置文件和 Pod 配置文件。返回容器的 ID。

    1. crictl create f84dd361f8dc51518ed291fbadd6db537b0496536c1d2d6c05ff943ce8c9a54f container-config.json pod-config.json

  4. 查询所有容器并确认新创建的容器状态为 Created。

    1. crictl ps -a
    1. CONTAINER ID        IMAGE               CREATED             STATE               NAME                ATTEMPT
    2. 3e025dd50a72d       busybox             32 seconds ago      Created             busybox             0

启动容器

要启动容器，要将容器 ID 传给 crictl start：

  1. crictl start 3e025dd50a72d956c4f14881fbb5b1080c9275674e95fb67f965f6478a957d60
  1. 3e025dd50a72d956c4f14881fbb5b1080c9275674e95fb67f965f6478a957d60

确认容器的状态为 Running。

  1. crictl ps
  1. CONTAINER ID        IMAGE               CREATED              STATE               NAME                ATTEMPT
  2. 3e025dd50a72d       busybox             About a minute ago   Running             busybox             0

更多信息请参考 kubernetes-sigs/cri-tools。

Docker CLI 和 crictl 的映射

以下的映射表格只适用于 Docker CLI v1.40 和 crictl v1.19.0 版本。 请注意该表格并不详尽。例如，其中不包含 Docker CLI 的实验性命令。

说明： 尽管有些命令的输出缺少了一些数据列，CRICTL 的输出格式与 Docker CLI 是类似的。 如果你的脚本程序需要解析命令的输出，请确认检查该特定命令的输出。

mapping from docker cli to crictl - retrieve debugging information
docker clicrictl描述不支持的功能
attachattach连接到一个运行中的容器—detach-keys, —sig-proxy
execexec在运行中的容器里运行一个命令—privileged, —user, —detach-keys
imagesimages列举镜像 
infoinfo显示系统级的信息 
inspectinspect, inspecti返回容器、镜像或者任务的详细信息 
logslogs获取容器的日志—details
psps列举容器 
statsstats实时显示容器的资源使用统计信息列：NET/BLOCK I/O, PIDs
versionversion显示运行时（Docker、ContainerD、或者其他) 的版本信息 
mapping from docker cli to crictl - perform changes
docker clicrictl描述不支持的功能
createcreate创建一个新的容器 
killstop (timeout=0)杀死一个或多个正在运行的容器—signal
pullpull从镜像仓库拉取镜像或者代码仓库—all-tags, —disable-content-trust
rmrm移除一个或多个容器 
rmirmi移除一个或多个镜像 
runrun在新容器里运行一个命令 
startstart启动一个或多个停止的容器—detach-keys
stopstop停止一个或多个正运行的容器 
updateupdate更新一个或多个容器的配置CRI 不支持 —restart、—blkio-weight 以及一些其他的资源限制选项。
mapping from docker cli to crictl - supported only in crictl
crictl描述
imagefsinfo返回镜像的文件系统信息
inspectp显示一个或多个 Pod 的状态
port-forward转发本地端口到 Pod
pods列举 Pod
runp运行一个新的 Pod
rmp移除一个或多个 Pod
stopp停止一个或多个正运行的 Pod