prometheus

1. prometheus无法访问边缘节点

prometheus无法获得边缘节点node-exporter信息

img

排查方式

1、登录到prometheus-pod所在节点，查看prometheus容器的运行日志

  1. $ crictl ps -a
  2. $ crictl logs $containerID<b9a9f9d9fdb1e>

img

2、查看prometheus容器DNS配置文件resolv.conf，获得域名解析服务器地址

  1. crictl inspect $containerID<b9a9f9d9fdb1e>

img

  1. $ cat /var/lib/containerd/io.containerd.grpc.v1.cri/sandboxes/ebdbfc2212eb1390f24f02445e7737c62421c84caef92623/resolv.conf

img

获知prometheus pod 的域名解析服务器nameserver地址

3、使用dig命令，域名解析服务器设置为prometheus的nameserver地址，解析服务无法访问的域名，得到其对应解析出的ip

  1. $ dig @10.96.0.10 $无法访问的服务域名名称<edge-pi-node-02>

img

若没有dig命令则按照对应系统如下安装dns工具包

  1. $ apt install dnsutils  #ubuntu系统
  2. $ yum install bind-utils  #centos系统

4、用curl命令，使用刚刚解析的ip地址替换之前不可达的服务域名，看是否可以进行访问

https://edge-pi-node-02:10250/metrics 替换为：https://10.104.253.212:10250/metrics

  1. $ curl -k -v https://10.104.253.212:10250/metrics

如果可以正常访问则curl命令结果如下，且ipvs模式下节点应该有创建对应ip的虚拟服务转发规则

img