安全加固指南 - v2.5.0 - CIS1.6

本文讲解了如何使您的集群符合互联网安全中心发布的 Kubernetes 安全基准，保护集群中节点的安全。安装 Kubernetes 之前，请按照本指南进行操作。加固指南旨在与特定版本的 CIS Kubernetes Benchmark，Kubernetes 和 Rancher 一起使用。

加固指南旨在与特定版本的 CIS Kubernetes Benchmark，Kubernetes 和 Rancher 一起使用：

Rancher 版本CIS Benchmark 版本Kubernetes 版本
Rancher v2.5.4Benchmark 1.6Kubernetes v1.18

单击这里下载 PDF 版本的加固指南

概览

下面的安全加固指南是针对在生产环境的 Rancher v2.5.4 中使用 Kubernetes v1.15 版本的集群。它概述了如何满足互联网安全中心（CIS）提出的 Kubernetes 安全标准。

有关如果根据官方 CIS 基准评估集群的更多详细信息，请参阅CIS Benchmark Rancher 自测指南 - Rancher v2.5.4。

已知问题

如果注册自定义节点时只提供了公共 IP，在 CIS 1.6 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。

  • 如果注册自定义节点时只提供了公共 IP，在 CIS 1.6 加固设置中，将无法正常在 Rancher UI 中使用执行命令行和查看日志功能。如果想要使用上述两个功能，请在注册自定义节点时提供私有 IP 地址。
  • default_pod_security_policy_template_id:为 restricted时，Rancher 在默认的 service account 中创建角色绑定和集群角色绑定。CIS 1.6 要求默认 service account 没有绑定任何角色，不提供 service account 的 token，不分配特定的权限。

配置内核运行时参数

对于集群中的所有类型的节点，都建议使用以下的sysctl配置。在/etc/sysctl.d/90-kubelet.conf中设置以下参数：

  1. vm.overcommit_memory=1
  3. vm.panic_on_oom=0
  5. kernel.panic=10
  7. kernel.panic_on_oops=1
  9. kernel.keys.root_maxbytes=25000000

Copy

执行sysctl -p /etc/sysctl.d/90-kubelet.conf来启用配置。

配置etcd用户和组

在安装 RKE 之前，需要设置etcd服务的用户帐户和组。etcd用户的uid和gid将在 RKE 的config.yml中使用，以在安装期间为文件和目录设置适当的权限。

以下命令使用52034作为uid和gid的例子。任何有效的未使用的uid或gid也可以用来代替52034。

创建etcd用户和组

要创建etcd组，请运行以下控制台命令。

  1. addgroup --gid 52034 etcd
  3. useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd

Copy

使用etcd用户的uid和gid更新 RKE 的 config.yml文件：

  1. services:
  3.   etcd:
  5.     gid: 52034
  7.     uid: 52034

Copy

将default服务账号的automountServiceAccountToken设置为 false

Kubernetes 提供了一个默认服务账号（Service Account），如果集群的工作负载中没有为 Pod 分配任何特定服务账号，那么它将会使用这个default的服务账号。在需要从 Pod 访问 Kubernetes API 的情况下，应为该 Pod 创建一个特定的服务账号，并向该服务账号授予权限。这个default的服务账户应该被设置为不提供服务账号令牌（service account token）和任何权限。将automountServiceAccountToken设置为 false 之后，Kubernetes 在启动 Pod 时，将不会自动注入default服务账户。

对于标准 RKE 安装中包括default和kube-system在内的每个命名空间，default服务账户必须包含这个值。

  1. automountServiceAccountToken: false

Copy

把下面的 yaml 另存为account_update.yaml

  1. apiVersion: v1
  3. kind: ServiceAccount
  5. metadata:
  7.   name: default
  9. automountServiceAccountToken: false

Copy

创建一个名称为account_update.sh的脚本。通过运行chmod +x account_update.sh，使这个脚本有执行权限。

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl patch serviceaccount default -n ${namespace} -p "$(cat account_update.yaml)"
  10. done

Copy

确保所有命名空间均已定义网络策略

在同一个 Kubernetes 集群上运行不同的应用程序会产生一个风险，那就是应用可能受到相邻应用程序的攻击。为了确保容器只能与预期的容器进行通信，网络细分是必不可少的。通过设置网络策略（Network Policy），可以设置哪些 Pod 之间可以通信，以及是否可以和其他网络端点进行通信。

网络策略是作用于命名空间范围的。将网络策略应用于给定命名空间时，所有不被这个策略允许的流量将被拒绝。然而，如果命名空间中没有设置网络策略，那么进出这个命名空间中 Pod 的所有流量都将被允许。要使用网络策略，必须启用 CNI（容器网络接口）插件。本指南使用canal提供策略实施。您可以在这里找到有关 CNI 插件的其他信息。

在集群上启用 CN​​I 插件后，您可以设置一个默认的网络策略。下面是一个宽松的网络策略示例，仅供参考。如果您想要允许到某个命名空间内所有 Pod 的流量（即使已经添加了一些策略，使得一些 Pods 被隔离了），您可以创建一个策略，明确允许该命名空间中的所有流量。将以下yaml另存为 default-allow-all.yaml。额外关于网络策略的信息，请查看Kubernetes 官方文档。

重要

这个NetworkPolicy示例不建议在生产环境中使用。

  1. ---
  3. apiVersion: networking.k8s.io/v1
  5. kind: NetworkPolicy
  7. metadata:
  9.   name: default-allow-all
  11. spec:
  13.   podSelector: {}
  15.   ingress:
  17.     - {}
  19.   egress:
  21.     - {}
  23.   policyTypes:
  25.     - Ingress
  27.     - Egress

Copy

创建一个名称为apply_networkPolicy_to_all_ns.sh的脚本。通过运行chmod +x apply_networkPolicy_to_all_ns.sh，使这个脚本有执行权限

  1. #!/bin/bash -e
  6. for namespace in $(kubectl get namespaces -o custom-columns=NAME:.metadata.name --no-headers); do
  8.   kubectl apply -f default-allow-all.yaml -n ${namespace}
  10. done

Copy

运行脚本，以使全部的命名空间使用这个default-allow-all.yaml文件中的宽松的NetworkPolicy。

加固的 RKE cluster.yml 配置参考

您可以用这个供您参考的cluster.yml，通过 RKE CLI 来创建安全加固的 Rancher Kubernetes Engine（RKE）集群。有关每个配置的详细信息，请参阅RKE 文档。这个cluster.yml问号不包括所需的nodes指令，它将根据你的环境而变化。有关如何节点配置的文档可以参考RKE 节点配置示例。

  1. # If you intend to deploy Kubernetes in an air-gapped environment,
  3. # please consult the documentation on how to configure custom RKE images.
  5. # https://rancher.com/docs/rke/latest/en/installation/
  7. # the nodes directive is required and will vary depending on your environment
  9. # documentation for node configuration can be found here:
  11. # https://rancher.com/docs/rke/latest/en/config-options/nodes
  13. nodes: []
  15. services:
  17.   etcd:
  19.     image: ""
  21.     extra_args: {}
  23.     extra_binds: []
  25.     extra_env: []
  27.     win_extra_args: {}
  29.     win_extra_binds: []
  31.     win_extra_env: []
  33.     external_urls: []
  35.     ca_cert: ""
  37.     cert: ""
  39.     key: ""
  41.     path: ""
  43.     uid: 52034
  45.     gid: 52034
  47.     snapshot: false
  49.     retention: ""
  51.     creation: ""
  53.     backup_config: null
  55.   kube-api:
  57.     image: ""
  59.     extra_args: {}
  61.     extra_binds: []
  63.     extra_env: []
  65.     win_extra_args: {}
  67.     win_extra_binds: []
  69.     win_extra_env: []
  71.     service_cluster_ip_range: ""
  73.     service_node_port_range: ""
  75.     pod_security_policy: true
  77.     always_pull_images: false
  79.     secrets_encryption_config:
  81.       enabled: true
  83.       custom_config: null
  85.     audit_log:
  87.       enabled: true
  89.       configuration: null
  91.     admission_configuration: null
  93.     event_rate_limit:
  95.       enabled: true
  97.       configuration: null
  99.   kube-controller:
  101.     image: ""
  103.     extra_args:
  105.       feature-gates: RotateKubeletServerCertificate=true
  107.     extra_binds: []
  109.     extra_env: []
  111.     win_extra_args: {}
  113.     win_extra_binds: []
  115.     win_extra_env: []
  117.     cluster_cidr: ""
  119.     service_cluster_ip_range: ""
  121.   scheduler:
  123.     image: ""
  125.     extra_args: {}
  127.     extra_binds: []
  129.     extra_env: []
  131.     win_extra_args: {}
  133.     win_extra_binds: []
  135.     win_extra_env: []
  137.   kubelet:
  139.     image: ""
  141.     extra_args:
  143.       feature-gates: RotateKubeletServerCertificate=true
  145.       protect-kernel-defaults: "true"
  147.       tls-cipher-suites: TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256
  149.     extra_binds: []
  151.     extra_env: []
  153.     win_extra_args: {}
  155.     win_extra_binds: []
  157.     win_extra_env: []
  159.     cluster_domain: cluster.local
  161.     infra_container_image: ""
  163.     cluster_dns_server: ""
  165.     fail_swap_on: false
  167.     generate_serving_certificate: true
  169.   kubeproxy:
  171.     image: ""
  173.     extra_args: {}
  175.     extra_binds: []
  177.     extra_env: []
  179.     win_extra_args: {}
  181.     win_extra_binds: []
  183.     win_extra_env: []
  185. network:
  187.   plugin: ""
  189.   options: {}
  191.   mtu: 0
  193.   node_selector: {}
  195.   update_strategy: null
  197. authentication:
  199.   strategy: ""
  201.   sans: []
  203.   webhook: null
  205. addons: |
  207.   apiVersion: policy/v1beta1
  209.   kind: PodSecurityPolicy
  211.   metadata:
  213.     name: restricted
  215.   spec:
  217.     requiredDropCapabilities:
  219.     - NET_RAW
  221.     privileged: false
  223.     allowPrivilegeEscalation: false
  225.     defaultAllowPrivilegeEscalation: false
  227.     fsGroup:
  229.       rule: RunAsAny
  231.     runAsUser:
  233.       rule: MustRunAsNonRoot
  235.     seLinux:
  237.       rule: RunAsAny
  239.     supplementalGroups:
  241.       rule: RunAsAny
  243.     volumes:
  245.     - emptyDir
  247.     - secret
  249.     - persistentVolumeClaim
  251.     - downwardAPI
  253.     - configMap
  255.     - projected
  257.   ---
  259.   apiVersion: networking.k8s.io/v1
  261.   kind: NetworkPolicy
  263.   metadata:
  265.     name: default-allow-all
  267.   spec:
  269.     podSelector: {}
  271.     ingress:
  273.     - {}
  275.     egress:
  277.     - {}
  279.     policyTypes:
  281.     - Ingress
  283.     - Egress
  285.   ---
  287.   apiVersion: v1
  289.   kind: ServiceAccount
  291.   metadata:
  293.     name: default
  295.   automountServiceAccountToken: false
  297. addons_include: []
  299. system_images:
  301.   etcd: ""
  303.   alpine: ""
  305.   nginx_proxy: ""
  307.   cert_downloader: ""
  309.   kubernetes_services_sidecar: ""
  311.   kubedns: ""
  313.   dnsmasq: ""
  315.   kubedns_sidecar: ""
  317.   kubedns_autoscaler: ""
  319.   coredns: ""
  321.   coredns_autoscaler: ""
  323.   nodelocal: ""
  325.   kubernetes: ""
  327.   flannel: ""
  329.   flannel_cni: ""
  331.   calico_node: ""
  333.   calico_cni: ""
  335.   calico_controllers: ""
  337.   calico_ctl: ""
  339.   calico_flexvol: ""
  341.   canal_node: ""
  343.   canal_cni: ""
  345.   canal_controllers: ""
  347.   canal_flannel: ""
  349.   canal_flexvol: ""
  351.   weave_node: ""
  353.   weave_cni: ""
  355.   pod_infra_container: ""
  357.   ingress: ""
  359.   ingress_backend: ""
  361.   metrics_server: ""
  363.   windows_pod_infra_container: ""
  365. ssh_key_path: ""
  367. ssh_cert_path: ""
  369. ssh_agent_auth: false
  371. authorization:
  373.   mode: ""
  375.   options: {}
  377. ignore_docker_version: false
  379. kubernetes_version: v1.18.12-rancher1-1
  381. private_registries: []
  383. ingress:
  385.   provider: ""
  387.   options: {}
  389.   node_selector: {}
  391.   extra_args: {}
  393.   dns_policy: ""
  395.   extra_envs: []
  397.   extra_volumes: []
  399.   extra_volume_mounts: []
  401.   update_strategy: null
  403.   http_port: 0
  405.   https_port: 0
  407.   network_mode: ""
  409. cluster_name:
  411. cloud_provider:
  413.   name: ""
  415. prefix_path: ""
  417. win_prefix_path: ""
  419. addon_job_timeout: 0
  421. bastion_host:
  423.   address: ""
  425.   port: ""
  427.   user: ""
  429.   ssh_key: ""
  431.   ssh_key_path: ""
  433.   ssh_cert: ""
  435.   ssh_cert_path: ""
  437. monitoring:
  439.   provider: ""
  441.   options: {}
  443.   node_selector: {}
  445.   update_strategy: null
  447.   replicas: null
  449. restore:
  451.   restore: false
  453.   snapshot_name: ""
  455. dns: null
  457. upgrade_strategy:
  459.   max_unavailable_worker: ""
  461.   max_unavailable_controlplane: ""
  463.   drain: null
  465.   node_drain_input: null

Copy

安全加固的 RKE 模板配置参考

这个 RKE 参考模板提供了安装安全加固的 Kubenetes 所需的配置。RKE 模板用于配置 Kubernetes 和定义 Rancher 设置。请参阅Rancher 文档获得更多安装和 RKE 模板的详细信息。

  1. #
  3. # Cluster Config
  5. #
  7. default_pod_security_policy_template_id: restricted
  9. docker_root_dir: /var/lib/docker
  11. enable_cluster_alerting: false
  13. enable_cluster_monitoring: false
  15. enable_network_policy: true
  17. #
  19. # Rancher Config
  21. #
  23. rancher_kubernetes_engine_config:
  25.   addon_job_timeout: 45
  27.   ignore_docker_version: true
  29.   kubernetes_version: v1.18.12-rancher1-1
  31.   #
  33.   #   If you are using calico on AWS
  35.   #
  37.   #    network:
  39.   #      plugin: calico
  41.   #      calico_network_provider:
  43.   #        cloud_provider: aws
  45.   #
  47.   # # To specify flannel interface
  49.   #
  51.   #    network:
  53.   #      plugin: flannel
  55.   #      flannel_network_provider:
  57.   #      iface: eth1
  59.   #
  61.   # # To specify flannel interface for canal plugin
  63.   #
  65.   #    network:
  67.   #      plugin: canal
  69.   #      canal_network_provider:
  71.   #        iface: eth1
  73.   #
  75.   network:
  77.     mtu: 0
  79.     plugin: canal
  81.   rotate_encryption_key: false
  83.   #
  85.   #    services:
  87.   #      kube-api:
  89.   #        service_cluster_ip_range: 10.43.0.0/16
  91.   #      kube-controller:
  93.   #        cluster_cidr: 10.42.0.0/16
  95.   #        service_cluster_ip_range: 10.43.0.0/16
  97.   #      kubelet:
  99.   #        cluster_domain: cluster.local
  101.   #        cluster_dns_server: 10.43.0.10
  103.   #
  105.   services:
  107.     etcd:
  109.       backup_config:
  111.         enabled: false
  113.         interval_hours: 12
  115.         retention: 6
  117.         safe_timestamp: false
  119.       creation: 12h
  121.       extra_args:
  123.         election-timeout: "5000"
  125.         heartbeat-interval: "500"
  127.       gid: 52034
  129.       retention: 72h
  131.       snapshot: false
  133.       uid: 52034
  135.     kube_api:
  137.       always_pull_images: false
  139.       audit_log:
  141.         enabled: true
  143.       event_rate_limit:
  145.         enabled: true
  147.       pod_security_policy: true
  149.       secrets_encryption_config:
  151.         enabled: true
  153.       service_node_port_range: 30000-32767
  155.     kube_controller:
  157.       extra_args:
  159.         feature-gates: RotateKubeletServerCertificate=true
  161.     kubelet:
  163.       extra_args:
  165.         feature-gates: RotateKubeletServerCertificate=true
  167.         protect-kernel-defaults: "true"
  169.         tls-cipher-suites: >-
  171.           TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256
  173.       fail_swap_on: false
  175.       generate_serving_certificate: true
  177.   ssh_agent_auth: false
  179.   upgrade_strategy:
  181.     max_unavailable_controlplane: "1"
  183.     max_unavailable_worker: 10%
  185. windows_prefered_cluster: false

Copy

安全加固的 Ubuntu 18.04 LTS cloud-config参考配置

这个供您参考的cloud-config通常被用于云基础架构环境中，来进行计算实例的配置管理。这个参考配置了在安装 kubernetes 之前需要的 Ubuntu 操作系统级别的设置。

  1. #cloud-config
  3. apt:
  5.   sources:
  7.     docker.list:
  9.       source: deb [arch=amd64] http://download.docker.com/linux/ubuntu $RELEASE stable
  11.       keyid: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
  13. system_info:
  15.   default_user:
  17.     groups:
  19.       - docker
  21. write_files:
  23.   - path: "/etc/apt/preferences.d/docker"
  25.     owner: root:root
  27.     permissions: "0600"
  29.     content: |
  31.       Package: docker-ce
  33.       Pin: version 5:19*
  35.       Pin-Priority: 800
  37.   - path: "/etc/sysctl.d/90-kubelet.conf"
  39.     owner: root:root
  41.     permissions: "0644"
  43.     content: |
  45.       vm.overcommit_memory=1
  47.       vm.panic_on_oom=0
  49.       kernel.panic=10
  51.       kernel.panic_on_oops=1
  53.       kernel.keys.root_maxbytes=25000000
  55. package_update: true
  57. packages:
  59.   - docker-ce
  61.   - docker-ce-cli
  63.   - containerd.io
  65. runcmd:
  67.   - sysctl -p /etc/sysctl.d/90-kubelet.conf
  69.   - groupadd --gid 52034 etcd
  71.   - useradd --comment "etcd service account" --uid 52034 --gid 52034 etcd

Copy