镜像仓库

KubeCube 支持主流的镜像仓库，如 registry.cn-hangzhou.aliyuncs.com，docker.io，hub.c.163.com 等，同时也支持私有仓库，KubeCube 推荐使用社区主流的 Harbor 进行私有仓库的搭建，下文详述了在 KubeCube 中部署 Harbor 的方法

安装 helm3

参考 helm安装

确认 StorageClass

你可以选择 KubeCube 内置的 local-path 作为默认的 StorageClass，也可以使用自定义的 StorageClass

  1. -> kubectl get storageclasses
  2. NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
  3. local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer   false                  28d

创建 Harbor 的 Namespace

创建指定的 namespace 来部署 Harbor 的相关组件

  1. kubectl create namespace harbor-system

创建自定义证书（可选）

安装 Harbor 推荐使用 HTTPS 协议，需要 TLS 证书，如果不提供证书，Harbor 将会自己生成一个，不过它的有效期仅为一年

  • 生成证书

⚠️ Common Name 必须要设置为和你要给 Harbor 的域名保持一致

  1. # 获得证书
  2. openssl req -newkey rsa:4096 -nodes -sha256 -keyout ca.key -x509 -days 3650 -out ca.crt
  4. # 生成证书签名请求
  5. openssl req -newkey rsa:4096 -nodes -sha256 -keyout tls.key -out tls.csr
  7. # 生成证书
  8. openssl x509 -req -days 3650 -in tls.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out tls.crt
  • 使用证书生成 secret
  1. kubectl create secret generic harbor-tls --from-file=tls.crt --from-file=tls.key --from-file=ca.crt -n harbor-system

设置 Harbor 的自定义安装参数

通过编辑 values.yaml 来复写 Harbor Chart 的安装参数，完整的 values.yaml 文件可以参考 goharbor

KubeCube 内置了 nginx-ingress controller

  1. #Ingress 网关入口配置
  2. expose:
  3.   type: ingress
  4.   tls:
  5.     ### 是否启用 https 协议
  6.     enabled: true
  7.   ingress:
  8.     hosts:
  9.       ### 配置 Harbor 的访问域名，需要注意的是配置 notary 域名要和 core 处第一个单词外，其余保持一致
  10.       core: harbor.kubecube.io
  11.       notary: notary.kubecube.io
  12.     annotations:
  13.       ingress.kubernetes.io/ssl-redirect: "true"
  14.       ingress.kubernetes.io/proxy-body-size: "0"
  15.       #### 如果是 traefik ingress，则按下面配置：
  16. #      kubernetes.io/ingress.class: "traefik"
  17. #      traefik.ingress.kubernetes.io/router.tls: 'true'
  18. #      traefik.ingress.kubernetes.io/router.entrypoints: websecure
  19.       #### 如果是 nginx ingress，则按下面配置：
  20.       nginx.ingress.kubernetes.io/ssl-redirect: "true"
  21.       nginx.ingress.kubernetes.io/proxy-body-size: "0"
  22.       nginx.org/client-max-body-size: "0"
  24. ## 如果Harbor部署在代理后，将其设置为代理的URL，这个值一般要和上面的 Ingress 配置的地址保存一致
  25. externalURL: https://harbor.kubecube.io
  27. ### Harbor 各个组件的持久化配置，并设置各个组件 existingClaim 参数为上面创建的对应 PVC 名称
  28. persistence:
  29.   enabled: true
  30.   ### 存储保留策略，当PVC、PV删除后，是否保留存储数据
  31.   resourcePolicy: "keep"
  32.   persistentVolumeClaim:
  33.     registry:
  34.       storageClass: "local-path"
  35.     chartmuseum:
  36.       storageClass: "local-path"
  37.     jobservice:
  38.       storageClass: "local-path"
  39.     database:
  40.       storageClass: "local-path"
  41.     redis:
  42.       storageClass: "local-path"
  43.     trivy:
  44.       storageClass: "local-path"
  46. ### 默认用户名 admin 的密码配置，注意：密码中一定要包含大小写字母与数字
  47. harborAdminPassword: "admin@123"
  49. ### 设置日志级别
  50. logLevel: info

安装 Harbor

  • 添加 Helm 仓库
  1. helm repo add harbor https://helm.goharbor.io
  • 部署 Harbor
  1. helm install harbor harbor/harbor -f values.yaml -n harbor-system
  • 域名配置

如果没有 DNS 服务，需要自行在 hosts 文件中配置域名和 node ip 的映射

  1. -> cat /etc/hosts
  2. ...
  3. x.x.x.x harbor.kubecube.io

访问 harbor

在浏览器中输入 harbor.kubecube.io 来访问 Harbor 仓库

  1. 用户：admin
  2. 密码：admin@123

harbor-view

下载 Harbor 证书并在 Docker 中配置

在 Harbor 管理页面中证书

ca-down

进入服务器，创建以 Harbor 域名为名的文件夹

  1. mkdir -p /etc/docker/certs.d/harbor.kubecube.io

将下载下来 ca.crt 放到该文件夹下面，然后登陆 Harbor 仓库

  1. docker login -u admin -p admin@123 harbor.kubecube.io

测试

  1. docker pull ubuntu:16.04
  2. docker tag ubuntu:16.04 harbor.kubecube.io/library/ubuntu:16.04
  3. docker push harbor.kubecube.io/library/ubuntu:16.04

最后修改 August 16, 2021 : enhance(monitoring&alerting): update docs about component monitoring and alerting (a578f5a)