k8s从私有仓库拉取镜像

准备开始

你必须拥有一个 Kubernetes 的集群，同时你必须配置 kubectl 命令行工具与你的集群通信。建议在至少有两个不作为控制平面主机的节点的集群上运行本教程。
可以通过 Minikube 构建一个你自己的集群，或者你可以使用下面的 Kubernetes 练习环境之一：
- Killercoda
- 玩转 Kubernetes
要进行此练习，需要 docker 命令行工具和一个知道密码的 Docker ID。
如果要使用不同的私有的镜像仓库，需要有对应镜像仓库的命令行工具和登录信息。

登录 Docker 镜像仓库

在个人电脑上，要想拉取私有镜像必须在镜像仓库上进行身份验证。

使用 docker 命令工具来登录到 Docker Hub。更多详细信息，请查阅 Docker ID accounts 中的 log in 部分。

docker login

# or
docker login <harbor仓库地址> -u <用户名> -p <密码>
# eg
docker login https://k8s-harbor.com/harbor/project

当出现提示时，输入你的 Docker ID 和登录凭据（访问令牌或 Docker ID 的密码）。

登录过程会创建或更新保存有授权令牌的 config.json 文件。查看 Kubernetes 如何解析这个文件。

查看 config.json 文件：

cat ~/.docker/config.json

输出结果示例：

{
  "auths": {
    "https://index.docker.io/v1/": {
      "auth": "c3R...zE2"        
    }
  }
}
# use
[root@rpp-vm00 ~]# cat ~/.docker/config.json
{
    "auths": {
        "k8s-harbor.com": {
            "auth": "cm9ib3QkcGVybWlzc2lvbl9wcm8rcHJvcm9ib3Q6ZTlwTVNhNTNmWjA4MUU4dFZJV1hJM3BtUmlveVhUNXo="
         }
    }
}

说明：

使用 Docker 凭据仓库时，不会看到 auth 条目，看到的将是以仓库名称作为值的 credsStore 条目。此时，可以直接创建 Secret。请参阅在命令行上提供凭据来创建 Secret。

从Harbor非公开仓库拉取镜像配置

在Harbor中创建私有镜像仓库, 并配置相关机器人账号，获取到机器人账号的用户名和密码，然后配置到步骤4或步骤5中即可。

3.1 创建私有项目仓库

3.2 创建机器人账户

创建机器人账户，并设置权限和关联项目。

3.3 创建项目内部机器人账户

处理创建global机器人账号外，也可以在项目内部创建机器人账号, 该机器人账号只对该项目有效:

3.4 保存机器人账号访问凭证

无论5.2还是5.3章节创建的机器人账号，创建完成后会弹出该账号的访问凭证，内容示例如下:

其中, name 为用户名, 密码为 secret:

 {
    "creation_time":"2023-10-30T03:50:21.260Z",
    "expires_at":-1,
    "id":4,
    "name":"robot$permission_pro+prorobot",      // 用户名
    "secret":"e9pMSa53fZ081E8tVIWXI3pmRioyXT5z"  // 密码
}

方式一: 基于现有凭据创建`generic` 类型的 Secret

Kubernetes 使用 kubernetes.io/dockerconfigjson 类型的 Secret 对镜像仓库进行身份验证，拉取镜像。

运行之前的 docker login 命令，复制~/.docker/config.json中的凭据到 Kubernetes:

kubectl create secret generic regcred 
    --from-file=.dockerconfigjson=<path/to/.docker/config.json> 
    --type=kubernetes.io/dockerconfigjson

更多的设置（例如，为新 Secret 设置名字空间或标签），可以自定义 Secret 。但必须：

将 data 项中的名称设置为 .dockerconfigjson
使用 base64 编码方法对 Docker 配置文件进行编码，然后粘贴该字符串的内容，作为字段 data[".dockerconfigjson"] 的值
将 type 设置为 kubernetes.io/dockerconfigjson

示例：

apiVersion: v1
kind: Secret
metadata:
  name: myregistrykey
  namespace: awesomeapps
data:
  .dockerconfigjson: UmVhbGx5IHJlYWxseSByZWVlZWVlZWVlZWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGx5eXl5eXl5eXl5eXl5eXl5eXl5eSBsbGxsbGxsbGxsbGxsbG9vb29vb29vb29vb29vb29vb29vb29vb29vb25ubm5ubm5ubm5ubm5ubm5ubm5ubm5ubmdnZ2dnZ2dnZ2dnZ2dnZ2dnZ2cgYXV0aCBrZXlzCg==
type: kubernetes.io/dockerconfigjson

如果你收到错误消息：error: no objects passed to create，这可能意味着 base64 编码的字符串是无效的。如果你收到类似 Secret "myregistrykey" is invalid: data[.dockerconfigjson]: invalid value ... 的错误消息，则表示数据中的 base64 编码字符串已成功解码，但无法解析为 .docker/config.json 文件。

(use)方式二: 通过命令行创建 `docker-registry` 类型的Secret

创建 Secret，命名为 regcred：

kubectl create secret docker-registry regcred 
  --docker-server=<你的镜像仓库服务器> 
  --docker-username=<你的用户名> 
  --docker-password=<你的密码> 
  --docker-email=<你的邮箱地址>

# use  '$'是特殊字符, 需要使用''转义
kubectl create secret docker-registry k8s-harbor-secret 
  --docker-server=https://k8s-harbor.com 
  --docker-username="robot$permission_pro+prorobot" 
  --docker-password="e9pMSa53fZ081E8tVIWXI3pmRioyXT5z" 
  --docker-email=rpp@rpp.com

========================= 参考 ===========================
kubectl edit secret/k8s-harbor-secret
kubectl get secret k8s-harbor-secret --output=yaml
kubectl delete secret k8s-harbor-secret

kubectl get secret

kubectl get secret k8s-harbor-secret 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

参数解释：

<your-registry-server> 私有 Docker 仓库全限定域名（FQDN）。 DockerHub 使用 https://index.docker.io/v1/。
<your-name> Docker 用户名。
<your-pword> Docker 密码。
<your-email> Docker 邮箱。

说明：

在命令行上键入 Secret 可能存储在Shell 历史记录中而不受保护，并且这些 Secret 信息也可能在 kubectl 运行期间对 PC 上的其他用户可见。

检查 Secret

用 YAML 格式进行查看上面创建的regcredSecret：

kubectl get secret regcred --output=yaml

# use
kubectl get secret k8s-harbor-secret --output=yaml

输出和下面类似：

apiVersion: v1
kind: Secret
metadata:
  ...
  name: regcred
  ...
data:
  .dockerconfigjson: eyJodHRwczovL2luZGV4L ... J0QUl6RTIifX0=
type: kubernetes.io/dockerconfigjson

.dockerconfigjson 字段的值是 Docker 凭据的 base64 表示。

将 Secret 数据转换为可读格式：

kubectl get secret regcred 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

# use
kubectl get secret k8s-harbor-secret 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

输出和下面类似：

{
    "auths":{
        "your.private.registry.example.com": {
            "username":"janedoe",
            "password":"xxxxxxxxxxx",
            "email":"jdoe@example.com",
            "auth":"c3R...zE2"
        }
    }
}

查看 auth 字段中内容，解码 base64 编码过的数据：

echo"c3R...zE2" | base64 --decode

输出结果中，用户名和密码用 : 链接，类似下面这样：

janedoe:xxxxxxxxxxx

注意，Secret 数据包含与本地 ~/.docker/config.json 文件类似的授权令牌。

创建应用 Secret 的 Pod

下面是一个 Pod 配置清单示例，该示例中 Pod 访问 Docker 凭据 regcred：

pods/private-reg-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: private-reg
spec:
  containers:
  - name: private-reg-container
    image: <your-private-image> # 私有仓库的镜像路径
  imagePullSecrets:  # 从 Secret 获取凭据
  - name: regcred

下载文件：

curl -L -o my-private-reg-pod.yaml https://k8s.io/examples/pods/private-reg-pod.yaml

imagePullSecrets 字段配置仓库镜像的凭据。regcred 即从名为regcred的 Secret 获取凭据。

创建Pod，并检查是否正常运行：

kubectl apply -f my-private-reg-pod.yaml
kubectl get pod private-reg

说明：

要为 Pod（或 Deployment，或其他有 Pod 模板的对象）使用镜像拉取 Secret，需要确保合适的 Secret 确实存在于正确的名字空间中。要使用的是定义 Pod 时所用的namespace。

此外，如果 Pod 启动失败，状态为 ImagePullBackOff，查看 Pod 事件：

kubectl describe pod private-reg

如果报错 FailedToRetrieveImagePullSecret ，说明 Kubernetes 找不到相关名称（此例中为 regcred）的 Secret。

确保 Secret 存在，并且其名称拼写正确，下面为报错示例：

Events:
  ...  Reason                           ...  Message
       ------                                -------
  ...  FailedToRetrieveImagePullSecret  ...  Unable to retrieve some image pull secrets (<regcred>); attempting to pull the image may not succeed.

创建应用 Secret 的 Deployment

Deployment 配置清单示例，Deployment 访问 Docker 凭据 regcred:

apiVersion: apps/v1            # 版本
kind: Deployment               # 类型
metadata:                      # Deployment的元数据
  name: springboot-docker2-dp  # Deployment的名字
  namespace: my-namespace-100
  labels:                         # 标签
    app: springboot-docker2-pod   # 选择器，用于匹配Pod的标签，确保Pod属于该Deployment
spec:                             # Pod的信息
  replicas: 3                     # Pod的副本数
  selector:                       # 标签选择器
    matchLabels:                  # 选择器，用于匹配Pod的标签，确保Pod属于该Deployment
      app: springboot-docker2-pod # app=springboot-docker2
  template:                       # Pod的模板信息，根据模板信息来创建Pod
    metadata:                     # Pod的元数据
      labels:                     # Pod的标签，与Selector中的标签匹配以确保Pod属于该Deployment
        app: springboot-docker2-pod  # 标签app=springboot-docker2
    spec:                      # 容器的信息    
      containers:                 # 容器
      - name: springboot-docker2  # 容器名
        image: k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
        ports:                 # 端口
        - containerPort: 8600  # 容器暴露的端口
          name: business-port
        - containerPort: 8800
          name: actuator-port
      imagePullSecrets:  # 从 Secret 获取凭据
      - name: k8s-harbor-secret

查看运行状态:

vi springboot-docker2-dp-secret-svc-ingress.yml

kubectl apply -f springboot-docker2-dp-secret-svc-ingress.yml

kubectl delete -f springboot-docker2-dp-secret-svc-ingress.yml

kubectl get pod

kubectl describe pod springboot-docker2-dp-697ccf7c7c-7zntd

scp -r 192.168.31.55:/etc/docker/certs.d/k8s-harbor.com /etc/containerd/certs.d/

crictl pull k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
docker pull k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
scp 192.168.31.151:/usr/local/ssl/{server.crt,server.key,myCA.cer} .

scp 192.168.31.151:/usr/local/ssl/{myCA.crt,server.cert} .
insecure_skip_verify = false

$. systemctl restart containerd
$. systemctl status containerd

kubectl get deploy

kubectl get deploy springboot-docker2-dp

kubectl get pod private-reg

准备开始

登录 Docker 镜像仓库

从Harbor非公开仓库拉取镜像配置

3.1 创建私有项目仓库

3.2 创建机器人账户

3.3 创建项目内部机器人账户

3.4 保存机器人账号访问凭证

方式一: 基于现有凭据创建generic 类型的 Secret

(use)方式二: 通过命令行创建 docker-registry 类型的Secret

检查 Secret

创建应用 Secret 的 Pod

创建应用 Secret 的 Deployment

查看运行状态:

方式一: 基于现有凭据创建`generic` 类型的 Secret

(use)方式二: 通过命令行创建 `docker-registry` 类型的Secret