k8s从私有仓库拉取镜像

从私有仓库拉取镜像 | Kubernetes

准备开始

  • 你必须拥有一个 Kubernetes 的集群,同时你必须配置 kubectl 命令行工具与你的集群通信。 建议在至少有两个不作为控制平面主机的节点的集群上运行本教程。
  • 可以通过 Minikube 构建一个你自己的集群,或者你可以使用下面的 Kubernetes 练习环境之一:
  • 要进行此练习,需要 docker 命令行工具和一个知道密码的 Docker ID
  • 如果要使用不同的私有的镜像仓库,需要有对应镜像仓库的命令行工具和登录信息。

登录 Docker 镜像仓库

在个人电脑上,要想拉取私有镜像必须在镜像仓库上进行身份验证。

使用 docker 命令工具来登录到 Docker Hub。 更多详细信息,请查阅 Docker ID accounts 中的 log in 部分。

docker login

# or
docker login <harbor仓库地址> -u <用户名> -p <密码>
# eg
docker login https://k8s-harbor.com/harbor/project

当出现提示时,输入你的 Docker ID登录凭据(访问令牌或 Docker ID 的密码)。

登录过程会创建或更新保存有授权令牌的 config.json 文件。 查看 Kubernetes 如何解析这个文件

查看 config.json 文件:

cat ~/.docker/config.json

输出结果示例:

{
  "auths": {
    "https://index.docker.io/v1/": {
      "auth": "c3R...zE2"        
    }
  }
}
# use
[root@rpp-vm00 ~]# cat ~/.docker/config.json
{
    "auths": {
        "k8s-harbor.com": {
            "auth": "cm9ib3QkcGVybWlzc2lvbl9wcm8rcHJvcm9ib3Q6ZTlwTVNhNTNmWjA4MUU4dFZJV1hJM3BtUmlveVhUNXo="
         }
    }
}

说明:

使用 Docker 凭据仓库时,不会看到 auth 条目,看到的将是以仓库名称作为值的 credsStore 条目。 此时,可以直接创建 Secret。 请参阅 在命令行上提供凭据来创建 Secret

从Harbor非公开仓库拉取镜像配置

在Harbor中创建私有镜像仓库, 并配置相关机器人账号,获取到机器人账号的用户名和密码,然后配置到步骤4步骤5中即可。

3.1 创建私有项目仓库

3.2 创建机器人账户

创建机器人账户,并设置权限和关联项目。

3.3 创建项目内部机器人账户

处理创建global机器人账号外,也可以在项目内部创建机器人账号, 该机器人账号只对该项目有效:

3.4 保存机器人账号访问凭证

无论5.2还是5.3章节创建的机器人账号,创建完成后会弹出该账号的访问凭证,内容示例如下:

其中, name 为用户名, 密码为 secret:

 {
    "creation_time":"2023-10-30T03:50:21.260Z",
    "expires_at":-1,
    "id":4,
    "name":"robot$permission_pro+prorobot",      // 用户名
    "secret":"e9pMSa53fZ081E8tVIWXI3pmRioyXT5z"  // 密码
}

方式一: 基于现有凭据创建generic 类型的 Secret

Kubernetes 使用 kubernetes.io/dockerconfigjson 类型的 Secret 对镜像仓库进行身份验证,拉取镜像。

运行之前的 docker login 命令,复制~/.docker/config.json中的凭据到 Kubernetes:

kubectl create secret generic regcred 
    --from-file=.dockerconfigjson=<path/to/.docker/config.json> 
    --type=kubernetes.io/dockerconfigjson

更多的设置(例如,为新 Secret 设置名字空间或标签), 可以自定义 Secret 。 但必须:

  • 将 data 项中的名称设置为 .dockerconfigjson
  • 使用 base64 编码方法对 Docker 配置文件进行编码,然后粘贴该字符串的内容,作为字段 data[".dockerconfigjson"] 的值
  • type 设置为 kubernetes.io/dockerconfigjson

示例:

apiVersion: v1
kind: Secret
metadata:
  name: myregistrykey
  namespace: awesomeapps
data:
  .dockerconfigjson: UmVhbGx5IHJlYWxseSByZWVlZWVlZWVlZWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGx5eXl5eXl5eXl5eXl5eXl5eXl5eSBsbGxsbGxsbGxsbGxsbG9vb29vb29vb29vb29vb29vb29vb29vb29vb25ubm5ubm5ubm5ubm5ubm5ubm5ubm5ubmdnZ2dnZ2dnZ2dnZ2dnZ2dnZ2cgYXV0aCBrZXlzCg==
type: kubernetes.io/dockerconfigjson

如果你收到错误消息:error: no objects passed to create, 这可能意味着 base64 编码的字符串是无效的。如果你收到类似 Secret "myregistrykey" is invalid: data[.dockerconfigjson]: invalid value ... 的错误消息,则表示数据中的 base64 编码字符串已成功解码, 但无法解析为 .docker/config.json 文件。

(use)方式二: 通过命令行创建 docker-registry 类型的Secret

创建 Secret,命名为 regcred

kubectl create secret docker-registry regcred 
  --docker-server=<你的镜像仓库服务器> 
  --docker-username=<你的用户名> 
  --docker-password=<你的密码> 
  --docker-email=<你的邮箱地址>

# use  '$'是特殊字符, 需要使用''转义
kubectl create secret docker-registry k8s-harbor-secret 
  --docker-server=https://k8s-harbor.com 
  --docker-username="robot$permission_pro+prorobot" 
  --docker-password="e9pMSa53fZ081E8tVIWXI3pmRioyXT5z" 
  --docker-email=rpp@rpp.com

========================= 参考 ===========================
kubectl edit secret/k8s-harbor-secret
kubectl get secret k8s-harbor-secret --output=yaml
kubectl delete secret k8s-harbor-secret

kubectl get secret

kubectl get secret k8s-harbor-secret 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

参数解释:

  • <your-registry-server> 私有 Docker 仓库全限定域名(FQDN)。 DockerHub 使用 https://index.docker.io/v1/
  • <your-name> Docker 用户名。
  • <your-pword> Docker 密码。
  • <your-email> Docker 邮箱。

说明:

在命令行上键入 Secret 可能存储在Shell 历史记录中而不受保护, 并且这些 Secret 信息也可能在 kubectl 运行期间对 PC 上的其他用户可见。

检查 Secret

用 YAML 格式进行查看上面创建的regcredSecret

kubectl get secret regcred --output=yaml

# use
kubectl get secret k8s-harbor-secret --output=yaml

输出和下面类似:

apiVersion: v1
kind: Secret
metadata:
  ...
  name: regcred
  ...
data:
  .dockerconfigjson: eyJodHRwczovL2luZGV4L ... J0QUl6RTIifX0=
type: kubernetes.io/dockerconfigjson

.dockerconfigjson 字段的值是 Docker 凭据的 base64 表示。

将 Secret 数据转换为可读格式:

kubectl get secret regcred 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

# use
kubectl get secret k8s-harbor-secret 
--output="jsonpath={.data..dockerconfigjson}" | base64 --decode

输出和下面类似:

{
    "auths":{
        "your.private.registry.example.com": {
            "username":"janedoe",
            "password":"xxxxxxxxxxx",
            "email":"jdoe@example.com",
            "auth":"c3R...zE2"
        }
    }
}

查看 auth 字段中内容,解码 base64 编码过的数据:

echo"c3R...zE2" | base64 --decode

输出结果中,用户名和密码用 : 链接,类似下面这样:

janedoe:xxxxxxxxxxx

注意,Secret 数据包含与本地 ~/.docker/config.json 文件类似的授权令牌。

创建应用 Secret 的 Pod

下面是一个 Pod 配置清单示例,该示例中 Pod 访问 Docker 凭据 regcred

pods/private-reg-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: private-reg
spec:
  containers:
  - name: private-reg-container
    image: <your-private-image> # 私有仓库的镜像路径
  imagePullSecrets:  # 从 Secret 获取凭据
  - name: regcred

下载文件:

curl -L -o my-private-reg-pod.yaml https://k8s.io/examples/pods/private-reg-pod.yaml

imagePullSecrets 字段配置仓库镜像的凭据。regcred 即从名为regcred的 Secret 获取凭据。

创建Pod,并检查是否正常运行:

kubectl apply -f my-private-reg-pod.yaml
kubectl get pod private-reg

说明:

要为 Pod(或 Deployment,或其他有 Pod 模板的对象)使用镜像拉取 Secret, 需要确保合适的 Secret 确实存在于正确的名字空间中。 要使用的是定义 Pod 时所用的namespace

此外,如果 Pod 启动失败,状态为 ImagePullBackOff,查看 Pod 事件:

kubectl describe pod private-reg

如果报错 FailedToRetrieveImagePullSecret , 说明 Kubernetes 找不到相关名称(此例中为 regcred)的 Secret

确保 Secret 存在,并且其名称拼写正确,下面为报错示例:

Events:
  ...  Reason                           ...  Message
       ------                                -------
  ...  FailedToRetrieveImagePullSecret  ...  Unable to retrieve some image pull secrets (<regcred>); attempting to pull the image may not succeed.

创建应用 Secret 的 Deployment

Deployment 配置清单示例,Deployment 访问 Docker 凭据 regcred:

apiVersion: apps/v1            # 版本
kind: Deployment               # 类型
metadata:                      # Deployment的元数据
  name: springboot-docker2-dp  # Deployment的名字
  namespace: my-namespace-100
  labels:                         # 标签
    app: springboot-docker2-pod   # 选择器,用于匹配Pod的标签,确保Pod属于该Deployment
spec:                             # Pod的信息
  replicas: 3                     # Pod的副本数
  selector:                       # 标签选择器
    matchLabels:                  # 选择器,用于匹配Pod的标签,确保Pod属于该Deployment
      app: springboot-docker2-pod # app=springboot-docker2
  template:                       # Pod的模板信息,根据模板信息来创建Pod
    metadata:                     # Pod的元数据
      labels:                     # Pod的标签,与Selector中的标签匹配以确保Pod属于该Deployment
        app: springboot-docker2-pod  # 标签app=springboot-docker2
    spec:                      # 容器的信息    
      containers:                 # 容器
      - name: springboot-docker2  # 容器名
        image: k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
        ports:                 # 端口
        - containerPort: 8600  # 容器暴露的端口
          name: business-port
        - containerPort: 8800
          name: actuator-port
      imagePullSecrets:  # 从 Secret 获取凭据
      - name: k8s-harbor-secret

查看运行状态:

vi springboot-docker2-dp-secret-svc-ingress.yml

kubectl apply -f springboot-docker2-dp-secret-svc-ingress.yml

kubectl delete -f springboot-docker2-dp-secret-svc-ingress.yml

kubectl get pod

kubectl describe pod springboot-docker2-dp-697ccf7c7c-7zntd

scp -r 192.168.31.55:/etc/docker/certs.d/k8s-harbor.com /etc/containerd/certs.d/

crictl pull k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
docker pull k8s-harbor.com/permission_pro/spring-boot-docker2:0.0.1-SNAPSHOT
scp 192.168.31.151:/usr/local/ssl/{server.crt,server.key,myCA.cer} .

scp 192.168.31.151:/usr/local/ssl/{myCA.crt,server.cert} .
insecure_skip_verify = false

$. systemctl restart containerd
$. systemctl status containerd

kubectl get deploy

kubectl get deploy springboot-docker2-dp

kubectl get pod private-reg