1、概述

　　Kubelet 使用证书进行 Kubernetes API 的认证。默认情况下，这些证书的签发期限为一年，所以不需要太频繁地进行更新。Kubernetes 包含特性 Kubelet 证书轮换，在当前证书即将过期时，将自动生成新的秘钥，并从 Kubernetes API 申请新的证书。一旦新的证书可用，它将被用于与 Kubernetes API 间的连接认证。

注意：要求 Kubernetes 1.8.0 或更高的版本。

2、启用客户端证书轮换

Kubelet 进程接收 --rotate-certificates 参数，该参数决定 Kubelet 在当前使用的证书即将到期时，是否会自动申请新的证书。

kube-controller-manager 进程接收 --cluster-signing-duration 参数（在 1.19 版本之前为 --experimental-cluster-signing-duration），用来控制签发证书的有效期限。

experimental-cluster-signing-duration=87600h0m0s # kubelet客户端证书颁发有效期设置为10年
feature-gates=RotateKubeletServerCertificate=true # 启用server证书颁发

注意 1：当前环境是k8s 1.21.5，Kubelet客户端证书轮换功能是默认开启的。

3、理解证书轮换配置

　　当 Kubelet 启动时，如被配置为自举（使用 --bootstrap-kubeconfig 参数），Kubelet 会使用其初始证书连接到 Kubernetes API ，并发送证书签名的请求。可以通过以下方式查看证书签名请求的状态：

kubectl get csr

　　最初，来自节点上 Kubelet 的证书签名请求处于 Pending 状态。如果证书签名请求满足特定条件，控制器管理器会自动批准，此时请求会处于 Approved 状态。接下来，控制器管理器会签署证书，证书的有效期限由 --cluster-signing-duration 参数指定，签署的证书会被附加到证书签名请求中。

　　Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘，存储位置通过 --cert-dir 参数指定。然后 Kubelet 会使用新的证书连接到 Kubernetes API。

　　当签署的证书即将到期时，Kubelet 会使用 Kubernetes API，自动发起新的证书签名请求。该请求会发生在证书的有效时间剩下 30% 到 10% 之间的任意时间点。同样地，控制器管理器会自动批准证书请求，并将签署的证书附加到证书签名请求中。 Kubelet 会从 Kubernetes API 取回签署的证书，并将其写入磁盘。然后它会更新与 Kubernetes API 的连接，使用新的证书重新连接到 Kubernetes API。

注意 1：Kubelet自举模式

　　在 Kubernetes 集群的安全配置中，组件之间的通信需要进行认证和授权，以确保集群的安全。Kubelet 作为节点上的关键组件，需要与 Kubernetes API Server（API 服务器）进行安全通信。这种通信通常通过 TLS 证书来实现加密和身份验证。然而，在集群初始化或节点加入集群的过程中，Kubelet 可能还没有被颁发有效的 TLS 证书。这时，Kubelet 可以采用自举（Bootstrap）机制来获取证书。自举机制允许 Kubelet 使用一个临时的、低权限的证书（或引导令牌token；或 kubeconfig 文件，其中包含了连接 API 服务器的配置信息，包括证书和密钥）来启动，并请求 API 服务器为其颁发一个长期有效的、权限更高的证书。

　　当 Kubelet 启动时，如果它被配置为自举（这通常通过 --bootstrap-kubeconfig 参数实现，该参数指定了包含临时证书和 API 服务器地址的 kubeconfig 文件），它会使用这个文件中的初始证书来连接到 Kubernetes API 服务器。一旦连接成功，Kubelet 会向 API 服务器发送一个证书签名请求（Certificate Signing Request, CSR）。这个 CSR 包含了 Kubelet 的身份信息以及它希望获得的证书的信息（如有效期、用途等）。

　　API 服务器收到这个 CSR 后，创建CSR资源对象，控制器会根据集群的证书颁发策略（如是否允许自动批准来自特定节点的 CSR）来处理它。如果 CSR 被批准，控制器会使用集群的证书颁发机构（Certificate Authority, CA）来签署这个请求，生成一个新的证书，并将这个证书返回给 Kubelet。Kubelet 收到新证书后，会使用它来替换初始的临时证书，从而以更高的权限和安全性与 API 服务器进行后续的通信。

注意 2：Kubernetes使用CertificateSigningRequest方式签发客户端证书详细步骤参见《Kubernetes客户端认证（三）—— Kubernetes使用CertificateSigningRequest方式签发客户端证书》这篇博文。

4、测试

（1）找一台测试node节点，查看现有客户端证书有效期

[root@member-cluster1-worker1 ~]# cd /var/lib/kubelet/pki/
[root@member-cluster1-worker1 pki]# ls
kubelet-client-2024-07-01-12-00-25.pem  kubelet-client-current.pem  kubelet.crt  kubelet.key
[root@member-cluster1-worker1 pki]#  openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Jul  1 03:55:22 2024 GMT
notAfter=Jun 29 03:55:22 2034 GMT

（2）修改服务器时间，模拟kubelet证书即将到期

[root@member-cluster1-worker1 pki]# date
2024年 09月 05日 星期四 18:35:40 CST
[root@member-cluster1-worker1 pki]# date -s "2034-6-22"
2034年 06月 22日 星期四 00:00:00 CST

（3）重启Kubelet服务

[root@member-cluster1-worker1 pki]# systemctl restart kubelet

（4）再次查看证书有效期

注意 1: Kubelet证书的起始时间是由Kube-Controller-Manager所在服务器时间决定的。

注意 2：Kubelet的证书轮换功能是自动的，这里重启Kubelet服务是为了立马查看证书轮换效果。

Kubelet证书自动续签（为kubelet配置证书轮换）

1、概述

2、启用客户端证书轮换

3、理解证书轮换配置

4、测试