最硬核K8s节点维护指南：零宕机排水策略实战

平荔允Imogene

1177人浏览 · 2025-09-18 13:38:15

平荔允Imogene · 2025-09-18 13:38:15 发布

最硬核K8s节点维护指南：零宕机排水策略实战

【免费下载链接】kubernetes-the-hard-way 该项目提供了一种从零开始手动部署Kubernetes集群的方法，通过详细步骤教授运维人员深入理解K8s的核心概念和技术细节。项目地址: https://gitcode.com/GitHub_Trending/ku/kubernetes-the-hard-way

你是否曾因节点维护导致服务中断？是否在执行kubectl drain时遭遇Pod驱逐失败？本文将基于kubernetes-the-hard-way项目的底层架构，带你掌握企业级节点维护的完整流程，从标记节点不可调度到安全恢复服务，全程零业务中断。

节点维护的3大核心挑战

在手动部署的Kubernetes集群中（如本项目通过docs/09-bootstrapping-kubernetes-workers.md构建的节点），维护操作面临三大痛点：

业务连续性：如何确保在节点下线期间服务不中断
数据安全：避免StatefulSet类型应用的数据丢失
操作原子性：防止因步骤遗漏导致的集群不稳定

节点维护四步操作框架

1. 预检准备阶段

在执行维护前，需通过以下命令完成环境检查：

# 检查节点健康状态
kubectl describe node <node-name> | grep -A 10 "Conditions"

# 统计节点上运行的Pod类型
kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=<node-name> \
  | awk '{print $5}' | sort | uniq -c

特别注意manifests/serverless/knative-serving.yaml等Serverless workload的特殊处理要求。

2. 节点标记与隔离

使用cordon命令将节点标记为不可调度，防止新Pod被调度到该节点：

kubectl cordon <node-name>

此操作会修改节点的Spec.Unschedulable字段，对应Kubernetes的节点亲和性调度策略。

3. 安全排水（Drain）实施

执行排水操作时需根据Pod类型选择不同策略：

# 基础排水命令（适用于无状态服务）
kubectl drain <node-name> --ignore-daemonsets

# 高级排水策略（处理StatefulSet与本地存储）
kubectl drain <node-name> \
  --ignore-daemonsets \
  --timeout=30s \
  --grace-period=15 \
  --force \
  --delete-emptydir-data

⚠️ 注意：包含本地存储的Pod需通过configs/kubelet-config.yaml中的eviction-hard参数提前配置驱逐阈值

4. 维护操作与恢复

完成硬件升级或系统补丁后，通过以下命令恢复节点服务：

# 恢复节点调度
kubectl uncordon <node-name>

# 验证服务恢复状态
kubectl get pods --all-namespaces -o wide --field-selector spec.nodeName=<node-name>

排水策略决策树

mermaid

常见故障处理方案

当遇到驱逐失败时，可参考以下解决方案：

PodDisruptionBudget限制

kubectl get pdb -A
# 临时调整PDB阈值
kubectl patch pdb <pdb-name> -n <namespace> --type merge \
  -p '{"spec":{"minAvailable":0}}'

无法杀死的Pod处理

# 查看Pod详细事件
kubectl describe pod <pod-name> -n <namespace> | grep -A 10 "Events"

# 强制删除（仅作为最后手段）
kubectl delete pod <pod-name> -n <namespace> --grace-period=0 --force

维护操作审计与验证

维护完成后，通过以下方式验证集群状态：

# 检查节点是否恢复调度
kubectl get nodes <node-name> -o jsonpath='{.spec.unschedulable}'

# 验证Pod分布均衡性
kubectl get pods --all-namespaces -o wide | awk '{print $7}' | sort | uniq -c

完整的维护记录应包含在docs/13-cleanup.md类似的操作手册中，形成可追溯的操作审计链。