隔离Pod以保留排障现场的步骤

背景
当业务pod发生cpu高负载，内存使用率持续增长有oom风险时，通过隔离pod方式保留故障pod现场，方便定位排查根因。

移除标签使Pod脱离控制器管理
通过修改Pod的标签，使其与控制器（如Deployment、StatefulSet）的标签选择器不匹配，控制器将不再管理该Pod。这可以防止控制器在排障期间自动重启或删除问题Pod。

命令示例：

kubectl label pods <pod-name> <label-key>-   # 移除特定标签
kubectl label pods <pod-name> key=disabled   # 替换标签值（可选）

验证Pod状态
执行以下命令确认Pod已脱离控制器管理：

kubectl get pods <pod-name> --show-labels   # 查看Pod当前标签
kubectl describe <controller-type> <controller-name> | grep Selector  # 检查控制器标签选择器
kubectl get svc,ep service-name #隔离pod流量确保摘除

限制资源使用（可选）
若需临时限制Pod的资源消耗以避免影响集群，可通过kubectl edit修改Pod的resources字段，添加或调整CPU/内存限制：

resources:
  limits:
    cpu: "1"
    memory: "1Gi"
  requests:
    cpu: "0.5"
    memory: "512Mi"

恢复Pod管理
完成排障后，将标签恢复为原始值即可重新关联控制器：

kubectl label pods <pod-name> <original-label-key>=<original-label-value> --overwrite

注意事项

• 直接删除控制器风险：直接删除控制器（如Deployment）会导致其管理的所有Pod被终止，需谨慎操作。
• 静态Pod：若Pod由kubelet静态管理（如/etc/kubernetes/manifests中的配置），需直接修改主机上的配置文件。
• 持久化存储：确保排查期间不会因Pod隔离导致有状态应用的数据丢失。

替代方案：临时调整副本数

对于Deployment/StatefulSet，可直接缩容副本数至0保留Pod（需确保Pod未被删除）：

kubectl scale deployment <deployment-name> --replicas=0

排障后恢复副本数即可重新调度。