Hadoop集群高可用（HA）原理与配置指南

一、HA核心原理

1. NameNode单点故障解决
   通过部署主备NameNode架构实现故障转移：

   • Active NameNode：处理所有客户端请求
   • Standby NameNode：实时同步元数据，随时接管服务 $$ \text{故障转移时间} \leq 30\text{秒} $$

2. 元数据同步机制
   使用JournalNode集群（至少3节点）实现元数据共享：

   • Active NN写入$EditLog$到JournalNode
   • Standby NN实时读取$EditLog$更新内存状态 $$ \text{同步延迟} \approx \text{网络延迟} + 10\text{ms} $$

3. 故障检测与转移
   基于ZooKeeper实现：

   • ZKFC进程监控NN健康状态
   • 通过$Leader\ Election$算法自动切换主备 $$ \text{脑裂防护} \rightarrow \text{SSH隔离机制} $$

二、关键配置步骤（Hadoop 3.x）

1. hdfs-site.xml配置

<!-- 启用HA -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

<!-- 定义NameNode -->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

<!-- JournalNode地址 -->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
</property>

<!-- 自动故障转移 -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

1. core-site.xml配置

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

<property>
  <name>ha.zookeeper.quorum</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

三、部署流程

1. 环境准备

   • 3台ZooKeeper节点
   • 3台JournalNode节点
   • 2台NameNode（主备）
   • N台DataNode

2. 初始化步骤

# 1. 启动ZooKeeper集群
zkServer.sh start

# 2. 启动JournalNode
hdfs --daemon start journalnode

# 3. 格式化主NameNode
hdfs namenode -format

# 4. 启动主NameNode
hdfs --daemon start namenode

# 5. 同步备NameNode
hdfs namenode -bootstrapStandby

# 6. 启动ZKFC
hdfs --daemon start zkfc

四、验证与维护

1. 状态检查命令

hdfs haadmin -getServiceState nn1  # 查看NN1状态
hdfs haadmin -failover nn1 nn2    # 手动切换主备

1. 关键监控指标
   • ZooKeeper会话超时：$sessionTimeout \leq 5s$
   • JournalNode写入延迟：$latency \leq 100ms$
   • 故障转移成功率：$\geq 99.95%$

五、注意事项

1. 隔离机制
   配置SSH密钥实现故障节点隔离：

   <property>
     <name>dfs.ha.fencing.methods</name>
     <value>sshfence</value>
   </property>
   

2. 元数据备份
   定期执行：

   hdfs dfsadmin -fetchImage /backup/fsimage
   

3. 版本兼容
   确保所有节点$Hadoop\ Version$一致： $$ \Delta \text{版本} \leq 0.1.x $$

最佳实践：生产环境建议部署$QJM\ (Quorum\ Journal\ Manager)$+$ZooKeeper$方案，JournalNode需独立部署在非NameNode节点，ZooKeeper集群节点数应为奇数（3/5/7）。