环境准备

确保系统满足以下条件：Linux 操作系统（如 CentOS 或 Ubuntu）、Java JDK 1.8+、SSH 无密码登录配置。需关闭防火墙或开放 Hadoop 相关端口（如 50070、8088）。

下载与安装

从 Apache 官网下载 Hadoop 稳定版本（如 3.3.6），解压到指定目录（如 /usr/local/hadoop）。配置环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置文件修改

编辑以下核心配置文件（位于 $HADOOP_HOME/etc/hadoop/）：

1. core-site.xml：配置 HDFS 地址和临时目录。

   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://<主节点IP>:9000</value>
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/data/hadoop/tmp</value>
   </property>
   

2. hdfs-site.xml：设置副本数和数据存储路径。

   <property>
     <name>dfs.replication</name>
     <value>3</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>/data/hadoop/namenode</value>
   </property>
   

3. mapred-site.xml：指定 YARN 作为资源管理器。

   <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
   

4. yarn-site.xml：配置 NodeManager 和 ResourceManager。

   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <property>
     <name>yarn.resourcemanager.hostname</name>
     <value><主节点IP></value>
   </property>
   

节点配置

1. 主节点（NameNode/ResourceManager）：在 workers 文件中添加所有从节点主机名或 IP。
2. 从节点（DataNode/NodeManager）：确保配置与主节点一致，且 SSH 互通。

初始化与启动

1. 格式化 HDFS（仅在首次部署时执行）：

   hdfs namenode -format
   

2. 启动 HDFS 和 YARN：

   start-dfs.sh
   start-yarn.sh
   

3. 验证服务状态：

   • HDFS：访问 http://<主节点IP>:9870
   • YARN：访问 http://<主节点IP>:8088
   • 使用 jps 命令检查 Java 进程（应有 NameNode、DataNode 等）。