安装与配置Hadoop 3.3.5集群

环境准备 确保所有节点（master、slave1、slave2）已安装JDK 8或更高版本，并配置SSH免密登录。检查/etc/hosts文件已包含所有节点的IP和主机名映射。

下载与解压 在master节点执行以下命令下载Hadoop 3.3.5并解压到指定路径：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
tar -xzvf hadoop-3.3.5.tar.gz -C /usr/local/src/
mv /usr/local/src/hadoop-3.3.5 /usr/local/src/hadoop

配置环境变量 在所有节点的~/.bashrc或/etc/profile中添加以下内容：

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行source ~/.bashrc使配置生效。

核心配置文件修改

配置hadoop-env.sh 编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，设置Java路径：

export JAVA_HOME=/path/to/your/jdk

配置core-site.xml 修改$HADOOP_HOME/etc/hadoop/core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop/tmp</value>
    </property>
</configuration>

配置hdfs-site.xml 编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/src/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/src/hadoop/data/datanode</value>
    </property>
</configuration>

配置mapred-site.xml 修改$HADOOP_HOME/etc/hadoop/mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置yarn-site.xml 编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

配置workers文件 编辑$HADOOP_HOME/etc/hadoop/workers，添加所有数据节点主机名：

slave1
slave2

同步配置到所有节点

将配置好的Hadoop目录复制到slave1和slave2：

scp -r /usr/local/src/hadoop slave1:/usr/local/src/
scp -r /usr/local/src/hadoop slave2:/usr/local/src/

初始化与启动集群

格式化HDFS 在master节点执行：

hdfs namenode -format

启动HDFS 在master节点执行：

start-dfs.sh

启动YARN 在master节点执行：

start-yarn.sh

验证集群状态

• 检查HDFS状态：

hdfs dfsadmin -report

• 检查YARN状态：

yarn node -list

• 通过Web UI访问：
  • NameNode: http://master:9870
  • ResourceManager: http://master:8088