一：Hadoop下载准备

1.1在下载Hadoop前，需确保系统满足以下要求：

        Java环境：Hadoop依赖Java运行，需安装JDK 8或更高版本。检查Java是否已安装：

java -version  

如果没有Java的环境，大家可以直接通过命令下载JDK：

sudo apt update  
sudo apt install openjdk-11-jdk  

1.2：下载hadoop

1.2.1：环境下载

        1：浏览器直接在 Apache 官网下载

        2：在选择版本时，一般选择最新稳定版（eg：hadoop-3.3.6）的 tar 包。

        3：直接用命令下载：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz  

PS：如果因为外网下载速度太慢或下载失败，大家可以在windows中先下好再导入linux

1.2.2：安装和配置

        1：解压文件

tar -xzvf hadoop-3.3.6.tar.gz -C /user/local/

        2：建立软连接

ln -s /usr/local/hadoop-3.3.6 /usr/local/hadoop

        3：设计环境变量

export HADOOP_HOME=/usr/local/hadoop-3.3.6 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

        4：配置

        编辑$HADOOP_HOME/etc/hadoop/core-site.xml，添加以下内容以设置HDFS临时目录：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

        编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml，配置副本数

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

1.2.3：安装检验

        1：格式化HDFS

hdfs namenode -format  

        2：启动服务

start-dfs.sh  

        3：检查运行状态

jps  # 应显示NameNode、DataNode等进程  

        4：启动YARN集群，运行jps：

start-yarn.sh

        5：上传测试文件

hdfs dfs -put ./ceshi.txt /input/

        6：查看测试结果

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output
 
hdfs dfs -cat /output/part-r-00000