一、下载Spark的安装包

二、上传到vmware对应的虚拟机中

上传到/opt/software/下

cd /opt/software/

三、解压

1、解压命令 

tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt/module/

2、重新命名对应软件包

mv spark-3.5.0-bin-hadoop3 spark-3.5.0

四、配置环境变量

1、进入spark软件对应的目录

#进入spark软件包对应的目录
cd /opt/module/spark-3.5.0
#查看当前用户所在的路径

pwd

#将spark软件包所在的完整绝对路劲进行复制/opt/module/spark-3.5.0

vi /etc/profile.d/my_env.sh
#spark环境变量
export SPARK_HOME=/opt/module/spark-3.5.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

五、修改配置文件

1、要把修改的配置文件的临时文件后缀去掉

2、修改配置文件

①修改 spark-env.sh

#spark集群主节点的主机名
export SPARK_MASTER_HOST=master
export SPARK_MASTER_IP=192.168.26.129
#设置application计算任务的提交端口
export SPARK_MASTER_PORT=7077
#设置Java环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_161
#设置hadoop集群配置文件的路径
export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop
#设置从节点每个worker最多使用的内存
export SPARK_WORKER_MEMORY=2g
#设置每个work的最多使用CPU的核数
export SPARK_WORKER_CORES=2

②修改spark-defaults.conf

#设置spark集群地址
spark.master                     spark://master:7077
#设置开启事件日志功能
spark.eventLog.enabled           true
#设置事件日志存储目录为hdfs上的spark-logs目录
spark.eventLog.dir               hdfs://master:8020/spark-logs

③修改workers

删除localhost，加入下面的内容

master
slave1
slave2

六、分发文件给其他虚拟机

 scp -r /opt/module/spark-3.5.0 slave1:/opt/module/

 scp -r /opt/module/spark-3.5.0 slave2:/opt/module/

scp -r /etc/profile.d/my_env.sh slave1:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh slave2:/etc/profile.d/

刷新环境变量

source /etc/profile.d/my_env.sh

七、启动spark集群

cd /opt/module/spark-3.5.0/sbin
./start-all.sh

八、验证集群是否启动成功

在hdfs的/下新建一个spark-logs文件夹

jps

spark-shell

退出spark集群