安装前准备

确保系统已更新至最新状态，执行以下命令：

sudo yum update -y

安装Java环境（Spark依赖Java 8或11）：

sudo yum install java-1.8.0-openjdk-devel -y

验证Java安装：

java -version

下载Spark

访问Spark官网获取最新稳定版链接，替换以下命令中的下载链接：

wget https://archive.apache.org/dist/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz

解压文件并移动到目标目录：

tar -xzf spark-3.3.1-bin-hadoop3.tgz
sudo mv spark-3.3.1-bin-hadoop3 /opt/spark

配置环境变量

编辑/etc/profile文件，添加以下内容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使配置生效：

source /etc/profile

验证安装

启动Spark本地模式：

spark-shell

出现Scala交互式命令行即表示安装成功。

配置Spark参数（可选）

编辑$SPARK_HOME/conf/spark-env.sh（需复制模板）：

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh

添加以下配置（根据硬件调整）：

export SPARK_MASTER_HOST=your_server_ip
export SPARK_WORKER_MEMORY=4g

启动集群（可选）

启动Master节点：

$SPARK_HOME/sbin/start-master.sh

启动Worker节点：

$SPARK_HOME/sbin/start-worker.sh spark://your_server_ip:7077

防火墙配置

开放必要端口（默认7077）：

sudo firewall-cmd --zone=public --add-port=7077/tcp --permanent
sudo firewall-cmd --reload