下载 Spark 安装包

访问 Apache Spark 官方下载页面 https://spark.apache.org/downloads.html，选择 Spark 3.5.0 版本，并勾选预编译选项（Pre-built for Apache Hadoop 3.3 and later）。下载完成后，将压缩包上传至 CentOS 7 服务器。

使用以下命令解压安装包：

tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /opt

配置环境变量

编辑 /etc/profile 文件，添加 Spark 环境变量：

export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

保存后执行以下命令使环境变量生效：

source /etc/profile

配置 Spark 参数

进入 Spark 配置目录，复制默认配置文件模板：

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh，添加以下配置（根据实际需求调整）：

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export SPARK_MASTER_HOST=<your_master_ip>
export SPARK_LOCAL_DIRS=/opt/spark-3.5.0-bin-hadoop3/tmp

启动 Spark 服务

启动 Spark Master 服务：

$SPARK_HOME/sbin/start-master.sh

启动 Spark Worker 服务（在 Worker 节点执行）：

$SPARK_HOME/sbin/start-worker.sh spark://<master_ip>:7077

验证安装

通过浏览器访问 Spark Web UI（默认端口 8080）：

http://<master_ip>:8080

或在终端执行以下命令验证 Spark Shell：

spark-shell

可选配置

如果需要配置多节点集群，需在所有 Worker 节点的 $SPARK_HOME/conf/slaves 文件中添加 Worker 主机名或 IP 地址。