基础准备

1.掌握PySpark库的安装
2.掌握PySpark执行环境入口对象的构建
3.理解PySpark的编程模型
PySpark库的安装
同其他的Python第三方库一样,PySpark同样可以使用pip程序进行安装
在"cmd”命令提示符程序内,输入:
pip install pyspark
或使用国内代理镜像网站(清华大学源)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark
构建PySpark执行环境入口对象
想要使用PySpark库完成数据处理,首先需要构建一个执行环境入口对象
PySpark的执行环境入口对象是:类 SparkContext的类对象

# 导包
from pyspark import SparkConf,SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")


# 基于SparkConf类对象创建SparkContext类对象
sc = SparkContext(conf=conf)
# 打印PySpark的运行版本
print(sc.version)
# 停止SparkContext对象的运行(停止PySpark程序)
sc.stop()

PySpark的编程模型
SparkContext类对象,是PySpark编程中一切功能的入口
PySpark的编程,主要分为如下三个步骤:
在这里插入图片描述
在这里插入图片描述

总结
1.如何安装PySpark库
pip install pyspark
2.为什么要构建SparkContext对象作为执行入口
PySpark的功能都是从SparkContext对象作为开始
3.PySpark的编程模型是
在这里插入图片描述

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐