Spark SQL 数据分区操作

1. 创建分区表

-- 创建分区表
CREATE TABLE sales (
    id INT,
    product STRING,
    amount DOUBLE,
    sale_date DATE
)
PARTITIONED BY (sale_date);

-- 插入数据到分区表
INSERT INTO TABLE sales PARTITION (sale_date='2024-01-01')
VALUES (1, 'ProductA', 100.0);

2. 动态分区插入

-- 启用动态分区
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;

-- 动态插入数据，根据sale_date自动创建分区
INSERT OVERWRITE TABLE sales PARTITION (sale_date)
SELECT id, product, amount, sale_date FROM source_table;

3. 查询分区数据

-- 查询特定分区
SELECT * FROM sales WHERE sale_date = '2024-01-01';

-- 查看所有分区
SHOW PARTITIONS sales;

-- 删除分区
ALTER TABLE sales DROP PARTITION (sale_date='2024-01-01');

4. DataFrame API 中的分区操作

# 读取分区数据
df = spark.read.table("sales").filter("sale_date = '2024-01-01'")

# 写入分区数据
df.write.partitionBy("sale_date").mode("overwrite").saveAsTable("sales")

# 重新分区（调整并行度）
df_repartitioned = df.repartition(10, "sale_date")

分区对性能的影响

积极影响 ✅

1. 查询性能提升

• 分区裁剪（Partition Pruning）：只扫描相关分区的数据
• 减少 I/O 操作和数据传输量
• 对于时间序列数据，按日期分区可显著提高查询效率

2. 数据局部性优化

• 相同分区的数据物理上存储在一起
• 减少网络传输，提高 shuffle 效率

3. 并行处理优化

• 每个分区可以独立处理
• 更好的负载均衡和资源利用率

负面影响 ❌

1. 小文件问题

• 过度分区会产生大量小文件
• 增加元数据管理和文件打开开销
• 影响 HDFS NameNode 性能

2. 分区倾斜

• 数据分布不均匀导致某些分区过大
• 造成任务执行时间不均衡
• 资源浪费和性能瓶颈

3. 维护成本

• 分区数量过多增加管理复杂度
• 需要定期清理过期分区

最佳实践

1. 合理选择分区键

2. 控制分区数量

• 单个分区建议大小：128MB - 1GB
• 避免分区数量超过 10,000 个
• 使用 coalesce() 或 repartition() 调整分区数

3. 监控和优化

-- 检查分区统计信息
ANALYZE TABLE sales COMPUTE STATISTICS FOR COLUMNS sale_date;

-- 合并小文件
ALTER TABLE sales CONCATENATE;

实际应用场景

场景1：时间序列数据分析

-- 按月分区，适合时间范围查询
CREATE TABLE user_activities (
    user_id BIGINT,
    activity_type STRING,
    duration INT
)
PARTITIONED BY (year INT, month INT);

-- 高效查询某月数据
SELECT * FROM user_activities 
WHERE year = 2024 AND month = 1;

场景2：地理数据分析

-- 按地区分区
CREATE TABLE regional_sales (
    product_id BIGINT,
    sales_amount DOUBLE
)
PARTITIONED BY (region STRING, city STRING);

总结

Spark SQL 的分区机制通过数据剪裁和并行处理显著提升性能，但需要合理设计分区策略。关键是要平衡分区粒度，避免过度分区导致的小文件问题，同时确保数据分布的均匀性。在实际应用中，应根据数据特性和查询模式来选择合适的分区策略。