分区裁剪（Partition Pruning）是 Spark SQL 中一项重要的查询优化技术，它通过在查询执行时跳过不相关的分区来大幅提升查询性能。

1. 分区裁剪基础概念

什么是分区裁剪

分区裁剪是指在查询执行时，根据 WHERE 子句中的分区键条件，自动识别并跳过不需要扫描的分区，只读取相关分区的数据。

-- 示例：分区表按日期分区
CREATE TABLE sales_partitioned (
    product_id STRING,
    amount DOUBLE
) PARTITIONED BY (dt STRING, region STRING);

-- 查询时，Spark 会自动跳过不满足条件的分区
SELECT * FROM sales_partitioned 
WHERE dt = '2023-01-01' AND region = 'North';

工作原理图示

2. 分区裁剪触发条件

等值条件裁剪

-- 等值条件：最有效的裁剪
SELECT * FROM sales_partitioned 
WHERE dt = '2023-01-01';  -- 精确匹配，裁剪效果最佳

-- 多级分区裁剪
SELECT * FROM sales_partitioned 
WHERE dt = '2023-01-01' AND region = 'North';  -- 两级裁剪

范围条件裁剪

-- 范围查询：部分裁剪
SELECT * FROM sales_partitioned 
WHERE dt >= '2023-01-01' AND dt <= '2023-01-31';  -- 月份范围裁剪

-- IN 列表裁剪
SELECT * FROM sales_partitioned 
WHERE dt IN ('2023-01-01', '2023-01-02', '2023-01-03');

函数表达式裁剪

-- 函数操作分区键（可能影响裁剪效果）
SELECT * FROM sales_partitioned 
WHERE YEAR(dt) = 2023 AND MONTH(dt) = 1;  -- 函数包装，裁剪可能失效

-- 优化为直接分区键比较
SELECT * FROM sales_partitioned 
WHERE dt LIKE '2023-01-%';  -- 保持裁剪能力

3. 性能影响分析

IO 优化效果

// 假设销售表有1000个日期分区
// 无分区裁剪：扫描1000个目录，读取所有数据
// 有分区裁剪：只扫描1个目录（dt='2023-01-01'），IO减少99.9%

val fullScanTime = 120.0  // 秒（扫描所有分区）
val prunedScanTime = 0.12  // 秒（只扫描1个分区）
val improvement = (fullScanTime - prunedScanTime) / fullScanTime * 100
println(s"性能提升: ${improvement}%")  // 输出: 性能提升: 99.9%

内存使用优化

4. 动态分区裁剪（DPR）

DPR 工作原理

动态分区裁剪是 Spark 3.0+ 的高级特性，在 JOIN 操作时自动应用分区裁剪。

-- 动态分区裁剪示例
SELECT s.* 
FROM sales_partitioned s
JOIN date_dim d ON s.dt = d.date_key
WHERE d.fiscal_year = 2023 AND d.quarter = 'Q1';

-- 等价效果：自动转换为
SELECT s.* FROM sales_partitioned s
WHERE s.dt IN (
    SELECT date_key FROM date_dim 
    WHERE fiscal_year = 2023 AND quarter = 'Q1'
);

DPR 配置优化

// 启用动态分区裁剪（Spark 3.0+ 默认开启）
spark.conf.set("spark.sql.optimizer.dynamicPartitionPruning.enabled", "true")

// 统计信息优化 DPR
spark.conf.set("spark.sql.cbo.enabled", "true")
spark.conf.set("spark.sql.statistics.histogram.enabled", "true")

5. 实战性能对比

测试场景设置

// 创建测试分区表（1000个日期分区）
spark.sql("""
CREATE TABLE performance_test (
    id BIGINT,
    value DOUBLE,
    category STRING
) PARTITIONED BY (dt STRING)
STORED AS PARQUET
""")

// 插入测试数据（每个分区100MB）
(1 to 1000).foreach { i =>
    val dt = f"2023-${i%12+1}%02d-${i%28+1}%02d"
    spark.range(1000000)
        .withColumn("value", rand() * 100)
        .withColumn("category", lit(s"cat-${i%10}"))
        .withColumn("dt", lit(dt))
        .write.mode("append").insertInto("performance_test")
}

性能测试对比

// 测试1：无分区裁剪（全表扫描）
val start1 = System.currentTimeMillis()
spark.sql("SELECT COUNT(*) FROM performance_test").show()
val time1 = System.currentTimeMillis() - start1

// 测试2：静态分区裁剪
val start2 = System.currentTimeMillis()
spark.sql("SELECT COUNT(*) FROM performance_test WHERE dt = '2023-01-01'").show()
val time2 = System.currentTimeMillis() - start2

// 测试3：动态分区裁剪
val start3 = System.currentTimeMillis()
spark.sql("""
SELECT COUNT(*) 
FROM performance_test t
JOIN (SELECT '2023-01-01' as date_key) d ON t.dt = d.date_key
""").show()
val time3 = System.currentTimeMillis() - start3

println(s"全表扫描: ${time1}ms, 静态裁剪: ${time2}ms, 动态裁剪: ${time3}ms")

6. 最佳实践与优化技巧

分区键设计原则

-- ✅ 好的分区键：高基数，查询常用
PARTITIONED BY (dt STRING, region STRING)  -- 日期+地区组合

-- ❌ 差的分区键：低基数，数据倾斜
PARTITIONED BY (gender STRING)  -- 只有2-3个值，分区效果差

-- ✅ 时间序列数据：按时间分区
PARTITIONED BY (year INT, month INT, day INT)

-- ✅ 地理数据：按地区分区  
PARTITIONED BY (country STRING, state STRING)

避免分区裁剪失效

-- ❌ 分区裁剪可能失效的写法
SELECT * FROM sales_partitioned 
WHERE CAST(dt AS DATE) = DATE '2023-01-01';  -- 类型转换

SELECT * FROM sales_partitioned 
WHERE SUBSTR(dt, 1, 7) = '2023-01';  -- 函数操作

-- ✅ 分区裁剪友好的写法  
SELECT * FROM sales_partitioned 
WHERE dt = '2023-01-01';  -- 直接比较

SELECT * FROM sales_partitioned 
WHERE dt LIKE '2023-01-%';  -- 模式匹配

统计信息维护

// 定期收集分区表统计信息
spark.sql("ANALYZE TABLE sales_partitioned COMPUTE STATISTICS")

// 为分区键列收集详细统计信息
spark.sql("ANALYZE TABLE sales_partitioned COMPUTE STATISTICS FOR COLUMNS dt, region")

// 验证分区信息
spark.sql("SHOW PARTITIONS sales_partitioned").count()

7. 监控与诊断

执行计划分析

val df = spark.sql("SELECT * FROM sales_partitioned WHERE dt = '2023-01-01'")
df.explain("extended")

// 期望看到的关键信息：
// - PartitionFilters: [isnotnull(dt#0), (dt#0 = 2023-01-01)]
// - PushedFilters: [IsNotNull(dt), EqualTo(dt,2023-01-01)]
// - 实际读取的分区数量

Spark UI 监控

# 在 Spark UI 的 SQL 页面查看：
# - Scan parquet 操作的实际文件数量
# - 每个任务的输入数据大小
# - 任务执行时间分布

# 关键指标对比：
# 无分区裁剪：读取文件数 = 分区总数
# 有分区裁剪：读取文件数 = 相关分区数

8. 性能影响总结

量化性能提升

场景	分区数量	裁剪后分区数	IO减少比例	查询时间提升
日级查询	365	1	99.7%	100-300倍
月级查询	12	1	91.7%	10-20倍
季度查询	4	1	75%	3-5倍

适用场景

• 时间序列数据：日志、交易记录、传感器数据
• 地理分区数据：按地区分布的业务数据
• 多租户数据：按租户ID分区的SaaS应用
• 历史数据归档：按时间分层的冷热数据

分区裁剪是 Spark SQL 中最有效的性能优化技术之一，正确使用可以带来数量级的性能提升，特别是在处理大规模分区表时效果尤为显著。