1. Pandas速查手册：数据分析师的高效指南

作为Python生态中最核心的数据分析工具，Pandas几乎成为数据工作者的标配技能。但面对其庞大的API体系，即使是经验丰富的分析师也常陷入"用时方恨记不清"的困境。这份手册不同于官方文档的全面铺陈，而是聚焦实际业务场景中的高频操作，用结构化分类和实例代码帮你建立肌肉记忆。

提示：本手册基于Pandas 2.0+版本编写，部分语法与早期版本存在差异，建议通过 pd.__version__ 确认环境版本。

1.1 为什么需要速查手册

在真实的数据分析工作流中，我们往往面临这样的典型场景：

• 需要快速验证某个数据假设时，却卡在 groupby 与 agg 的组合语法上
• 处理时间序列数据时，记不清 resample 与 asfreq 的细微区别
• 合并多个数据源时，对 merge 的 how 参数选择犹豫不决

本手册采用"问题场景→解决方案→原理说明"的三段式结构，每个知识点都附带可直接运行的代码块。例如处理电商数据时的典型操作：

# 典型电商分析代码结构
df_orders = pd.read_csv('orders.csv', parse_dates=['order_date'])
daily_sales = (df_orders.groupby([pd.Grouper(key='order_date', freq='D'), 'product_id'])
               .agg({'quantity':'sum', 'amount':['sum','mean']}))

2. 核心数据结构操作精要

2.1 DataFrame的创建与查看

创建DataFrame至少有5种常见方式，但实际工作中最常用的是这三种组合：

# 从字典创建（适合结构化数据）
data = {'product': ['A', 'B', 'C'], 
        'price': [29.9, 199, 9.9],
        'in_stock': [True, False, True]}
df1 = pd.DataFrame(data)

# 从列表创建（适合非结构化转换）
rows = [['A', 29.9, True], ['B', 199, False], ['C', 9.9, True]]
df2 = pd.DataFrame(rows, columns=['product', 'price', 'in_stock'])

# 从文件读取（实际最常用）
df3 = pd.read_csv('products.csv', index_col='id')

查看数据时，这些方法能帮你快速把握数据特征：

df.info()  # 内存占用和类型概览
df.describe(include='all')  # 包含非数值型的统计摘要
df.head(10).style.highlight_null()  # 高亮显示前10行中的缺失值

2.2 行列操作黄金法则

数据选取是Pandas最核心的操作，需要掌握这些高效索引方式：

# 列选择（注意返回类型差异）
series = df['price']  # 返回Series
df_col = df[['price']]  # 返回DataFrame

# 行选择（推荐使用loc/iloc）
df.loc[df['price'] > 100, :]  # 布尔索引
df.iloc[10:20:2, :]  # 位置切片

# 特殊技巧：快速筛选TopN
df.nlargest(5, 'price')  # 价格最高的5条记录
df.nsmallest(3, ['price', 'weight'])  # 多列综合排序

注意：直接使用 df[df['price']>100] 虽然可行，但在复杂查询时可能产生 SettingWithCopyWarning 警告，建议统一使用 loc 。

3. 数据清洗实战技巧

3.1 缺失值处理的智慧

面对缺失值，删除并非唯一选择。根据数据特性选择适当策略：

# 删除缺失值（适合少量缺失）
df.dropna(subset=['price'], thresh=2)  # 至少2个非空值才保留

# 填充缺失值（推荐使用业务逻辑）
df['price'].fillna(df['price'].median(), inplace=True)  # 中位数填充
df['category'].fillna('unknown', inplace=True)  # 特定标记填充

# 高级技巧：分组填充
df['price'] = df.groupby('category')['price'].transform(
    lambda x: x.fillna(x.mean()))

3.2 数据类型转换陷阱

自动类型推断常导致意外结果，这些方法可确保类型安全：

# 安全转换数字类型
df['price'] = pd.to_numeric(df['price'], errors='coerce')  # 无效值转NaN

# 日期处理最佳实践
df['order_date'] = pd.to_datetime(df['order_date'], 
                                 format='%Y-%m-%d',
                                 errors='coerce')

# 分类数据优化
df['category'] = df['category'].astype('category')  # 内存节省可达90%

4. 数据变形与聚合

4.1 透视表的艺术

pivot_table 远比Excel强大，这些参数组合能解决复杂需求：

# 多维度分析示例
pd.pivot_table(df, 
               values='sales',
               index=['region', 'manager'],
               columns='quarter',
               aggfunc=['sum', 'mean'],
               margins=True,
               fill_value=0)

4.2 分组聚合的进阶用法

groupby 的这些技巧能显著提升代码效率：

# 多重聚合与自定义函数
agg_config = {
    'price': ['mean', 'max'],
    'quantity': lambda x: np.percentile(x, 90)
}
df.groupby('category').agg(agg_config)

# 分组后过滤
df.groupby('dept').filter(lambda x: x['sales'].sum() > 10000)

# 分组排序
df.groupby('category').apply(lambda x: x.sort_values('price', ascending=False))

5. 时间序列处理秘笈

5.1 重采样与频率转换

处理时间序列时， resample 和 asfreq 的区别至关重要：

# 日数据转周数据（默认取区间右端点）
weekly = df.resample('W', on='date')['sales'].sum()

# 精确对齐日历（适合已有规整时间戳）
monthly = df.asfreq('M', method='ffill')

# 高级重采样：包含滚动计算
(df.resample('Q', on='date')
   .agg({'sales':'sum',
         'inventory': lambda x: x.iloc[-1]}))

5.2 窗口计算实战

滚动统计是时间序列分析的利器：

# 扩展窗口计算
df['cum_sales'] = df['sales'].expanding().sum()

# 带衰减因子的滚动平均
df['ewma'] = df['sales'].ewm(span=30).mean()

# 分组滚动计算
df.groupby('product')['sales'].rolling(7).std()

6. 数据合并与连接

6.1 merge的四种连接方式

理解SQL JOIN概念在Pandas中的实现：

# 内连接（默认）
pd.merge(left, right, on='key')

# 外连接（保留所有记录）
pd.merge(left, right, how='outer', indicator=True)

# 左连接（保留左表全部）
pd.merge(left, right, how='left', validate='one_to_many')

# 索引连接
pd.merge(left, right, left_index=True, right_on='key')

6.2 concat的特殊技巧

轴向合并时这些参数能解决复杂需求：

# 多表堆叠（自动对齐列名）
pd.concat([df1, df2, df3], axis=0, ignore_index=True)

# 横向拼接（类似hstack）
pd.concat([df_a, df_b], axis=1, verify_integrity=True)

# 混合拼接（创建多级索引）
pd.concat({'2023':df_2023, '2024':df_2024}, names=['year'])

7. 性能优化与内存管理

7.1 类型优化的神奇效果

通过调整数据类型可显著提升性能：

# 整型优化
df['user_id'] = df['user_id'].astype('int32')  # 默认int64

# 浮点型优化
df['price'] = pd.to_numeric(df['price'], downcast='float')

# 布尔型转换
df['is_active'] = df['status'].map({'active':True, 'inactive':False})

# 查看内存节省效果
df.memory_usage(deep=True)

7.2 高效迭代方案

避免直接使用 iterrows() ，这些方法更快：

# 向量化操作（首选）
df['discount'] = df['price'] * 0.9

# apply方法（中等规模数据）
df['price_tier'] = df['price'].apply(
    lambda x: 'high' if x >100 else 'low')

# itertuples（必须循环时）
for row in df.itertuples():
    process(row.product, row.price)

8. 常见陷阱与解决方案

8.1 SettingWithCopyWarning谜团

这个常见警告的本质和解决方案：

# 危险操作（可能产生警告）
df[df['price']>100]['discount'] = 0.9  # 链式索引

# 正确做法1
df.loc[df['price']>100, 'discount'] = 0.9

# 正确做法2
subset = df[df['price']>100].copy()
subset['discount'] = 0.9

8.2 多级索引的驾驭之道

处理层次化索引时的实用技巧：

# 索引重置与设置
df.reset_index(inplace=True)
df.set_index(['date', 'product'], inplace=True)

# 跨层级查询
df.xs(('2023-01', 'A'), level=['date','product'])

# 索引排序优化
df.sort_index(level=1, ascending=False)

9. 可视化集成技巧

9.1 内置绘图的高效用法

直接通过DataFrame绘图能快速探索数据：

# 多子图绘制
df.plot(subplots=True, layout=(2,3), figsize=(12,8))

# 箱线图分组显示
df.boxplot(column='price', by='category', vert=False)

# 面积堆叠图
df.pivot_table(index='date', columns='product', 
              values='sales').plot.area(stacked=True)

9.2 样式设置的艺术

用Style对象增强数据可读性：

# 条件格式设置
(df.style
   .background_gradient(subset=['sales'], cmap='Blues')
   .bar(subset=['profit'], color='#d65f5f')
   .format({'price': '${:.2f}'}))

10. 高级应用场景

10.1 处理超大文件策略

当数据超过内存时的处理方案：

# 分块读取
chunk_iter = pd.read_csv('huge.csv', chunksize=100000)
for chunk in chunk_iter:
    process(chunk)

# 指定数据类型减少内存
dtypes = {'id':'int32', 'price':'float32'}
pd.read_csv('large.csv', dtype=dtypes)

# 使用Dask替代
import dask.dataframe as dd
ddf = dd.read_csv('*.csv')

10.2 与数据库的高效交互

通过SQLAlchemy实现数据库操作：

from sqlalchemy import create_engine

engine = create_engine('postgresql://user:pass@localhost/db')
# 读取数据
df = pd.read_sql('SELECT * FROM sales', engine)

# 写入数据
df.to_sql('new_table', engine, if_exists='replace', index=False)

11. 实用工具函数集锦

11.1 数据质量检查

自动化数据验证流程：

def data_audit(df):
    report = {
        'dtypes': df.dtypes,
        'missing': df.isna().mean(),
        'unique': df.nunique(),
        'outliers': df.apply(
            lambda x: x[(x-x.mean()).abs()>3*x.std()].count())
    }
    return pd.DataFrame(report)

data_audit(df)

11.2 随机采样与分割

构建机器学习数据集时的实用方法：

# 分层采样
train = df.groupby('category', group_keys=False).apply(
    lambda x: x.sample(frac=0.7))

# 时间序列分割
test = df[df['date'] > pd.Timestamp('2023-06-01')]

12. 版本差异与迁移指南

12.1 2.0+版本重要变更

这些变化可能影响既有代码：

# 默认索引类型变更
pd.DataFrame({'a':[1,2]}).index.dtype  # 现在返回int64而非int32

# 弃用方法警告
df.append()  # 改为pd.concat()
df.iteritems()  # 改为items()

12.2 代码兼容性处理

确保代码跨版本运行的技巧：

# 版本检查
if pd.__version__ >= '2.0.0':
    # 使用新API
    df.convert_dtypes()
else:
    # 回退方案
    df.apply(pd.to_numeric, errors='ignore')

这份手册将持续更新维护，建议收藏为日常参考工具。在实际项目中遇到特殊场景时，可结合官方文档的 See Also 部分探索更多可能性。记住，熟练使用Pandas的关键不在于记住所有方法，而是建立快速查找解决方案的能力框架。