流批一体场景下的数据仓库表命名规范
随着我们数据架构演进至流批一体模式,数据表的类型和处理逻辑(如实时流、增量快照、多状态记录等)日趋复杂。这导致仅靠传统的命名约定已无法清晰区分表的特性,给数据开发和使用带来了认知负担与管理风险。
为此,我们设计了一套精细化的命名规范。该方案在通用的 [层级]_[数据域]_[描述]... 结构上,重点对后缀进行了增强,以精准描述数据在流批一体下的状态。
|
表 类型 |
分区 |
命名 |
举例 |
备注 |
|
维度表 |
无 |
无后缀,通常在实时场景中使用,但并不是实时场景中就一定就不用分区(paimon) |
dim_cust_base_info |
|
|
天 |
_di,每日增量 |
dim_app_channel_info_di |
小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y" |
|
|
_df,每日全量, 维度表通常用每日全量的形式 |
dim_cust_base_info_df |
|||
|
明细实时表 |
无 |
无后缀,通常在实时场景中使用 |
dwd_vip_orders |
在数据量较大的场景下,实时场景也建议使用分区表 |
|
天 |
_di,按日分区,每日增量,按照业务主键(比如订单表的订单号),全表业务主键唯一 (最常用) |
dwd_vip_order_detail_di (每日增量,按照主键,只有一条数据) |
小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y" |
|
|
_multi_di,按日分区,每日增量,按照业务主键+状态(比如订单表的订单号),当日唯一 |
|
|||
|
_du_di,按日分区,每日增量,按照业务主键+最新状态(比如订单表的订单号),当日唯一 |
|
|||
|
_df, 按日分区,每日全量,按照业务主键(比如订单表的订单号),分区内业务主键唯一,跨分区数据会重复,一般不使用 |
||||
|
聚合表 |
无 |
无后缀,通常在实时场景中直接聚合,这类不常用 |
||
|
天 |
_di,按日分区,分区内含当日聚合数据 |
dws_user_order_di(每日增量,只包含当日数据聚合) |
小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y" |
|
|
_df,按日分区,分区内含衍生标签,全量对象的聚合数据 |
dws_user_order_tag_df(每日全量,包含所有api用户全量聚合) |
|||
|
视图 |
/ |
_v:一般视图 |
||
|
_mv: 物化视图 |
更多推荐


所有评论(0)