随着我们数据架构演进至流批一体模式,数据表的类型和处理逻辑(如实时流、增量快照、多状态记录等)日趋复杂。这导致仅靠传统的命名约定已无法清晰区分表的特性,给数据开发和使用带来了认知负担与管理风险。

为此,我们设计了一套精细化的命名规范。该方案在通用的 [层级]_[数据域]_[描述]... 结构上,重点对后缀进行了增强,以精准描述数据在流批一体下的状态。

类型

分区

命名

举例

备注

维度表

无后缀,通常在实时场景中使用,但并不是实时场景中就一定就不用分区(paimon)

dim_cust_base_info

_di,每日增量

dim_app_channel_info_di

小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y"

_df,每日全量, 维度表通常用每日全量的形式

dim_cust_base_info_df

明细实时表

无后缀,通常在实时场景中使用

dwd_vip_orders

在数据量较大的场景下,实时场景也建议使用分区表

_di,按日分区,每日增量,按照业务主键(比如订单表的订单号),全表业务主键唯一 (最常用)

dwd_vip_order_detail_di (每日增量,按照主键,只有一条数据)

小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y"

_multi_di,按日分区,每日增量,按照业务主键+状态(比如订单表的订单号),当日唯一


dwd_vip_order_detail_multi_di (每日增量,每日有多次变更保留多次)

_du_di,按日分区,每日增量,按照业务主键+最新状态(比如订单表的订单号),当日唯一


dwd_coll_vip_order_detail_du_di (每日增量,每日有多次变更保留最新一次)

_df, 按日分区,每日全量,按照业务主键(比如订单表的订单号),分区内业务主键唯一,跨分区数据会重复,一般不使用

聚合表

无后缀,通常在实时场景中直接聚合,这类不常用

_di,按日分区,分区内含当日聚合数据

dws_user_order_di(每日增量,只包含当日数据聚合)

小时/周/月/年同规则,将“d”替换成“h”/"w"/"q"/"y"

_df,按日分区,分区内含衍生标签,全量对象的聚合数据

dws_user_order_tag_df(每日全量,包含所有api用户全量聚合)

视图

/

_v:一般视图

_mv: 物化视图

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐