传统数仓死了,新的继承者当立。

最近Databricks这家Spark起家的公司市值超过了1000亿美金,其在某种程度上代表了数仓的未来。我们要理解它,学习它,超越它!


一:困境与火花

传统数仓瓶颈

数据湖的“沼泽”

割裂的“双轨制”

缘起:伯克利Lab (2009)

Spark 革命与公司诞生 (2013)


二:构建湖仓一体

挑战:可靠性缺失

Delta Lake 诞生 (2019)

MLflow 的标准化

湖仓一体出世 (2020)

性能怪兽:Photon 引擎 (2021)


三:差异化

开放 VS 封闭

竞争优势:中立与多云

统一治理:Unity Catalog

资本追捧

客户的认可


四:数据智能时代

GenAI:收购 MosaicML (2023)

以数据为中心的 AI

进化完成:数据智能平台

启示

图片

图片

公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看或者把本号置顶

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐