---

• 💂 个人网站: IT知识小屋
• 🤟 版权: 本文由【IT学习日记】原创、在CSDN首发、需要转载请联系博主
• 💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦

---

系统简介

针对海量数据处理的场景，目前业内广泛采用的以实时计算、离线计算、OLAP、时序数据库为主的技术方案来解决，但这些方案都太过于臃肿和笨重，成本也更高，如果替换为以【通用型流式数据统计为主 + 以其他技术方案为辅】的实现方式则可大幅降低企业成本，有效降低项目复杂性和臃肿性。

就目前而言，通用型流式数据统计或许是唯一能够支撑百万级数据指标，同时将成本控制在企业可承受范围内的技术方案。

Xl-Lighthouse是新一代实时计算底座，可支持超大数据量 + 超高并发的通用型流式大数据统计系统，计算性能超越flink/spark 100倍，可以被广泛应用到PV,UV统计、电商销售额、下单用户数量、服务器运维监控等高频场景中。 系统支持多维度统计，支持各种复杂的条件筛选和逻辑判断，一键部署，一行代码接入，轻松实现业务全链路数据监控，帮助企业快速搭建数据指标体系。

项目特点

1、针对企业繁杂的数据统计需求而开发的一套集成了数据写入、数据运算和数据可视化等一系列功能，支持超大数据量，支持超高并发的【通用型流式大数据统计系统】

2、目前已涵盖了各种流式数据统计场景，包括count、sum、max、min、avg、distinct、topN/lastN等多种运算，支持多维度计算，支持分钟级、小时级、天级多种时间粒度的统计，支持自定义统计周期的配置。

3、内置丰富的转化类函数、支持表达式解析，可以满足各种复杂的条件筛选和逻辑判断

4、提供了完善的可视化查询功能，对外提供API查询接口，此外还包括数据指标管理、权限管理、统计限流等多种功能。

5、支持时序性数据的存储和查询

6、基于新一代流式统计运算标准XL-Formula实现，依据流式统计的运算特点而设计，并对每一种运算单元进行反复优化，使得每一种运算单元可以以非常低的成本，无限制复用；

7、可以短时间内快速实现庞大量级数据指标，而这是Flink、Spark、ClickHouse、Doris之类技术所远不能比拟的，可以支撑支撑百万量级数据指标，低成本触达每一个细微的产品模块，帮助企业搭建遍布全身的数据化运营体系

8、对单个流式统计场景的数据量无限制，可以非常庞大，也可以非常稀少，既可以使用它完成十亿级用户量APP的DAU统计、几十万台服务器的运维监控、一线互联网大厂数据量级的日志统计、一线电商企业的订单统计、全世界最大的社交类产品的消息量统计、也可以用它来统计一天只有零星几次的接口调用量、耗时状况

9、XL-Lighthouse擅长应对“繁杂”的数据统计需求，企业规模越大、数据指标需求越多，XL-LightHouse的优势就越明显；

10、支持数据自动备份、可以一键导入历史数据、可以方便的执行集群扩容/缩容；

11、支持自定义存储引擎。

12、所有代码100%开源，方便进行二次开发

13、轻量级开箱即用，一键部署、系统运维和数据接入完全不需要大数据相关经验，普通工程人员即可轻松驾驭

14、提供单机版：成本更低廉，最低配置只需要一台4核8G的云服务器。适用于中小企业或中小型业务团队使用

功能展示

使用场景

Xl-Lighthouse作为一款通用型流式大数据统计系统，可以广泛应用于海量数据实时统计、分析，如即时通讯、技术类、电商、资讯等多种场景中，下面以电商企业为例：

• 为企业决策层提供其所关注的平台交易额、交易量、下单用户数、订单平均金额、人均消费金额等指标

• 为产品经理提供其所负责产品模块的pv、uv和点击率等指标

• 为运营人员提供关注的拉新用户量、各访问渠道用户量、站内各个广告位的点击量、点击用户数、点击收益等指标

• 为开发人员提供其关注的接口调用量、异常量、耗时情况等指标，可以辅助进行压力测试

• 为算法工程师提供其关注的模型训练时长、模型上线后的效果评测等指标，可以辅助进行ABTest

• 为运维人员提供其关注的是线上集群的CPU、内存、负载状况、IO、请求数、流量传输大小等监控指标

• 为UI设计师提供其关注的不同设计方案的点击转化对比情况

• 为数据分析师提供全面的数据指标更准确判断业务短板、业务走势、辅助决策层有针对性制定营销计划

• 实现对各类复杂业务逻辑各主要环节的数据监控，及时发现问题并辅助问题排查

• 快速建立数据指标之间的交叉验证体系，轻松佐证数据指标的准确性

• 面向物联网及工业互联网场景实现各类设备上报数据相关指标统计和监控

对比Flink/ClickHouse

• 一个Flink任务只能并行处理一个或少数几个数据流，而XL-LightHouse一个任务可以并行处理几十万个数据流；一个Flink任务只能实现一个或少数几个数据指标，而XL-LightHouse单个任务就能支撑大批量、百万量级的数据指标。

• XL-LightHouse作为适配流式统计的技术方案，它不再是围绕着“流数据处理过程”这条主线，而是围绕着“运算操作类型”来实现。它将所有流式统计需求抽象分类成多种运算场景，每个统计需求都是基于其中的一种或多种运算场景来实现。打破了流式计算的束缚，大大提高了集群资源的利用效率

• 相比XL-LightHouse，Flink运算性能低、 接入成本高、运维成本高

• ClickHouse每次查询都需要遍历海量数据，所以并发度支持有限、系统内存储着海量的明细数据，集群规模庞大、结构复杂，维护成本高昂、每次查询都要遍历数据，进行实时统计运算，需要耗费的大量的内存和CPU资源

• XL-LightHouse抛弃了Flink和Spark这种基于流数据处理过程的实现方案，打破了流式计算的束缚，采用“多流并行处理”的计算模型更加贴合流式统计运算特性。系统设计层面尽可能避免资源浪费，充分发挥集群运算能力，并对流式统计的各种运算单元进行反复优化以提高数据的处理能力。

• XL-LightHouse：擅长应对“繁杂”的数据统计需求，一套系统可以在极短的时间内快速实现成千上万个数据指标，指标体系可以遍布企业运转的方方面面，企业规模越大、数据指标需求越多，XL-LightHouse的优势就越明显

源码获取&使用手册

点击下方的【IT学习日记】回复【资源】领取！

如果这篇文章对您有帮助，请一定帮我点个 “关注” 和 “点赞”,这对我非常重要。我将会继续推荐更多优质项目和新闻。

写在最后

1000+优质开源项目更新进度：141/1000。如需更多类型优质项目推荐，请在文章后留言。