分享

美团点评基于 Flink 的实时数仓建设实践



引言

近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。本文主要阐述使用 Flink 在实际数据生产上的经验。
1.png


实时平台初期架构
在实时数据系统建设初期,业务需求也相对较少,还没有形成完整的数据体系。我们采用的是“一路到底”的开发模式:通过在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标,直接推送到实时应用服务中。


但是,随着产品和业务人员对实时数据需求的不断增多,新的挑战也随之发生。
  • 数据指标越来越多,“烟囱式”的开发导致代码耦合问题严重。
  • 需求越来越多,有的需要明细数据,有的需要 OLAP 分析。单一的开发模式难以应付多种需求。
  • 缺少完善的监控系统,无法在对业务产生影响之前发现并修复问题。


更多参考链接
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

已有(1)人评论

跳转到指定楼层
jiangzi 发表于 2018-10-25 08:46:07
在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标,直接推送到实时应用服务中。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条