大型券商机构智能大数据营销平台【适合架构师】

about云腾讯认证空间

问题导读

1.本项目建设需要包含哪三个维度？
2.项目背景是什么？
3.大数据平台如何建设的？

关注最新经典文章，欢迎关注公众号

本项目的建设目标主要包含以下三个维度

系统维度 :立足券商机构整体层面，搭建适应大数据处理分析场景的大数据平台，并保证足够的开放性与可扩展性，以满足急速增长的各类数据应用需求，适时弱化 MPP 构架一体机在数据服务体系中的作用 ;

数据维度 :对接现有的公司各类生产数据源，完成 RDBMS 与 Hadoop 间的数据导入同步，实现数据的无缝流转，并对外提供统一的数据接口 ;

业务维度:在系统与数据建设的基础上，重点满足历史查询、非结构化数据处理、完善客户画像、准实时数据处理等数据使用需求，并对大数据挖掘类应用场景进行研究，以更好地支撑业务的开展。

项目背景
随着客户证券业务规模地不断扩大及相关产品和服务种类地迅速增加，数据总量正在急速增长、数据类型也在不断增多。同时，随着互联网技术不断引入公司相关业务系统，线上服务占比大幅提升，已逐步成为公司主要的业务受理渠道，客户触点也随之从有形转为无形，数据成为了解业务和挖掘客户需求的重要依据。

明略数据帮助国内大型券商机构建设企业级大数据平台是企业科技发展规划中的重点任务，通过全面建设大数据及流平台，不断完善数据架构体系，发挥协同优势，为智能化服务、数据化运营、优化数据管理提供基础。

建设企业级大数据平台，可以支持集团非结构化数据的存储及分析挖掘，扩展客户分析，风险挖掘数据源 , 同时，能够支持业务系统流数据的实时分流，为业务准实时监控和风控提供支持。

项目历程
大数据平台于 2017 年年中正式启动，通过多方的共同努力，计划于同年年底正式投入试运行。

以下是对项目实施历程的回顾，以及每个里程碑式意义的阶段介绍。

大数据平台建设是一个工程，是一个过程。大数据平台建设涵盖内容丰富，实施周期紧凑，在半年的时间里，涉及了数仓多个源系统的数据迁移、10 多个数据源的接入，数百个画像标签的开发、1 套实时全景业务展示、1 个模型应用验证、1套画像功能的部署。下面就项目过程的重点阶段进行总结。

大数据平台建设
利用大数据的流式处理技术，完成 Cloudera 的 CDH 大数据平台搭建，提供HDFS，HIVE，HBase，Flume，Impala，Kafka，Kudu，Oozie，Solr，Spark，YARN，Zookeeper 等服务组件，实现业务数据的实时接入与计算，并采用丰富的图表将各指标数据进行可视化展示。

客户画像建设
用户画像可通过对海量低价值密度用户数据的深入加工，得到客户金融特征的一组标签，在业务运营中能够有助于更加高效地理解客户、研究客户需求、分析客户潜在意图，能够将数据驱动的思想引入到业务运营流程中。此次大数据平台搭建，共完成了近10大标签维度，数百个标签的开发，并提供了便捷的标签管理功能、可筛选功能等，并与CRM客户对接，可提供标签数据服务，帮助营销和销售人员定位目标客户，了解客户潜在需求，开发需求产品以及向客户精准营销。

全景业务展示建设
大数据平台全景业务展示应用实现 App 活跃客户，App 装机，开户信息，市占率，等业务运营指标的实时展示功能，该版本的上线业务价值:通过大数据流式处理技术，将业务指标的洞察从 T + 1 提升到实时洞察，快速洞悉业务。

指标计算结果的处理考虑到业务对实时性的高要求，采用了构建在 Spark 上的实时计算框架 Spark Streaming 进行业务处理，满足实现高吞吐量、高实时性及高并发性的需求，对业务数据进行实时指标计算。数据经过计算后存入 HBase，使用内存数据库 Redis 来缓存计算模块用到的配置信息和一些高频使用的中间变量，以提高系统计算效率。计算完的结果数据通过 Kafka 下发，在全景业务展示区进行实时数据的前端页面展示。

对于存储在 HBase 中的指标数据结果，会通过 Oozie 编写 WorkFlow 的方式，每日定时跑批将数据备份到 Hive 中，方便后续的数据查询治理。

全景业务展示系统很好的解决了核心业务指标及客户行为的实时洞察与分析，将数据时效性提高到秒级，并提供了数十种数据展现形式，实现了数据多维展示及趋势分析，为宏观决策和快速业务响应提供了良好的支撑。客户画像、关联账户分析、舆情分析、文本检索。

其他功能建设
此次大数据平台的建立，还包括搭建了爬虫管理平台、自然语言处理功能、数据挖掘作业及演示，以及提供包括 CRM 在内的多个应用的标签数据服务。

项目成效
明略数据为客户建立大数据平台，整个企业的 IT 规划丰富了既有数据平台的多样性与可扩展性。满足了目前数据时代下，对于日益丰富的数据种类，快速增长的数据数量的数据平台需求，并且大数据平台提供了面对海量数据的挖掘建模功能，为公司的金融创新提供了数据和技术保障。大数据平台中存储了各个业务系统的核心数据，并形成了信息统一，丰富的历史数据存储为企业保存了无形数据资产。先进的平台架构、可线性拓展硬件资源使大数据平台能够成为一个高效的运算平台，为企业创造更多的价值。

精准营销
通过数百个维度对客户进行全方位洞察。实时对日志数据进行采集、分析和标签化。可以对千万级客户进行秒级识别、需求感知乃至预判，同时采用场景化智能引擎，精准投放资讯、产品和服务，瞬时达成对客户的有效响应，大幅提升服务的覆盖面及专业化程度;

风险识别
对全量客户进行关联关系挖掘并建立知识图谱，可以有效的对关联性风险进行识别，对风险的传导进行判断;

数据服务
提升了数据海量存储技术水平，通过明确“统一存储、统一使用”的理念，不断丰富企业级的逻辑数据模型，实现跨业务条线的数据集中采集、分析和应用，从而可支持海量数据处理、复杂的信息检索以及在线历史查询，支持公司决策分析能力持续提升。

原文链接
作者：cloudera