搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
技术学习(版主发帖区)
›
大数据学习
›
Hive|数据仓库
›
连载型
›
数据仓库建设方案详细(三)
0
1
3
分享
数据仓库建设方案详细(三)
BGnv5
2020-11-16 18:14:17
发表于
连载型
[显示全部楼层]
只看大图
阅读模式
关闭右栏
1
2387
About云VIP帮助找工作和提升
问题导读:
1、硬件应该如何部署?
2、硬件清单都包含什么?
3、系统架构是如何设计的?
上一篇:
数据仓库建设方案详细(二):数据平台建设
第3章 硬件部署
按照专家系统安装接口规要求,结合专家管理系统数据量估算值和数据存储特点,本着数据安全、系统稳定可靠的核心设计思路,设计专家系统大数据平台数据节点服务器22台,其中管理节点服务器2台,数据节点服务器19台,监控节点一台,系统RDBMS数据库服务器台,应用服务器6台,绘制专家系统部署逻辑结构图如下:
第4章 硬件清单
根据系统规划及安装接口规要求,初步规划服务器如下:系统应用服务器需求6台;大数据平台设计节点22个,其中管理节点2个,数据节点19个,监控节点服务器1台,RDBMS数据库服务器两台双机热备。具体各服务器硬件需求如下表:
说明:硬件部分交换机、防火强及工作站,请根据标书确认!大数据服务器、RDBMS数据库服务器及应用服务器的具体配置参数请硬件朋友和标书上进行重新确认,这边只对存量、CPU颗数及存储空间大小做了要求。
第5章 个人介绍
吴宏勋:“烽火集成”高级大数据架构师,曾担任医疗大数据、公安大数据、财税大数据项目大数据架构师,具有丰富的大数据项目实施经验,对高吞吐、高并发、海量数据实时汇集,TB、PB级海量数据即席查询与实时处理具有针对性方案和经验,研读过部分Hadoop、HBase、Spark源码,对Hadoop、HBase、Spark的原理有很深的理解,曾从事多个项目大数据平台的调优工作!
第6章 专家系统架构设计
本系统总共分为四个层次,从下到上依次为数据采集层、基础平台层、应用支撑层、应用及展示层,各层在专家系统统一业务规、技术规、安全规下进行数据通信及集成。
1. 数据采集层:负责专家系统信息数据的汇集、转换与加载,数据采集层提供多种数据采集方法:ETL、Flume、Kafka等,系统支持Flume+Kafka+Storm混合架构的数据采集模式,以提高数据采集系统的吞吐量和并发量。
2. 基础平台层:基础平台层为专家数据仓库提供大数据基础平台支撑,包括分布式存储系统、Hbase数据库系统、Yarn并行计算资源管理与监控等,同时支持Spark 机器学习算法库,支持R等行业分析库。
3. 应用支撑层:应用支撑层为系统各类应用提供支撑,是系统数据层和应用层的连接纽带。应用支撑层包括基础平台和常规算法两个部分,基础平台负责数据的存储与并行计算,数据存储支持分布式存储、RDBMS存储等存储方式,常规算法负责数据分析与业务建模。
4. 应用及展示层:应用层是系统各项业务功能的集合,主要包括资车辆故障诊断、车辆健康评估、车辆部件检修、车辆故障处理及车辆对比分析等。展示层是用户同系统交互的窗口,是应用层对外提供服务的主要手段。支持多种图表展示如饼图、柱状图、曲线图、热力图、气泡图和散点图等可视化展示。
最新经典文章,欢迎关注公众号
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
叶孤城
发表于 2020-11-24 12:31:28
不错,不错,学习了
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
BGnv5
超级版主
关注
78
主题
155
帖子
23
粉丝
TA的主题
阿里面试宝典(十三):Zookeeper
2020-12-21
数仓实时化改造:Hudi on Flink 在顺丰的实践应用
2020-12-21
阿里面试宝典(十二):工厂模式、控制反转、观察者模式
2020-12-17
Flink1.11 源码 | 自定义 Format 消费 Maxwell CDC 数据
2020-12-17
阿里面试宝典(十一):面向切面编程
2020-12-14
24小时热文
ChatGPT全栈开发实战:从需求分析到数据可
解析深度学习+语音识别实践
工业互联网与数据智能
数字图像处理第4版【英文】
《商业分析实践指南》
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈