分享

只用HDFS不用MapReduce,在生产环境可行吗?

lanyangkj 发表于 2017-3-14 11:01:18 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 12968
如标题,我只想用hadoop的分布式存储功能,不打算用它的计算功能,我甚至连yarn都不启动,大家认为可行性怎么样。应用于海量文件(图片、pdf、word等等,文件个人规划会过亿)存储的生产环境。
有类似用法的大牛一起讨论讨论。

已有(9)人评论

跳转到指定楼层
einhep 发表于 2017-3-14 13:15:13
倒是可行,不过只存储,不应用,有点不合常理。
楼主存储了用来做什么。
回复

使用道具 举报

lanyangkj 发表于 2017-3-14 13:50:07
einhep 发表于 2017-3-14 13:15
倒是可行,不过只存储,不应用,有点不合常理。
楼主存储了用来做什么。

应该说只负责存储吧,返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写,至于读这块,我计划在前端加个squid缓存集群什么的。
hdfs据说秒级响应,有没有什么更快的办法?
回复

使用道具 举报

nextuser 发表于 2017-3-14 15:21:02
lanyangkj 发表于 2017-3-14 13:50
应该说只负责存储吧,返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写,至于读这块,我 ...

应该说只负责存储吧,返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写,至于读这块,我计划在前端加个squid缓存集群什么的。
hdfs据说秒级响应,有没有什么更快的办法?
秒级响应是指哪方面??查询还是读取,还是什么?
如果以后有查询可以使用hbase
如果数据以后数据分析,可以使用hive
如果以后不用,那你可以直接放到hdfs上,无所谓了

回复

使用道具 举报

lanyangkj 发表于 2017-3-14 16:26:09
nextuser 发表于 2017-3-14 15:21
应该说只负责存储吧,返回的存储路径将另外会放置一个数据库表中。基本上就是实时的读写,至于读这块,我 ...

读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用,是一个个非结构化的文件。
说白了就是附件存储,怎么样进去还怎么样出来,单个文件大小数kB到数GB不等。
开始考虑本地磁盘存储,但海量文件会导致文件目录卡死,分布式可能更为合理。
但hdfs是hadoop家族的,高延迟应该是出了名的。
如何能实现毫秒级响应??我目测 单个文件 在命令下模式下的存/取都在2-5秒不等。


回复

使用道具 举报

nextuser 发表于 2017-3-14 16:38:56
lanyangkj 发表于 2017-3-14 16:26
读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用,是一个个非结构化的文件。
说白了就是附 ...


可以看下Sponge,swift也可以
回复

使用道具 举报

lanyangkj 发表于 2017-3-14 16:43:08
nextuser 发表于 2017-3-14 16:38
可以看下Sponge,swift也可以

麻烦解释下这两是什么东东,不成熟的技术,我们一般都不用,而且尽量往高大上靠(如当前spark技术、hadoop技术、人工智能、机器学习等),你懂得!
回复

使用道具 举报

nextuser 发表于 2017-3-14 18:26:57
lanyangkj 发表于 2017-3-14 16:43
麻烦解释下这两是什么东东,不成熟的技术,我们一般都不用,而且尽量往高大上靠(如当前spark技术、hadoo ...

openstack入门之swift基础三:swift能干什么,不能干什么及相关概念
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7107

更多可google下。都是文件系统。如果大数据的话,可以使用hadoop

回复

使用道具 举报

w517424787 发表于 2017-3-15 14:13:50
lanyangkj 发表于 2017-3-14 16:26
读取\写入都有, 不过读取要求毫秒级更多些.此时HDFS只做存储用,是一个个非结构化的文件。
说白了就是附 ...

如果想用hadoop进行文件存储,如果小文件太多的话,namenode是有很大的内存压力的,而且集群Block的数量也会大到报警,感觉不是很好的方案!
回复

使用道具 举报

yongjian3311 发表于 2017-3-15 17:44:14
如果考虑冗余因子,那你的存储量会比之前大几倍;
如果不冗余,存HDFS没意义,还不如直接放硬盘呢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条