搜索
搜 索
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
›
日志
发布
日志
上传
相册
添加
分享
记录
日志
好友的日志
我的日志
随便看看
发表新日志
分享
Hadoop HDFS RPM包安装方案
qcbb001
2016-9-11 21:57
5.2.Hadoop HDFS RPM包安装方案 你是不是感觉Hadoop安装太复杂呢? 下面是无障碍,无门槛安装方案,非常适合不懂Java得系统管理。 HDFS: NameNode:管理节点 DataNode:数据节点 &n ...
611 次阅读
|
0
个评论
分享
mapreduce是线程还是进程
qcbb001
2016-8-15 18:58
hadoop一个节点默认起两个map slot,请问这两个slot是多线程吗? hadoop-0.21.0 源码中是这样的: 首先看看 org.apache.hadoop.mapred.TaskTracker 类: 两个类变量 maxMapSlots 和 maxReduceSlots: maxMapSlots = conf.getInt(TT_MAP_SLOTS, 2); maxReduceSlots = conf.getInt(TT_REDUCE_SLOTS, 2) ...
1993 次阅读
|
1
个评论
热度
1
分享
Impala首个发布版为Spring提供动态模块
qcbb001
2016-8-15 15:42
Impala使得开发者可以将基于Spring MVC的web应用划分成一组形成继承体系的模块,它采用Java 1.5运行时,其许可协议基于Apache V2。使用该框架的每个应用都包含一个根模块,还可以包含一个或多个子模块。根模块的主要作用是定义一套接口beans并为应用中使用的Java接口和共享/领域类提供home接口,而子模块主要关注领域。该 ...
938 次阅读
|
0
个评论
分享
hive参数调优汇总
qcbb001
2016-7-5 12:38
1.设置合理solt数 mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数,默认值2。 mapred.tasktracker.reduce.tasks.maximum 每个tasktracker可同时运行的最大reduce task数,默认值1。 2.配置磁盘块 mapred.local.dir map task中间结果写本地磁盘路径,默 ...
2991 次阅读
|
0
个评论
热度
1
分享
Hadoop:Sentry概念及架构分析
qcbb001
2016-6-28 15:28
什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 S entry 下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户 ...
2740 次阅读
|
1
个评论
热度
1
分享
Spark调优
qcbb001
2016-6-8 11:19
【Spark集群并行度】 在Spark集群环境下,只有足够高的并行度才能使系统资源得到充分的利用,可以通过修改spark-env.sh来调整Executor的数量和使用资源,Standalone和YARN方式资源的调度管理是不同的。 在Standalone模式下: 1. 每个节点使用的最大内存数:SPARK_WORKER_INSTANCES*SPARK_WORKER_MEMORY; 2. 每个节点 ...
1409 次阅读
|
1
个评论
热度
1
1
2
/ 2 页
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈