日志
- 分享
Hadoop HDFS RPM包安装方案
-
2016-9-11 21:57
-
5.2.Hadoop HDFS RPM包安装方案 你是不是感觉Hadoop安装太复杂呢? 下面是无障碍,无门槛安装方案,非常适合不懂Java得系统管理。 HDFS: NameNode:管理节点 DataNode:数据节点 &n ...
-
611 次阅读|0 个评论
- 分享
mapreduce是线程还是进程
-
2016-8-15 18:58
-
hadoop一个节点默认起两个map slot,请问这两个slot是多线程吗? hadoop-0.21.0 源码中是这样的: 首先看看 org.apache.hadoop.mapred.TaskTracker 类: 两个类变量 maxMapSlots 和 maxReduceSlots: maxMapSlots = conf.getInt(TT_MAP_SLOTS, 2); maxReduceSlots = conf.getInt(TT_REDUCE_SLOTS, 2) ...
-
1993 次阅读|1 个评论
热度 1
- 分享
Impala首个发布版为Spring提供动态模块
-
2016-8-15 15:42
-
Impala使得开发者可以将基于Spring MVC的web应用划分成一组形成继承体系的模块,它采用Java 1.5运行时,其许可协议基于Apache V2。使用该框架的每个应用都包含一个根模块,还可以包含一个或多个子模块。根模块的主要作用是定义一套接口beans并为应用中使用的Java接口和共享/领域类提供home接口,而子模块主要关注领域。该 ...
-
938 次阅读|0 个评论
- 分享
hive参数调优汇总
-
2016-7-5 12:38
-
1.设置合理solt数 mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数,默认值2。 mapred.tasktracker.reduce.tasks.maximum 每个tasktracker可同时运行的最大reduce task数,默认值1。 2.配置磁盘块 mapred.local.dir map task中间结果写本地磁盘路径,默 ...
-
2991 次阅读|0 个评论
热度 1
- 分享
Hadoop:Sentry概念及架构分析
-
2016-6-28 15:28
-
什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 S entry 下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户 ...
-
2740 次阅读|1 个评论
热度 1
- 分享
Spark调优
-
2016-6-8 11:19
-
【Spark集群并行度】 在Spark集群环境下,只有足够高的并行度才能使系统资源得到充分的利用,可以通过修改spark-env.sh来调整Executor的数量和使用资源,Standalone和YARN方式资源的调度管理是不同的。 在Standalone模式下: 1. 每个节点使用的最大内存数:SPARK_WORKER_INSTANCES*SPARK_WORKER_MEMORY; 2. 每个节点 ...
-
1409 次阅读|1 个评论
热度 1
- 新手帮助
- 新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »