立即注册 登录
About云-梭伦科技 返回首页

qcbb001的个人空间 https://www.aboutyun.com/?1399 [收藏] [复制] [分享] [RSS]

日志

分享 Hadoop HDFS RPM包安装方案
2016-9-11 21:57
5.2.Hadoop HDFS RPM包安装方案 你是不是感觉Hadoop安装太复杂呢? 下面是无障碍,无门槛安装方案,非常适合不懂Java得系统管理。 HDFS: NameNode:管理节点 DataNode:数据节点 &n ...
611 次阅读|0 个评论
分享 mapreduce是线程还是进程
2016-8-15 18:58
hadoop一个节点默认起两个map slot,请问这两个slot是多线程吗? hadoop-0.21.0 源码中是这样的: 首先看看 org.apache.hadoop.mapred.TaskTracker 类: 两个类变量 maxMapSlots 和 maxReduceSlots: maxMapSlots = conf.getInt(TT_MAP_SLOTS, 2); maxReduceSlots = conf.getInt(TT_REDUCE_SLOTS, 2) ...
1993 次阅读|1 个评论 热度 1
分享 Impala首个发布版为Spring提供动态模块
2016-8-15 15:42
Impala使得开发者可以将基于Spring MVC的web应用划分成一组形成继承体系的模块,它采用Java 1.5运行时,其许可协议基于Apache V2。使用该框架的每个应用都包含一个根模块,还可以包含一个或多个子模块。根模块的主要作用是定义一套接口beans并为应用中使用的Java接口和共享/领域类提供home接口,而子模块主要关注领域。该 ...
938 次阅读|0 个评论
分享 hive参数调优汇总
2016-7-5 12:38
1.设置合理solt数 mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数,默认值2。 mapred.tasktracker.reduce.tasks.maximum 每个tasktracker可同时运行的最大reduce task数,默认值1。 2.配置磁盘块 mapred.local.dir map task中间结果写本地磁盘路径,默 ...
2991 次阅读|0 个评论 热度 1
分享 Hadoop:Sentry概念及架构分析
2016-6-28 15:28
Hadoop:Sentry概念及架构分析
什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 S entry 下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户 ...
2740 次阅读|1 个评论 热度 1
分享 Spark调优
2016-6-8 11:19
【Spark集群并行度】 在Spark集群环境下,只有足够高的并行度才能使系统资源得到充分的利用,可以通过修改spark-env.sh来调整Executor的数量和使用资源,Standalone和YARN方式资源的调度管理是不同的。 在Standalone模式下: 1. 每个节点使用的最大内存数:SPARK_WORKER_INSTANCES*SPARK_WORKER_MEMORY; 2. 每个节点 ...
1409 次阅读|1 个评论 热度 1
12
关闭

推荐上一条 /2 下一条