用户组:游客
在部署完ganglia的时候,访问界面发现ganglia没有客户端连接上, gomnd配置如下:[mw_shl_code=html,true]lobals { daemoniz ...
各位同学好, 公司有个小规模的hadoop 集群 版本是 1.0 所运行的组件 有 hive hue pig sqoop hbase azkaban 暂时 ...
现在hdfs中有一张从sqlserver导入进来的数据表格,如下图,如何将每个数据之间的逗号去掉,或者换成空格符也行,哪位大神会,帮 ...
请教一个问题,spark集群(Hadoop集群应该也是一样)启动的时候,只需在主节点start-all,就会自动将从节点启动,那从节点的安装 ...
软件环境 centos6.4 ganglia-3.6.0 ganglia-web-3.5.10 nginx-1.6.0 pcre-8.33 php-5.5.14 rrdtool-1.4.7 nginx配置: ...
我的环境是:Hadoop2.5+hive1.2 在hive中创建了一个表,有4个字段,导入了4条数据。 执行查询count(*) 时,特别慢 10分钟后 ...
hive on spark并以yarn-cluster方式部署,用beeline连接hive执行查询以及在HUE上执行hive查询,发现返回结果后yarn的任务状态仍 ...
运行worldcount 程序一直报错。说输出目录已经存在!一开始的路径是/test/output 报错/test/output already exists,我删除了out ...
mr1的结构是jobtracker+tasktracker mr2的结构是yarn(resourcemanager+nodemaneger) 那么在mr2中还有tasktracker这个角色的 ...
hadoop环境是2.7.0的集群环境,使用sqoop 1.4.6执行从mysql向hive的数据导入。 执行过程中报错,如下方的日志信息。但是查询h ...
一直吐如下日志 49: 2.9 GB of 8.5 GB physical memory used; 9.0 GB of 17.8 GB virtual memory used 2016-03-14 00:11:55,46 ...
Hadoop 2.6.3自带示例中的sort,运行 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.3.jar sort -totalOrd ...
yarn.nodemanager.resource.memory-mb是设置内个节点yarn可以占用的内存 yarn.scheduler.maximum-allocation-mb是单个任务最多 ...
类似单词统计,但是单词的长度可能比较长。输入数据比较大的话,排序是非常耗时的,所以能不能取消Shuffle自带的排序功能,因为单 ...
根据这篇文章:hadoop2.4 ha(双namenode自动故障转移安装) http://www.aboutyun.com/forum.php?mod=viewthread&tid=8294 依 ...
在Hadoop Yarn上面运行了一个application,我现在想把他杀掉,用什么命令: hadoop job -kill id 这个命令是杀作业的,不能杀掉 ...
已经看过 好几个 hadoop的技术了, 心里也知道的差不多了 就是想知道 有没有完整的项目 技术流程。 想看一看, 目前心里 还 ...
我用四台台式机配hadoop集群,ssh免密码登录,java,网络,防火墙都没有问题,系统是centos6.5 64位。 hadoop版本是2.6.0,但是 ...
1.集群下Mapper被实例化的次数是否为切片数? 还是只有一个实例? 2.多个map如何共享一个对象,比如共享一个ArrayList ? ...
1.从hdfs上读取文件array.txt构建一个数组array 2.从hdfs上读取文件resource.txt,使用数组array验证某些东西 这2步在普 ...
新增节点是从之前的datanode01上拷贝过来的,hadoop环境一模一样,所有的节点hosts文件都已经配置完毕,NameNode的Slaves也添加 ...
请教个问题,谢谢知道的兄弟指点一下。 我知道了split的数量是如何计算的,也知道container的资源协商是如何进行的,在数据 ...
我impala集群使用sql语句搜索特别慢 我用的是CDH5.5.0,如 select domain, sum(domain_request_count) domain_request_cou ...
本帖最后由 pig2 于 2016-1-19 21:11 编辑 在,,java api中得到一个用户的hdfs的剩余空间,和总空间,怎么办 ########### ...
搭建了三个节点的集群: node000: NameNode,DataNode node001:SecondaryNameNode,DataNode node002:DataNode 在node000上执 ...
如题,集群有时候出现某个nodemanager出现在Lost Nodes,同时在active nodes也有该nodemanager,只是端口号不一致比如在active n ...
本人刚开始是所有产品都从官网下载,自己部署集群,自由组合各产品的版本,这样节点数不是很多时部署起来还行,但是节点多了人工 ...
如题:Hadoop做了HA后,namenode就有多个节点,那么Eclipse如何搭建环境 他与Hadoop没有做HA的时候,有什么不同,有 ...
本帖最后由 helianthus 于 2016-1-3 19:39 编辑 问题导读: 1.如何将应用程序的相关数据发布到timeline server? 2.如何通过 ...
本版积分规则 发表帖子
查看 »