用户组:游客
hadoop job -list RsvdMem这个字段表示什么
hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊! 日志如下: 2010-05-19 12:47:44,991 INFO http.HttpServer - Versi ...
怎么在log4j.properties里面获得mapreduce的taskid? 我看配置文件里面有个&{hadoop.tasklog.taskid},那个是mapreduce的taskid ...
各位大虾好: 想请教下,hadoop :http://namenode1:8088/cluster 与 http://namenode1:19888/jobhistory/app 这日志界面 ...
yarn框架下, 使用hadoop streaming,除了在streaming的添加 cmdenv, 还有什么办法可以设置container的环境变量。 最好可以有 ...
问题导读 1.什么是Kerberos Principal? 2.Hadoop守护进程是否使用不同的用户? 3.各个守护进程keytab 文件各有什么 ...
本帖最后由 helianthus 于 2015-12-27 18:48 编辑 问题导读: 1.启动yarn timeline service需要哪些配置? 2.怎么给hadoop集 ...
在 CDH 5.14.2 里,为HDFS 启用了 kerberos 之后,NameNode 和 SNN 都可以正常启动,但是secure DataNode 无法启动成功。日志里 ...
我impala集群使用sql语句搜索特别慢 我用的是CDH5.5.0,如 select domain, sum(domain_request_count) domain_request_cou ...
1.集群下Mapper被实例化的次数是否为切片数? 还是只有一个实例? 2.多个map如何共享一个对象,比如共享一个ArrayList ? ...
根据这篇文章:hadoop2.4 ha(双namenode自动故障转移安装) http://www.aboutyun.com/forum.php?mod=viewthread&tid=8294 依 ...
一直吐如下日志 49: 2.9 GB of 8.5 GB physical memory used; 9.0 GB of 17.8 GB virtual memory used 2016-03-14 00:11:55,46 ...
请教一个问题,spark集群(Hadoop集群应该也是一样)启动的时候,只需在主节点start-all,就会自动将从节点启动,那从节点的安装 ...
各位同学好, 公司有个小规模的hadoop 集群 版本是 1.0 所运行的组件 有 hive hue pig sqoop hbase azkaban 暂时 ...
每次都要自己加8小时,好累~请问应该怎么做?
使用的是apache hadoop搭的环境,没用cdh的, 要安装hue,在网上找了一堆都是需要编译安装的,自己编译安装ok,但将编译好的移 ...
root@henry-virtual-machine:~# hadoop namenode –format 16/07/18 21:06:08 INFO namenode.NameNode: STARTUP_MSG: /****** ...
我安装的是hadoop2.3,map过程特别慢,看8088页面,显示total memery是16G(如下图),我的机器内存是128G,请问map过程慢是因为 ...
新人报道,望各位高手指导!
rt,一个在yarn上已经跑完的mapreduce程序,显示已经跑成功,但是我点进yarn的8088界面里面,为什么看不见这个程序的详细的信息 ...
问题如下, 请大牛哥帮忙解答! Starting secondary namenodes [master] master: starting secondarynamenode, logging to / ...
一直听说yarn 资源管理。 资源管理包括什么呢? 内存,IO口还是什么? 怎么理解yarn的具体作用呢 能结合MR 说说具体怎么使用 ...
连接hdfs成功,eclipse能在DFS Location 下对文件进行上传,删除, 但是在hadoop集群上创建的文件和运行后生成的文件,不能在 ...
环境描述: os:centos7 cloudera manager version:5.5.2 java:1.7.0_80 集群规模:200-300台 问题描述: 集群 ...
TeraInputFormat类中的writePartition方法中,对于取样的实现能不能来个大神讲解下,我啃过之后觉得有的难懂。谢谢!
hadoop version:2.6.0-cdh5.5.2 集群使用cloudermanager 部署的 一共部署了3个集群 只其中一个集群的datanode 报错 ...
最近刚安装了hadoop2.7.3,NameNode是HA,yarn也是HA,,安装顺利,web界面都能正常显示,但在跑程序时遇到如下问题: [mw_shl_ ...
(1)raini@biyuzhe:~$ gedit .bashrc #java export JAVA_HOME=/home/raini/app/jdk1.7.0_79 export JRE_HOME=${JAVA_ ...
一、引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Ya ...
如题:安装大数据的环境一定要关闭防火墙吗?看好多安装文档都需要关闭防火墙,而关闭防火墙之后,会造成服务器不安全, 有没有 ...
本版积分规则 发表帖子
查看 »