用户组:游客
大数据开发中要用到很多软件,现在只会用hadoop、spark,看了一下相关的还有hive、hbase、impala、pig、redis、sqoop、flume ...
whx@whx-desktop:/usr/local/hadoop_tmp/hdfs$ ls -l 总用量 8 drwxrwxrwx 2 root root 4096 10月 17 19:56 datanode drwxrwx ...
现象描述: 已经上线了2年的系统,因不知道什么原因,一台datanode连不上了,但在web页面能看见,最要命的是应用还不断去连接本 ...
如题求教,baidu,google 了很多,相应的资料几乎没有。无从下手,有哪位有过类似升级的经验或者文档、网页么?
各位老铁我启动Hadoop的时候怎么活节点都为0,这是什么情况 格式化了多次,知道的大佬跟我说一下谢谢,我只是启 ...
搭建了三个节点的集群: node000: NameNode,DataNode node001:SecondaryNameNode,DataNode node002:DataNode 在node000上执 ...
新增节点是从之前的datanode01上拷贝过来的,hadoop环境一模一样,所有的节点hosts文件都已经配置完毕,NameNode的Slaves也添加 ...
已经看过 好几个 hadoop的技术了, 心里也知道的差不多了 就是想知道 有没有完整的项目 技术流程。 想看一看, 目前心里 还 ...
在Hadoop Yarn上面运行了一个application,我现在想把他杀掉,用什么命令: hadoop job -kill id 这个命令是杀作业的,不能杀掉 ...
hadoop 性能调优,减少map端的spill, 增大io.sort.mb,但是我怎么知道到底有没有减少spill的次数,在哪里查看呢?
yarn.nodemanager.resource.memory-mb是设置内个节点yarn可以占用的内存 yarn.scheduler.maximum-allocation-mb是单个任务最多 ...
运行worldcount 程序一直报错。说输出目录已经存在!一开始的路径是/test/output 报错/test/output already exists,我删除了out ...
软件环境 centos6.4 ganglia-3.6.0 ganglia-web-3.5.10 nginx-1.6.0 pcre-8.33 php-5.5.14 rrdtool-1.4.7 nginx配置: ...
各位同学好, 公司有个小规模的hadoop 集群 版本是 1.0 所运行的组件 有 hive hue pig sqoop hbase azkaban 暂时 ...
启用kerberos 并重启服务后的图片如下 在hadoop-cmf-hdfs-DATANODE-adh1.log.out 中发现如下一段日志: [mw_shl_code=shell, ...
问题导读: 1.怎样配置Tachyon和Hadoop?2.怎样在在本地模式的Tachyon上运行Hadoop wordcount?3.怎样在分布式模式的Tachyon ...
大家好: 不知道大家注意到没有,在hadoop cluster上提交的作业的开始和结束的时间格式都是UTC格式,我想把UTC格式改 ...
两个namenode,用命令查看都是standby状态,如下: [hadoop@yun01-nn-01 ~]$ hdfs haadmin -getServiceState nn1 standby [ha ...
需求: 我想让8核心的集群节点在执行yarn分配的任务时,只使用其中的6个核心。 根据hadoop官方文档, 我目前把 yarn.nod ...
Unresolveable build extension: Plugin org.apache.felix:maven-bundle-plugin:2.5.0 or one of its dependencies could not b ...
各位大神,如果用yarn的话,jobtracke有就没有了,yarn把jobtracker分解成 resource management 和 job scheduling/monitoring。 ...
hadoop1中写的mapreduce程序能不能在hadoop2中跑起来?
如何找到hadoop2.x的api文档,是否在源码包里,该如何找到。
hadoop2 里面 磁盘预留空间 配置参数 是什么该如何配置 问题来源:about云群
有人知道win7下运行mr报错:Exception in thread "main" org.apache.hadoop.util.Shell$ExitCodeException: 是什么原因么
本地的hadoop环境为 伪分布式 hadoop 2.5.1 然后,在eclipse里面想测试hdfs java api,环境为maven 如是,就引入了hadoop ...
hadoop2.x如何添加删除节点
菜鸟请教:Hadoop-eclipse-plugin无需密码即可可直接浏览HDFS,是否有设置可限制访问?谢谢!
rt,一个在yarn上已经跑完的mapreduce程序,显示已经跑成功,但是我点进yarn的8088界面里面,为什么看不见这个程序的详细的信息 ...
本版积分规则 发表帖子
查看 »