用户组:游客
cdh5.2.0的rpm安装的集群,使用kerberos认证,格式化namenode后正常起来了,但是启动datanode的时候报错. *********************** ...
接触Hadoop的时候是2.x开始的,虽然现在2.x可以做Hadoop HA,但以前Hadoop 1.x中没有HA这样的机制 是如何保证NN挂机,集群还可 ...
开始我的Hadoop集群中什么文件都没放,后面上传了1000文件,如何查看上传前后namenode消耗的内存!然后看了一篇文章《An Improve ...
你用rpm安装cdh5.2的hadoop集群 并用kerberos做了安全认证,namenode进程起来的时候 提示kerberos认证成功。但是一天之后(24小 ...
我目前的情况是:已经成功搭建了Hadoop运行环境(CentOS 5.5+hadoop-0.20.2+JDK1.6),一共4台测试服务器,1台用作Namenode节点 ...
ant编译hadoop-1.0.0,报错 刚开始接触hdoop,碰到的问题真不少。 1、环境:苹果mac上跑的虚拟机,虚拟机安装win7,win7上跑 ...
各位好,我的hadoop是0.20.1,现在想使用 lzo压缩,目前在编译hadoop-gpl-compression的时候出错,错误信息如下: [ol][*][root ...
下面是我搭建集群时写的步骤,参考了网上的一些信息,修改了一些地方,按照我写的方法现在我搭建的集群是1台Namenode和3台Datano ...
在搭建Hadoop环境时,jps只有2344 Jps,32744 JobHistoryServer两个进程 hdfs dfsadmin -report查看 17/03/31 23:26:21 W ...
如题
之前写了一个船舶视频在线处理的网站,内容主要是对船舶视频进行跟踪、检测。采用的c/s架构,算法程序是用matlab、c写的,我用ja ...
问题1:据网上资料说,mapreduce日志分为作业运行日志(又称历史作业日志)和任务运行日志 (Container 日志),这里我们知道,作 ...
请问一下,最近在跑m/r时 经常会抛出 一些block missing ,导致job failed的情况。 请问下 是block真正从HDFS中丢失了么吗?还 ...
各位好! 我有现成的CDH5.5.2环境,但是当时配的时候就1个namenode,现在想配置 HA ,请指教或者发个文档链接给我也行 谢谢 ...
刚刚开始看HDFS,对客户端访问HDFS做了一个简单的并发测试,对测试结果比较疑惑,请各位帮忙看看; 测试环境描述:HDFS由一个 ...
你好,请问我如下的理解对么:我的集群3个节点,一个namenode,两个datanode。我在HDFS里面创建了一个80MB的文本文件,在namenod ...
dfs.data.dir /home/u/hdfs/data 各位老师请教一下,各个数据结点必须要有统一的硬件及目录文件系统吗吗?我datanode1有3块 ...
问题起源是这样的: 我在VM上装了3个CentOS7(64位)虚拟机,我用的是Host-Only方式,自己设置的IP,各虚拟机可以互通,亦可以 ...
请问下 hadoop中搭建好dfs后是不是 存储容量就是几台机器的总和 我怎么查看呢 hadoop dfsadmin -report?
我在Centos上使用Cloudera Manager 安装的CDH中的各种组件(Hive、HDFS……),然后在执行: hadoop fs -put localfiel /user/xx ...
项目进行到了末尾了,发现有个功能(用户信息更新)没有做,我们使用的都是文件来存储各种信息的,但是hdfs貌似只能在文件末尾ap ...
JAVA 如何上传本地文件到HDFS???? 谁可以提供个例子
[ol][*]Configuration config = new Configuration(); [*] FileSystem hdfs = FileSystem.get(config); [*] LocalFileSystem h ...
环境为cm-5.5.1,用root用户运行jps,只能看到root用户启动的一些进程名字,无法看到其他诸如hdfs,hbase用户的进程,显示都是pr ...
我在书上看有有这样两句命令 : bin/hadoop dfs -put input in bin/hadoop fs -put input in 这两句命令有什么区别啊吗? ...
在linux(2台)部署了分布式hdfs,windows做客户端测试发现2个 1、org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedExcept ...
在写MR程序时,我们都会用到hadoop.fs.FileSystem来实现HDFS文件读写。但是这几天在看HADOOP2.X源码分析,发现Hadoop RPC接口的C ...
想部署一个hadoop集群,有一部分机器在地方A,还有一部分机器在地方B,如何使得能从地方A上传的数据在地方B有至少一份数据副本吗 ...
还在学习HDFS中,碰到下面的状况: 写一个大文件的时候,namenode上的daemon挂了,重启了一下namenode的进程。从namenode的log ...
参考帖子: http://www.aboutyun.com/blog-3779-85.html 安装环境 :redhat enterprise 6.3 用户组/用户名/密码/ip/主机名 a ...
本版积分规则 发表帖子
查看 »