用户组:游客
问题导读 1.Hadoop3.3支持JDK哪个版本? 2.SCM是什么? 3.YARN应用程序做了哪些改进? 4.整合腾讯云实现了什么文件系统? ...
请教各位高手:对于hadoop的HDFS文件系统,是不是可以通过socket容器(如tomcat)中的web程序(运用java api接口)进行访问吗? ...
我想实现web对hdfs的操作,包括上传文件和修改删除等,请问该用什么方法吗? 还有在哪可以找到相关的资料吗?谢谢
代码是执行追加操作,往hdfs上已有的文件追加新数据,但是一直报错 Path hdfs_path = new Path(host + path + ...
得到filesystem的实例 有两个静态方法可以得到filesystem接口的实例 public static FileSystem get(Configuration conf) t ...
目前,使用Hadoop做多的应用是数据分析,如:Web日志分析等,这些源数据通常都是文本格式,占用磁盘空间大和网络带宽高。而且,H ...
100T导入到hadoop上,需要进行运算。考虑到文件备份策略,中间数据的产生,需要多少台机器,机器配置如何呢。
用c++读取hdfs中的文件,使用libhdfs应该怎么配置吗? 之前用过c++调用java读取hdfs中的文件,但是c++不能读取java工程导 ...
请教下 如果客户端不装有Hadoop的话 怎么实现向集群中的HDFS系统上传下载呢吗? 这个客户端该怎么实现呢吗? 很急啊~~~麻烦 ...
测试环境:1个namenode+2个datanode,百兆网络(上限12M左右) 测试文件 1520张照片(每张不到1M,共1.01G) 在相同时间段内测 ...
本帖最后由 fiberlijun 于 2009-11-19 17:12 编辑 主从结构 HDFS是一个 master/slave的架构。HDFS只有一个NameNode,即mast ...
当HADOOP集群是HA配置的情况下,怎么实现文件远程上传HDFS
最近有幸参与了个项目,可以说对目前的需求来说使用hadoop不是必须的,使用hadoop也没太多经验, 也是为了技术而技术吧,先研究 ...
我想用hdfs实现文件的存储,用户可以上传或下载图片、音乐、视频等。 是不是单个文件小于64M简单些吗?大于64M会困难很多吗吗? ...
这两天部署了Hadoop-0.21.0,因为此版本新增了Backup node及Checkpoint node功能,所以想测试一下。部署完成后,从Web页面(http ...
hadoop 2.2.0 通过java api 操作hdfs 报错,求大神指导 安装好hadoop 2.2.0后,通过java api 操作hdfs 报错了,详细信息如下 ...
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File Sy ...
请问下 hadoop中搭建好dfs后是不是 存储容量就是几台机器的总和 我怎么查看呢 hadoop dfsadmin -report?
如题
我的HDFS 已经在虚拟机上运行成功了 一个 namenode 2个 datanode DN1和DN2 但是我现在想继续添加一个datanode DN3 结果 只有 ...
我目前的情况是:已经成功搭建了Hadoop运行环境(CentOS 5.5+hadoop-0.20.2+JDK1.6),一共4台测试服务器,1台用作Namenode节点 ...
我在Ubnutu上创建了多个用户,当我用非hadoop的用户并运行集群 出现 ERROR org.apache.hadoop.security.UserGroupInformati ...
DFS Used 这个是如何计算的吗?是不是 假如有 100个blocks 每一个 为 64M 那么 就为 100*64 = 6400 M 吗?吗? 通过 bin/hado ...
网上搜了一下说本地要配置hadoop_home变量指向hadoop安装路径,但是我本地没装啊,我的hadoop是在linux服务器上,这怎么改? ...
因为我们是做IDC,想给中小型客户提供存储和灾备服务,所以上个礼拜应领导的要求,研究一下hadoop。根据网上的一些文档,我已经 ...
dfs.data.dir /home/u/hdfs/data 各位老师请教一下,各个数据结点必须要有统一的硬件及目录文件系统吗吗?我datanode1有3块 ...
各位好,我的hadoop是0.20.1,现在想使用 lzo压缩,目前在编译hadoop-gpl-compression的时候出错,错误信息如下: [ol][*][root ...
如题,在Hadoop 中hdfs上传的文件大于默认的64MB时是如何分块的,比如说是100MB的文件是分成64MB和36MB?还是分成2块加起来是100M ...
cdh5.2.0的rpm安装的集群,使用kerberos认证,格式化namenode后正常起来了,但是启动datanode的时候报错. *********************** ...
请问一下,最近在跑m/r时 经常会抛出 一些block missing ,导致job failed的情况。 请问下 是block真正从HDFS中丢失了么吗?还 ...
请教各位兄弟,最近搭建hadoop-2.6.0之后,在Window8系统中,将hadoop-eclipse-plugin-2.6.0放在eclipse\plugins\目录 ...
本版积分规则 发表帖子
查看 »