用户组:游客
我现在装了一个hadoop 2.6.2,也下了一个thrift 0.9.3,想在windows系统读取hadoop文件。
然后我并没没有执行其它命令,过一会儿,我再次执行jps,结果发现 为什么这么奇怪啊,那个namenode进程去哪里了?
我们需要使用分布式文件系统,但是又要像访问文件系统的方式进行使用,因此我找到了hdfs nfs gateway这个组件,但是不知道这个组 ...
怎样将hdfs 上的小文件合并成大文件,能通过配置文件实现吗
问下各位大神啊。。我这边有个JAVA接口,随时随地的在获取数据,现在是直接存在oracle数据库中,如果要直接写入HDFS怎么 ...
在hadoop的压缩中提到了下面两个参数: mapred.output.compress 和 mapred.compress.map.output 这两个配置属性的区别在什么地 ...
在Myeclipse中创建了Web项目,实现HDFS文件的存储。[ol][*]Configuration conf = new Configuration(true); [*]conf.set("fs.de ...
hdfs出现了Datanode Volume Failures怎么处理? hdfs datanode上出现了,某块磁盘出现问题,提示失败卷,该怎么处理?
在Java程序中可以成功使用, FileSystem fs=FileSystem.get(conf); FSDataOutputStream o=fs.get(new Path("hdfs://localhost: ...
HI 大家好 我们线上机器配置都是一批一批的,最早的一批配置很低,现在想做下掉,但上面还有数据,一共4台,先 ...
我在fedora12 三台节点配置成功了,有点疑惑是hadoop的管理页面jsp没有容器是怎么运行的吗?ps -ef | grep tomcat 发现有tomcat ...
datanode中存放的的block副本的校验文件是使用什么校验方法得到的吗?不只是CRC这么简单吧吗?校验block 具体的实现方法的源文件 ...
众所周知,gfs(hdfs)的master,负责名字空间的管理,名字空间包括 文件和chunk信息,文件到chunk的映射,chunk到chunkserver的映射. ...
hdfs支持不支持block重写吗? 当client要更改文件其中一个block的内容时,是直接修改重写此block所在的datanode上的副本还是由n ...
我把Hadoop里默认的FIFO算法想改成公平调度算法,按照步骤改好后,50070这个页面显示nodes都存活了,但50030这个页面部是连接不 ...
发现集群有点慢,我就重新启动了 服务器和集群,就不能启动了。主机中,master服务器找不到。倒是 hdfs namenode也不能启动。麻 ...
本帖最后由 摩西莫西 于 2009-12-18 13:45 编辑 如果 我们想从一个集群中把一个datanode去除掉 例如这个节点叫s110一般情况下 ...
我们看一下创建文件,写文件最后关闭文件的流程。如下图: 1. client通过调用DistributedFileSystem的create方法来创建文 ...
本帖最后由 hadoopor 于 2009-12-4 12:39 编辑 在日志中找到如下: 2009-12-04 11:47:35,562 ERROR org.apache.hadoop.hdfs. ...
请教:如何通过windows的eclipse连接linux上的HDFS吗?
HDFS构建的第一个假设就是存放和处理的是大文件,但是直观的来看google出来的文件应该是小文件,这个大文件怎么理解呢吗?这些大 ...
为什么HDFS的数据特征是一次写多次读,这是什么背景吗?
一台namenode.3台datanode.备份数为2时候.当写入60M数据到datanode-1,datanode-2时候,datenode-3的数据也有10M的增加. 为什么da ...
在qjouanal后设置了6台,现在想加一个或者删掉一个需要重新格式化吗
想把hadoop项目整合到javaweb中把jar导入后,单独运行hadoop程序没有问题,一旦启动整个javaweb项目时,tomcat就起不来,报错如 ...
hdfs如何实现datanode和disk之间数据传输,
hadoop集群中 CPU、内存都还有剩余,各种参数也都调过了,但是发现性能比较差,三台服务器一百亿数据量。 Linux系统中最重要的 ...
以上是我一个namenode和一个datanode的集群的状态图, 我上传了一些数据到HDFS中,datanode01上产生了6个数据块。 我配置好had ...
各位好: 我用的hadoop版本是0.20.2。 我在hdfs.site.xml里面配置了dfs.name.dir和dfs.data.dir这两个配置,它们的值分别是/ho ...
本帖最后由 fiberlijun 于 2009-11-19 17:10 编辑 下图描述了在文件读过程中,client、NameNode和DataNode三者之间是如何互动 ...
本版积分规则 发表帖子
查看 »