先来看一下Block类，它含 有三个成员：blockId，numBytes和generationStamp。下面介绍一下它们分别得含义： 一、numBytes即bloc ...

pig2 2014-1-20 0 13935

　在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果 ...

NEOGX 2014-1-12 6 37531

详细过程参见官方文档，这里只介绍常见的一些问题： 1、首先是版本的选择，一般选择cloudera 的cdh版，注意相互之间的兼容性 ...

hyj 2014-1-11 0 5314

HDFS支持权限控制的设计是基于POSIX模型，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命 ...

lzw 2013-12-29 0 7743

我们使用hadoop，经常会遇到将关系型数据库数据导入HDFS、HIVE、PIG、HBASE，Sqoop可以解决由RDBMS跟Hadoop,Hbase,Hive直接的数 ...

lzw 2013-12-23 0 5764

下面这张图是我最近学习hadoop和hbase后对日志收集系统设计的架构图： 在日志收集器将收集到的日志实时发送到scribe客户 ...

lzw 2013-12-22 0 7810

HDFS也有块（Block）的概念，但它的块是一个很大的单元，默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大 ...

lzw 2013-12-15 0 5945

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers. 在你启动hadoop之前，先确认下你有没有配置这个文 ...

lzw 2013-12-14 0 17999

给大家总结一下hadoop mapreduce工作机制： JobClient 的runJob()方法是用于新建JobClient实例并调用其submitJob() ...

lzw 2013-12-7 0 6113