用户组:游客
问题导读: 1.ResourceManager HA有几个阶段,目前处于什么阶段? 2.磁盘容错三个参数的作用是什么? 3.Fair Scheduler能用来 ...
本帖最后由 pig2 于 2014-5-13 17:20 编辑 问题导读: 1.HDFS权限加强表现在哪方面? 2.HDFS的状态如何通过web端口访问? 3 ...
问题导读:1、什么是yarn?2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景Yarn是一个分布式的资源管理系统,用以 ...
本帖最后由 pig2 于 2014-5-13 15:35 编辑 问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的htt ...
问题导读: 1.hadoop namenode通过什么方式知道哪些是slaves机器属于哪个rack? 2.机架感知默认是否启动? 3.机架感知对集群优 ...
1.NM主要负责主要负责什么? NM主要负责启动RM分配给AM的container以及代表AM的container,并且会监视container的运行情况。 ...
我们知道YARN,但是YARN经常提及一个概念Container,那么Container是什么,我们进一步来认识它 1.Container是什么? Container ...
ResourceManager服务和事件处理器的本质是什么? 封装成服务的目的是什么? YARN中将两种服务分别为什么?
大部分公司使用hadoop1.x,有的hadoop 0.x,淘宝已经升级hadoop2.x,他们的一些经验可以借鉴: 1.淘宝升级yarn,集群有什么变化 ...
不知道大家平时用什么工具来管理Hadoop
本帖最后由 hyj 于 2014-3-11 21:45 编辑 同样我们可以带着下面问题来阅读: hadoop为什么支持swift? java-cloudfiles是什 ...
阅读本文需要具有hadoop 1.x的基础。 可以带着下面问题来阅读本文: 1.hadoop2中支持几个NameNode? 2.NameNode之间是什么关 ...
这一篇是在YARN的 Resource Manager的作用 基础上详细介绍 阅读本文可以带着下面问题1.ResourceManager为什么把对象封装?分别 ...
这一篇是在YARN的 Resource Manager的作用 基础上详细介绍 阅读本文可以带着下面问题: 1.如果某个作业死掉,该如何杀死一个 ...
本帖最后由 nettman 于 2014-11-16 21:59 编辑 简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在ha ...
考虑到这些节点存储了海量的数据,集群的安全性架构引起了越来越多的关注。HadoopSphere.com公布了一个可以适用于Hadoop集群的安 ...
Hadoop很流行,培训很火爆,可是我们是否静下心来,我们为什么要学习Hadoop,我们使用Hadoop来做什么。我们该什么时候使用它 ...
HDFS存储系统中,引入了文件系统的分块概念(block),块是存储的最小单位,HDFS定义其大小为64MB。与单磁盘文件系统相似,存储 ...
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需 ...
首先介绍一个简单方法: hadoop集群之间有时候需要将数据进行迁移,如将一些保存的过期文档放置在一个小集群中进行保存。 使 ...
当企业转变为数据驱动的机器时,其潜力是巨大的:企业所拥有的数据可能成为获得竞争优势的关键。因此,企业的数据和基础设施的安 ...
一、前提和设计目标 1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因 ...
Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN ...
分布式文件系统的设计需求大概是这么几个:透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的 ...
其实接触过Linux同志,应该了解block是什么,但是不同的环境下block 含义不一样: 1. 硬件上的 block size, 应该是"secto ...
Job Tracker Related严格来说,下面这个配置项,是决定HDFS文件block数量的多少(也就是文件个数),但是它会间接的影响Job Tracke ...
以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们,不足之处,欢迎斧正------------------------------------------------ ...
Components of Hadoop在上一章节我们了解了如何安装及配置Hadoop。我们了解了不同节点的作用以及这些节点是如何工作的,还了解了 ...
HDFS用户指南(HDFS Users Guide) 目录 1 目的..................................................................... ...
Hadoop 究竟能做什么?现在好像大家都在讲 大数据 云计算 hadopp .那么hadoop究竟能做些什么呢? 网上的资料大多是这么写的: 一 ...
本版积分规则 发表帖子
查看 »