图文精华

About云-梭伦科技 › 日志

    blog 日志

    HDFS| java| MapReduce|
    分享 Hadoop2.2.0中HDFS的高可用性实现原理
    xiaohao 2016-1-9 15:21
    在 Hadoop 2.0.0之前，NameNode(NN)在 HDFS 集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。 　　主要在两方面影响了 HDFS 的可用性： 　　（1）、在不可预测的情况下，如果 ...
    个人分类: HDFS|499 次阅读|0 个评论
    分享 HDFS架构（一）
    xiaohao 2016-1-9 14:56
    简介 HadoopDistributedFileSystem(HDFS)是一种运行于商业硬件上的分布式文件系统。它与现在流行的一些分布式文件系统有很多相似的地方。而其与其他系统的区别之处又显得极其重要。HDFS是一个容错性高，为应用于廉价硬件之上而设计。HDFS提供了对应用数据的高吞吐量能力，适合大数据集& ...
    个人分类: HDFS|884 次阅读|0 个评论
    分享 HDFS API操作示例（二）
    xiaohao 2014-10-13 19:22
    7、查看某个HDFS文件是否存在 通过FileSystem.exists(Path f)可查看指定HDFS文件是否存在，其中f为文件的完整路径。具体代码实现如下： package org.hdoop.practice.util; import java.io.IOException; import org.apache.hadoop.conf.Configuration; ...
    个人分类: HDFS|3882 次阅读|0 个评论
    分享 HDFS API操作示例（一）
    xiaohao 2014-10-13 15:30
    Hadoop中关于文件操作的类基本上位于org.apache.hadoop.fs包中，这些API能够支持的操作包括：打开文件、读/写文件，删除文件等。 Hadoop类库中最终面向用户提供的接口类是FileSystem，该类是个抽象类，只能通过该类的get方法得到具体类。get方法存在几个重载版本，下面是get常用的方法。 static FileSystem get(Conf ...
    个人分类: HDFS|1092 次阅读|0 个评论
    分享 HDFS的常用操作--hdfs下的文件操作常用命令总结
    xiaohao 2014-10-12 09:56
    1、创建目录命令 HDFS有一个默认的工作目录/user/$USER，其中$USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它 命令格式：hadoop fs -mkdir 如： 在user目录下创建chen目录 hadoop fs -mkdir /user/chen 注意：Hadoop的mkdir命令会自动创建父目录，类似于带-p的ＵＮＩＸ命令 ２ ...
    个人分类: HDFS|21682 次阅读|0 个评论
    12
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000