图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

HDFS| java| MapReduce|

分享 hadoop序列化（四）-----序列化框架: xiaohao 2016-1-21 14:41; 框架简介 MapReduce仅仅可以支持Writable做key，value吗？答案是否定的。事实上，一切类型都是支持的，只需满足一个小小的条件：每个类型是以二进制流的形式传输。为此Hadoop提供了一个序列化框架来支持，他们在org.apache.hadoop.io.serializer包中，Writable可以作为MapReduce支持的类型也是因为实现了这个框架，类不 ...; 个人分类: HDFS|1791 次阅读|0 个评论

分享 hadoop序列化（三）-----自定义Writable: xiaohao 2016-1-21 14:36; 自定义Writable hadoop 虽然已经实现了一些非常有用的Writable，而且你可以使用他们的组合做很多事情，但是如果你想构造一些更加复杂的结果，你可以自定义 Writable来达到你的目的,我们以注释的方式对自定义Writable进行讲解（不许说我只帖代码占篇幅哦，姿势写在注释里了）： view plain copy ...; 个人分类: HDFS|1782 次阅读|0 个评论热度 1

分享 hadoop序列化（2）----序列化与Writable实现: xiaohao 2016-1-21 13:50; 简介在hadoop中，Writable的实现类是个庞大的家族，我们在这里简单的介绍一下常用来做序列化的一部分。 java原生类型除char类型以外，所有的原生类型都有对应的Writable类，并且通过get和set方法可以他们的值。 IntWritable和LongWritable还有对应的变长VIntWritable和VLongWritable类。固定 ...; 个人分类: HDFS|1556 次阅读|0 个评论

分享 hadoop序列化（一）-----序列化与Writable接口: xiaohao 2016-1-21 09:54; 简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点： 1.压缩，可以起 ...; 个人分类: HDFS|2049 次阅读|0 个评论

分享 HDFS数据完整性: xiaohao 2016-1-19 23:55; HDFS数据完整性数据完整性常见技术为了保证数据的完整性，一般采用数据校验技术： 1）奇偶校验技术 2） MD5，sha1等校验技术 3） CRC-32循环冗余校验技术 4） ECC内存纠错校验技术数据完整性 1） HDFS以透明方式校验所有写入的数据， ...; 个人分类: HDFS|2033 次阅读|0 个评论

分享 HDFS的压缩与解压缩: xiaohao 2016-1-19 22:21; HDFS 压缩与解压缩 1.为什么进行文件压缩？ 2.hadoop支持哪几种压缩格式？ 3.快速压缩该如何表示？ 4.bzip2 压缩与gzip 压缩各有什么优点和缺点？ 5.该如何提高压缩效率？文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要， ...; 个人分类: HDFS|6035 次阅读|0 个评论

分享 HDFS 实际应用场景之文件合并: xiaohao 2016-1-9 15:49; 场景合并小文件，存放到 HDFS 上。例如，当需要分析来自服务器的 Apache 日志时，各个日志文件可能比较小，然而 Hadoop 更适合处理大文件，效率会更高，此时就需要合并分散的文件。如果先将所有的文件合并，再复制上传到 HDFS 上的话，需要占用本地计算机的大量磁盘空间。采用在向 HDF ...; 个人分类: HDFS|1520 次阅读|0 个评论

分享 HDFS API使用详解: xiaohao 2016-1-9 15:45; u 文件操作 Ø 上传本地文件到HDFS Ø 读取文件 Ø 在hadoopfs中新建文件，并写入 Ø 重命名文件 Ø 删除Hadoopfs上的文件 u 目录操作 Ø 读取某个目录下的所有文件 Ø ...; 个人分类: HDFS|1062 次阅读|0 个评论

分享 Hadoop 1.x中fsimage和edits合并实现: xiaohao 2016-1-9 15:43; 　在《Hadoop文件系统元数据fsimage和编辑日志edits》文章中谈到了fsimage和edits的概念、作用等相关知识，正如前面说到，在NameNode运行期间，HDFS的所有更新操作都是直接写到edits中，久而久之edits文件将会变得很大；虽然这对NameNode运行时候是没有什么影响的，但是我们知道当NameNode重启的时候，NameNode先将fsima ...; 个人分类: HDFS|1022 次阅读|0 个评论

分享 fsimage和edits文件的作用: xiaohao 2016-1-9 15:42; 先来看看关于NameNode元数据相关的目录结构，也就是配置在hdfs-site.xml上的dfs.name.dir项，具体目录为$dfs.name.dir/current。看看目录(hadoop2.2.0版本)：我们发现有些以edites_开头和少量以fsimage开头的文件。fsimage和edites文件都是hadoop文件系统元数据的组成部分。其中f ...; 个人分类: HDFS|834 次阅读|0 个评论

12 / 2 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈