日志
- 分享
hadoop序列化（四）-----序列化框架
-
2016-1-21 14:41
-
框架简介 MapReduce仅仅可以支持Writable做key，value吗？答案是否定的。事实上，一切类型都是支持的，只需满足一个小小的条件：每个类型是以二进制流的形式传输。 为此Hadoop提供了一个序列化框架来支持，他们在org.apache.hadoop.io.serializer包中，Writable可以作为MapReduce支持的类型也是因为实现了这个框架，类不 ...
-
个人分类: HDFS|1791 次阅读|0 个评论
- 分享
hadoop序列化（三）-----自定义Writable
-
2016-1-21 14:36
-
自定义Writable hadoop 虽然已经实现了一些非常有用的Writable，而且你可以使用他们的组合做很多事情，但是如果你想构造一些更加复杂的结果，你可以自定义 Writable来达到你的目的,我们以注释的方式对自定义Writable进行讲解（不许说我只帖代码占篇幅哦，姿势写在注释里了）： view plain copy ...
-
个人分类: HDFS|1782 次阅读|0 个评论
热度 1
- 分享
hadoop序列化（2）----序列化与Writable实现
-
2016-1-21 13:50
-
简介 在hadoop中，Writable的实现类是个庞大的家族，我们在这里简单的介绍一下常用来做序列化的一部分。 java原生类型 除char类型以外，所有的原生类型都有对应的Writable类，并且通过get和set方法可以他们的值。 IntWritable和LongWritable还有对应的变长VIntWritable和VLongWritable类。 固定 ...
-
个人分类: HDFS|1556 次阅读|0 个评论
- 分享
hadoop序列化（一）-----序列化与Writable接口
-
2016-1-21 09:54
-
简介 序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。 通讯格式需求 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点： 1.压缩，可以起 ...
-
个人分类: HDFS|2049 次阅读|0 个评论
- 分享
HDFS数据完整性
-
2016-1-19 23:55
-
HDFS数据完整性 数据完整性常见技术 为了保证数据的完整性，一般采用数据校验技术： 1） 奇偶校验技术 2） MD5，sha1等校验技术 3） CRC-32循环冗余校验技术 4） ECC内存纠错校验技术 数据完整性 1） HDFS以透明方式校验所有写入的数据， ...
-
个人分类: HDFS|2033 次阅读|0 个评论
- 分享
Java 反射机制
-
2016-1-19 22:36
-
基本概念 在Java 运行时 环境中，对于任意一个类，能否知道这个类有哪些属性和方法？对于任意一个对象，能否调用它的任意一个方法？ 答案是 肯定 的。 这种动态获取类的信息以及动态调用对象的方法的功能来自于Java语言的 反射（Reflection）机制 。 Java反射机制主 ...
-
个人分类: java|1585 次阅读|0 个评论
- 分享
HDFS的压缩与解压缩
-
2016-1-19 22:21
-
HDFS 压缩 与解 压缩 1.为什么进行文件 压缩 ？ 2.hadoop支持哪几种 压缩 格式？ 3.快速 压缩 该如何表示？ 4.bzip2 压缩 与gzip 压缩 各有什么优点和缺点？ 5.该如何提高 压缩 效率？ 文件 压缩 主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要， ...
-
个人分类: HDFS|6035 次阅读|0 个评论
- 分享
辅助类GenericOptionsParser，Tool和ToolRunner
-
2016-1-11 23:48
-
为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令 行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现 Tool接口，通过ToolRunner来运行应用程序，ToolRunner内部调用GenericOptionsParser ...
-
个人分类: MapReduce|828 次阅读|0 个评论
- 分享
System.exit(0)和System.exit(1)区别
-
2016-1-11 23:35
-
1.参考文献 http://hi.baidu.com/accpzhangbo/blog/item/52aeffc683ee6ec238db4965.html 2.解析 查看java.lang.System的源代码，我们可以找到System.exit(status)这个方法的说明，代码如下： view plain copy /** *Terminatesthecurrently ...
-
个人分类: java|790 次阅读|0 个评论
- 分享
HDFS 实际应用场景之文件合并
-
2016-1-9 15:49
-
场景 合并小文件，存放到 HDFS 上。例如，当需要分析来自服务器的 Apache 日志时，各个日志文件可能比较小，然而 Hadoop 更适合处理大文件，效率会更高，此时就需要合并分散的文件。 如果先将所有的文件合并，再复制上传到 HDFS 上的话，需要占用本地计算机的大量磁盘空间 。采用 在向 HDF ...
-
个人分类: HDFS|1520 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
