日志
- 分享
hive下UDF函数的使用
-
2015-3-6 15:40
-
1、编写函数 package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class LowerCase extends UDF { public Text evaluate(final Text s) { &nb ...
-
1320 次阅读|0 个评论
- 分享
Hadoop简单API的web应用开发
-
2015-1-22 22:01
-
最近写了个web程序来调用hadoop的api，对hadoop自带的管理方式进行了二次开发，加强了可操作性。现在简单的介绍下功能和方法。 hadoop版本为1.xx 文件查看功能 先来个页面截图 这个功能实现主要是利用了Hadoop的FileSystem类得到HDFS文件的对象，并利用此提供的方法对HDFS进行操作。其中文件类型的判断用到 ...
-
485 次阅读|1 个评论
热度 1
- 分享
Hadoop 2.x中fsimage和edits合并源码分析及配置等说明
-
2015-1-5 11:44
-
为了让Standby NN的状态和Active NN保持同步，即元数据保持一致，它们都将会和JournalNodes守护进程通信。当Active NN执行任何有关命名空间的修改，它需要持久化到一半以上的JournalNodes上(通过edits log持久化存储)，而Standby NN负责观察edits log的变化，它能够读取从JNs中读取edits信息，并更新其内部的命名空间。一 ...
-
1208 次阅读|1 个评论
热度 1
- 分享
kafka0.8.1.1彻底删除topic并清空log内容
-
2014-12-31 01:45
-
kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic，以前看过网上一些删除命令不过只是在zookeeper注销信息而已，但是实际的日志内容还是保存在kafka log中，因为个人需要所以慢慢琢磨了方法彻底清除topic（ps:kafka0.8.2好像直接支持直接删除，不过现在还是beta版 ）。 本人机器环境如下： Kafka目录：/u ...
-
16880 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
