日志
- 分享
如何在Hadoop上支持PL/SQL
-
2017-12-29 18:13
-
介绍一个基于Apache协议开源的工具—— HPL/SQL ，已经在Hive 2.0中被引入，为Hive、SparkSQL等SQL-on-Hadoop产品、NoSQL和RDBMS提供了过程式SQL语言支持。 HPL/SQL语言兼容80%以上的Oracle PL/SQL语法，并很大程度上与ANSI/ISO SQL/PSM（如IBM DB2，MySQL和Teradata等），Teradata的BTEQ，PostgreSQL的PL/ pgSQL（来自Ne ...
-
1725 次阅读|0 个评论
- 分享
网站聚类kmeans的mapreduce实现
-
2017-8-20 11:24
-
由于前段时间期末考和放假，这篇文章推后了很多才出来。这是一个课程设计，主要是应用mapreduce对大规模的中文网站使用kmeans进行聚类，最后将相关的网站标记为同一类输出。 输入的每一行是网站的全局编号，对应有该网站的所有内容，包括未经处理的html等格式标记，输出为网 ...
-
1555 次阅读|0 个评论
- 分享
csv导入HBase
-
2017-7-25 08:57
-
0 前置 example.csv文件 echo '999999941017403,1471848231000,120.6817399807754,27.95172926917687,0,0' example.csv 问题 用hadoop jar /opt/apps/hbase-1.1.1/lib/hbase-server-1.1.1.jar importtsv -Dimporttsv.separator=, -Dimporttsv.columns="HBASE_ROW_KEY,cf1:f1,cf1:c2,cf2: ...
-
1378 次阅读|0 个评论
- 分享
HBase-1.0.1.1 编写Coprocessor
-
2017-4-24 17:05
-
这几天为了满足业务需求，自己写了个Coprocessor，这里写一篇博客记录一下。 使用Coprocessor的目的是这样的，假如你的业务使你不得不进行全表查询，如果使用传统的Scan的话，那么全表查询将会给集群带来高的带宽压力，而且可能Client端也负载不了海量数据的计算。HBase提供了AggregateImplementation，可以进行简单的 ...
-
1044 次阅读|0 个评论
- 分享
Flume1.6版本的Spooling Directory Source支持Sub-directories【子目录】
-
2017-3-24 14:31
-
现实需求 Spooling Directory Source支持的feature官方介绍： https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source 使用基本的Spooling Directory Source配置如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 ...
-
2231 次阅读|0 个评论
- 分享
ClouderaManager 时区调整
-
2017-3-4 17:43
-
ClouderaManager 有时候会出现美国时间（ EST ），本地北京时间（ CST ） 解决办法 在/usr/share/cmf/bin/cmf-server 里面加个JVM启动参数 来自： ClouderaManager 时区问题 http://www.aboutyun.com/forum.php?mod=viewthreadtid=21150
-
1757 次阅读|0 个评论
- 分享
OpenStack Ceilometer 监控项扩展【以switch扩展为例】
-
2017-1-10 16:31
-
以(havana)为基础，其它版本有所改变，但是知识是差不多的 part one：理解 part two：实战 One： 0 . namespace entry point,这个在源代码里面setup.cfg里面会详细体现，Ceilometer中数据的采集以及数据的处理等任务都可以从这些entry point list清晰看出，这也充分体现Ceilometer架构的灵活性。 1 . ...
-
1011 次阅读|0 个评论
- 分享
Hadoop2.2.0已经遗弃的属性名称及新的属性名称对比表
-
2017-1-3 17:01
-
Hadoop 自升级到2.x版本之后，有很多属性的名称已经被遗弃了，虽然这些被遗弃的属性名称目前还可以用，但是这里还是建议用新的属性名，主要遗弃的属性名称主要见下面表格： 已经被遗弃属性的名称 新的属性名称 create.empty.dir.if.nonexist mapreduce.jobcontrol.createdir.ifnotexist dfs.access.time.p ...
-
969 次阅读|0 个评论
- 分享
Hadoop2学习之Writable及其实现
-
2016-12-28 14:15
-
Hadoop-2.4.1 Hadoop 基于DataInput和DataOutput实现了简单、高效的序列化协议，而Writable接口定义了Hadoop序列化的方法，MapReduce框架中的任何键值类型都实现了该接口，比如IntWritable、LongWritable等，详细的类关系见下图： 通过上图可以发现，MapReduce中常用的 ...
-
953 次阅读|0 个评论
- 分享
不能将pig关系存到Hbase中问题原因
-
2016-12-22 15:58
-
我试着将pig关系存到HBase中。 store result INTO 'hbase://hourlyAggregation' using org.apache.pig.backend.hadoop.hbase.HBaseStorage('countDetails:ansCount countDetails:divCount countDetails:unansCount countDetails:engCount'); 它在本地运行良好。当我试着在映射规约模式中运行pig时，该任务失败了，但是 ...
-
1228 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
