job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); 输出结果，默认是按照key，升序排序 ...

string2020 2013-12-13 6 28489

我安装好了hive之后，一切都正常，我创建了一个数据库，和一个表，然后倒入数据进行sql操作，然后，过一段时间后，我又登陆hive ...

sstutu 2014-4-17 4 30246

前言：离开山东很久了，对山东当前IT行业的发展，已经没有什么了解，当前的了解，除了网上新闻，就是道听途说。 1. 当前山东 ...

心跳 2019-3-17 5 9158

所有信息如下 /home/hadoop/app/jdk1.8.0_11/bin/java -Dmaven.multiModuleProjectDirectory=/tmp/archetype1tmp -Dmaven.home= ...

Lannnncer 2019-7-22 1 3026

用的hadoop-3.1.2，hbase-2.1.4，zookeeper-3.4.14。参照其他人的配置：https://blog.csdn.net/wx2007xing/article/details/8871 ...

mask 2019-6-1 1 5777

比如 用户借款表：字段{状态、逾期天数、利息等字段}， 这些字段每天都会更新，因为一些特别的原因，可能还会删除一些记录。 ...

hookover 2019-4-5 4 9408

执行stop-all.sh时遇到了no namenode to stop问题

1765770246 2019-5-9 1 3372

我是在虚拟机上安装的完全分布式的集群。 3个虚拟机，OS是CentOS 6.6，仅仅安装了Hadoop2.6.4。Hbase、zookeeper等等都没装。 ...

uu_snow 2016-6-11 8 34043

继互联网引起第三次工业革命以后，以大数据驱动的人工智能技术正推动第四次工业革命。下述为杨强教授针对人工智能与大数据的一点 ...

梦蝶数据 2019-4-15 0 2336

现今，数据可视化早已变成了每个行业争相追逐的一个词汇。从在近年时间里，数据采集、存储和数据分析技术迅猛发展，大大降低了数 ...

梦蝶数据 2019-4-12 0 3447

有人做过将交易数据库的数据同步至数据仓库吗？采取什么策略将交易数据库的增量导入至数据仓库中？我用的是时间戳，但是总觉得不 ...

hyj 2013-10-30 3 8461

前言： 在Centos7安装CDH5后，都是运行正常。jps可查询到角色。各节点也都正常。之后重启了一次服务器就出现了很多问题 1.CDH5页 ...

a1047738527 2016-4-22 7 32690

链接: https://pan.baidu.com/s/1geHleKj 密码: j2h8

pig2 2013-11-11 6 31103

流式计算框架的exactly once指的是最终的处理结果是exactly once的，不是说对输入的数据只恰好处理一次。这里以计数为例，我们说 ...

pig2 2019-2-22 1 4228

Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shu ...

lzw 2013-11-30 33 112763

在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：由上面的代码，我们可以了解到，当调用 ...

lzw 2013-11-30 26 84814

目前在学习机器学习，想在spark和storm里面选择一个平台来结合学习。不知道哪个平台更适合机器学习。 求大牛说下：两个平台各自 ...

seraph50 2014-12-5 12 162654

如何将远程oracle的数据导入到hive中有动态分区的表！！！？？？？？？

zzzzyyyyy 2014-1-8 11 53603

hive执行的时候会打印日志，请问Cumulative CPU 256.11 sec，打印的这个是什么意思呢？我百度了一下，没有什么资料，大神们，求 ...

linbingfeng@123 2019-1-9 4 12230

使用zeppelin查询mysql数据，不管是字符串类型还是整型，长一点的数据末尾两位被四舍五入了。比如.....55832 成了 ...55800 可 ...

zhange 2018-11-28 2 3801

类似下边两级队列: root --pro ----on ----off 目标: 在提交任务是必须指定队列名称 不允许创建新的队列 我采用如下 ...

jinwensc 2018-10-15 3 10655

用java8 写spark程序， 在最后一步，为何报错需要序列化 List list = Arrays.asList(1,2,3,4,5); JavaRDD rd ...

jsh0401 2018-10-3 1 6517

最近在centOS6.8上搭建的Hadoop2.6.0cdh5.5.0版本，搭建好之后集群状态正常，使用put命令上传文件的时候报错，报错内容如下图 ...

HXH黄爷 2018-9-13 6 8767

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1131094675-127.0.0.1-1535960494583:blk_1 ...

fengshuangme 2018-9-3 3 5004

1. 编写Morphline配置文件，将解析为: （比如grep:amd64 3.1-2对应grep名字，amd64平台 4.8.4版本）。解析后的数据以带有Schem ...

你微笑时很美呀 2018-8-15 4 6577

各位表哥好：装CDH的时候出现这个问题，这个问题困惑了我两天了，网上的方法都试了一遍还是没解决。论坛发帖实属无奈了。 ...

waxzz 2018-8-14 3 9419

怎么把hadoop 里面wordcount 这个工程用source insight 查看

fengshuangme 2018-8-7 2 5373

时至今日，Hadoop已成为最流行的离线数据处理平台，然而它的集群配置起来并不简单。如果你学习Hadoop不久，相信下面这45个问题 ...

小米皮 2018-8-6 2 6914

1、zookeeper一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop ...

小米皮 2018-7-31 0 5777