用户组:游客
使用zeppelin查询mysql数据,不管是字符串类型还是整型,长一点的数据末尾两位被四舍五入了。比如.....55832 成了 ...55800 可 ...
类似下边两级队列: root --pro ----on ----off 目标: 在提交任务是必须指定队列名称 不允许创建新的队列 我采用如下 ...
用java8 写spark程序, 在最后一步,为何报错需要序列化 List list = Arrays.asList(1,2,3,4,5); JavaRDD rd ...
最近在centOS6.8上搭建的Hadoop2.6.0cdh5.5.0版本,搭建好之后集群状态正常,使用put命令上传文件的时候报错,报错内容如下图 ...
Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1131094675-127.0.0.1-1535960494583:blk_1 ...
1. 编写Morphline配置文件,将解析为: (比如grep:amd64 3.1-2对应grep名字,amd64平台 4.8.4版本)。解析后的数据以带有Schem ...
各位表哥好:装CDH的时候出现这个问题,这个问题困惑了我两天了,网上的方法都试了一遍还是没解决。论坛发帖实属无奈了。 ...
怎么把hadoop 里面wordcount 这个工程用source insight 查看
时至今日,Hadoop已成为最流行的离线数据处理平台,然而它的集群配置起来并不简单。如果你学习Hadoop不久,相信下面这45个问题 ...
1、zookeeper一个分布式的应用程序协调服务,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具,让Hadoop ...
想实现row_number()功能 ,如 data01,data02字段 a,7 a,2 a,3 b,2 b,3 c,9 实现按ID分组加1 a1,7 a2,2 a3,3 b1,2 b2 ...
各位好,开始没有往HDFS上传文件,上传40000个小文件后,那么这些小文件占用的内存是怎么测出来呢?
机器16core(32 超线程) 64G yarn.nodemanager.resource.cpu-vcores=32 mapreduce.reduce.cpu.vcores=1 mapreduce.reduce ...
本帖最后由 指尖十段丶LePeW 于 2018-6-23 00:32 编辑 提:zabbix3.0对OS的要求:mysql5.0以上版本、apache1.3以上版本、php5. ...
我最近有个实现,rdd存的是一个多边形的边界,通过WKT来进行判断这个边界是否与另外一个多边形边界数组存在相交的状态,然后在集群 ...
地址:https://github.com/databps/chiwen 各位表哥,我按照上面的说明已经都编译好了。如下: jar包也已经按照上面说的两个 ...
jps看进程ResourceManager也有 但就是进不了MR管理界面。。。不知道是什么问题。。。求助大神
Stream-dataset joins这在种操作在前面解释DStream.transform操作时已经进行了展示。下面的例子是另一个join窗口流与数据集的例 ...
[mw_shl_code=java,true]import java.util.ArrayList; import java.util.List; public class Torment { public stati ...
hdfs get 或者put的时候是blocks的读写并行还是串行的?写得时候文件是切分成几个block文件还是通过index来方式,读的时候文件 ...
之前用过hbase,当时因为没有设计好表,后来数据量上来了之后,花费了很大时间才把表重新分区了。 当时的rowkey设计是:uid+date ...
看到今日头条的广告投放平台,可以选择各种维度的用户定向条件,并根据不同的条件组合实时给出预估覆盖用户量,感觉把各种维度组 ...
Namenode启动没有报错,但在master上jps后没有除了jps进程其他啥都没有,而两个datanode节点启动完好,为啥?
苦逼的数据工作,在里面沉陷, 试着做了一个小小的雏形工具: 1、导入杂乱信息的文档 2、把线头理出来 3、批量提取: ...
如题: hbase-hduser-master-slave2.log显示内容如下: 2018年 03月 22日 星期四 18:06:02 CST Stopping hbase (via master) ...
/yarn/local/usercache/hdfs/appcache/application_1516695361311_276643/下的历史文件不会删除,有人遇到吗
简单说一下情况,由于impa查询hbase效率低,准备把hbase里的数据拷贝到impala里,数据量应该在几十亿到上百亿,机器配置是13个节 ...
HBase数据入库缓慢,一个包原来的入库时间是700-800ms之间, 现在有的一个包能达到一分钟左右,一个包大小为20M左右
spark 的spark struct streaming从kafka中读取数据,但是只发现了spark-sql-kafka-0-10_2.11这个依赖包。没找到对kafka0.8支持的 ...
大神们,这个问题需要请教一下 “造成主机名被临时修改的原因有哪些?有没有规避方法?” 跪求!!!!!!
本版积分规则 发表帖子
查看 »