用户组:游客
网上只找到了一篇相关的资源,但是没有他详细的环境说明。注意啊,是CDH CM管理的平台,不是hadoop。网上很多人都是打着hadoop ...
写了个hdfs管理的图形化工具,遇到了一个比较麻烦的问题。工具在连接不存在的hdfs时,会卡死,日志显示有一个线程每隔一段时间就 ...
小白新人,有个问题想请教一下各位老师: 在百度云(或者诸如此类的阿里云、谷歌云之类的云平台上)购买了一台配置不错的云主机 ...
CDH集群中,server正常,另外几个agent也都正常,唯独这个agent节点有问题,总是自动关闭。请问是在哪里看相关日志?或者相关的 ...
大家好,请问,对于一个大数据团队,你们的项目成员如何配置的
hadoopo fs -put file /tmp/上传文件出现某行非常长,后面全部是空白行,为什么呢
现有一堆键值对数据,如何设计一个mapreduce程序来求相邻时间点的差值呢?
第一次用云服务器,一脸懵逼。主要是自己电脑太渣了,学到spark已经运行不动了,想用云主机接着学习下去。 用人用过美团的这个 ...
data=lines.map(lambda line:line.split(",")).map(lambda record: (record[0], record[1]) print data.collect()或者data.save ...
原本CDH是可以正常使用的,基本没报错过。但是前几天装了kerberos server(我是在本地使用yum安装的)。网上的教程几乎都查遍了 ...
怎么在Hadoop里实现多租户,资源,存储等资源相互隔离?
集群中datanode中磁盘存储3台1T,1台2T如何将那台2T的存储充分利用起来,使用什么策略?
【求助】,hadoop-2.2.0 64位安装配置完后namenode启动后自动关闭,登录web控制台访问不了50070,怎么解决。
请问在写mapreduce时,如何将两个文件合并,其中a文件中有字段name ip tel ,b文件中有字段name age address。将两个文件中相同 ...
对大数据有很大的学习兴趣,想知道如何有效的去学习,有没有坛友提供下参考的学习阶段及其知识点、书籍、学习技术等!
我记得咱这里面有一个kafka的监控管理工具,不是kafkamonitor,忘记叫啥了。有人知道不。
现在Kafka监控用的是KafkaOffsetMonitor这个工具包。 请教个问题。我最近也在用storm读取kafka中的数据。也是用的这个jar包监控 ...
突然有需求,在hadoop集群中,需要关闭或者休眠某些datanode节点。正常来说,撤销节点之前datanode会进行备份,数据块传输到其他 ...
使用spark-sql on yarn 跑sql 程序,在hdfs 下生成了大量的.hive-staging文件, spark-sql --master yarn --deploy-mode client ...
每次select * from 来查询的时候,数据都会卡在93%,谁知道为什么啊??
安装完CDH后,启动了所有服务,然后就一直报这个错误,百度google查了很多,在centos7和6.5上都重装了,还是一样错误。请教怎么 ...
sqoop2 版本是 1.99.5, CDH-5.11.1 我创建了2个link 分别是: mysql_link_124: sqoop:000> show link -l 1 1 link(s) to sho ...
system_r:httpd_t:s0 [Sun Jul 16 22:08:47.779985 2017] [suexec:notice] AH01232: suEXEC mechanism enabled (wrapper: /usr ...
原先kafka=>storm实时计算,不太会用,有没有kafka=>实时计算数据库,在时计算数据库计算架构
hbase的“-ROOT-”表(记录了“.META.”表的Region信息)所在的block丢失,请问有办法恢复吗?
问题现象: CM-WEB页面打开失败,http://10.235.106.97:7180/ 初步定为是: 怀疑/etc/cloudera-scm-server 目录被误删,导致 ...
配置kerberos后,在web界面重启服务ok。 但有一个警告:Cloudera recommends at least Level 1 TLS when Kerberos is enabled f ...
1.Yarn中container是根据task的需求动态申请的,还是每个节点有固定的container 2.mapreduce中 reduce task是什么时候执行的。 ...
2017-06-27 16:44:36,763 INFO nodemanager.DefaultContainerExecutor (DefaultContainerExecutor.java:createUserCacheDirs(63 ...
想要搭建一个hadoop平台来对大量的图像进行处理,目的就是提高处理速度,并能对处理后的数据进行进一步的分析。但刚刚接触hadoop ...
本版积分规则 发表帖子
查看 »