用户组:游客
如题,如果有隐藏文件,我该怎么查看? 在看hdfs文件完整性的时候,偶尔看到了关于隐藏文件这个话题。 而且,hdfs的shell命令中 ...
在读datanode源码的时候顺着BlockPoolManager找的一篇文章,来自董的博客。 也顺手放到我博客了,有兴趣的同学可以看看。 http ...
使用过hadoop2+zookeeper+hbase等集群的朋友, 或多或少都会觉得启动全部集群会有些麻烦,特别是zookeeper集群需要启动所有结点 ...
整个pom.xml 文件: 4.0.0 FH test 0.0.1-SNAPSHOT jar test http://maven.apache.org U ...
[root@about01 ~]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root ...
如题,集群有时候出现某个nodemanager出现在Lost Nodes,同时在active nodes也有该nodemanager,只是端口号不一致比如在active n ...
本人想搭建一个大概14台机器左右的,中小公司业务量,每天100G左右的数据,大概需要怎样的配置,CPU多少内存,几核,多少线程等 ...
启动HDFS sbin/start-dfs.sh 出现以下问题: The authenticity of host 'master (192.168.1.101)' can't be established. RS ...
这是我的测试集群。 请问,每个节点中Mem Avail的1G内存就代表NodeManager中的最大内存吗? NodeManager最大内存如果是1G ...
做hadoop2.2的ha的时候,我先启动zookeeper,然后在用start-all.sh启动hadoop集群,结果namenode节点就是启动不了 如果不启动zo ...
最近总是内存不足导致Task OOM,就寻思设置下内存,但是在配置时候有个疑问 我设置了yarn.scheduler.minimum-allocation-mb和 ...
hadoop 2.4 job 运行后 Historyserver 查看历史job的时候发现,同一个job 在处理数据较小的时候 有历史记录,但是处理较大(200G ...
YARN的调度器设置为capacity调度器,设置两个队列a和b,无嵌套的子队列,capacity分别配置为40%和60%,max capacity分别设置为40 ...
看视频中,老师用Notepad++的npp ftp插件链接Hadoop,修改Hadoop配置文件。 但是我连不上虚拟机。 不知道是不是网络模式的问题 ...
solaris部署hadoop集群跑wordcount报错, 信息如下: [admin@4bf635fa-5f3e-4b47-b42d-7558a6f0bbff ~]$ hadoop jar /opt/hado ...
环境:hadoop2.7 hosts文件 127.0.0.1 localhost ::1 localhost6.localdomain6 localhost6 192.168.56.101 node ...
Hi,各位hadoop大牛,我刚接触hadoop。所有的学习都是来源于网络。 昨天安装了hadoop,但是启动的时候hdfs报错。 [mw_shl_code ...
Memory Used 698 GB Memory Total 1.30 TB 为什么 这里内存使用率 上不去? 急 之前能用到1T ,900多G 现在一直在70 ...
碰到一个奇怪的问题 在虚拟机上搭的一个伪分布式 在core-site.xml mapred-site.xml 都使用的localhost 在window上使用hadoop插件 ...
我已经安装好openjdk8,现在进入“vim ~/.bashrc”配置JAVA_HOME 。 系统提示图一,请问如何在文件最前边插入:export JAVA_HOM ...
我在win7环境下,加载hadoop2.2插件,连接linux环境的hadoop服务,测试MapReduce,抛出异常,不知道怎么测试,哪位大牛教我两招。 ...
1.从hdfs上读取文件array.txt构建一个数组array 2.从hdfs上读取文件resource.txt,使用数组array验证某些东西 这2步在普 ...
本人用的是阿里云的服务器,Ubuntu是 16.04.1 (64位),Hadoop版本是1.2.1,JDK是1.8。core-site.xml,mapred-site.xml的配置是l ...
目前集群MapReduce正常,就是从yarn界面点击application,然后报如图的错误。我在网上找了下,说是是resourcemanager那天晚上 ...
我现在想在一台服务器上安装flume,然后把flume收集到的信息存到hadoop集群里(flume和hadoop集群在同一个网段内)能否实现?
使用命令 [mw_shl_code=applescript,true]hdfs dfs -copyFromLocal ./peoplecount.txt /tmp/download/[/mw_shl_code] 结果报错 ...
提交job的输出: [hadoop@plm127 ~]$ hadoop jar hadoop-2.4.1/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4 ...
类似单词统计,但是单词的长度可能比较长。输入数据比较大的话,排序是非常耗时的,所以能不能取消Shuffle自带的排序功能,因为单 ...
环境:hadoop2.6, zookeeper3.4.5,jdk1.7 4台服务器: yun01-nn-01 192.168.56.11 yun01-nn-02 192.168.56.12 yun01-dn-01 ...
想安装一个hadoop监控 好像说Ambari这个不错?请问如何安装阿?谁有文档或者博客连接发一个被,谢谢。服务器不能联网,不能直接 ...
本版积分规则 发表帖子
查看 »