用户组:游客
如题:安装大数据的环境一定要关闭防火墙吗?看好多安装文档都需要关闭防火墙,而关闭防火墙之后,会造成服务器不安全, 有没有 ...
hadoop集群启动后namenode自动关闭,下面是报错信息,有时候jps也会报下面类似的错误,是怎么回事 # # A fatal error has been ...
最近有个项目,每周大约20T的日志数据,一年大概1p日志数据,有5年的历史日志数据,评估一下这个项目:在数据调研,数据抽取,分 ...
目前集群MapReduce正常,就是从yarn界面点击application,然后报如图的错误。我在网上找了下,说是是resourcemanager那天晚上 ...
Flink 的部署Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。对于 Local 模式来说,JobManager 和 T ...
一、引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Ya ...
最近刚安装了hadoop2.7.3,NameNode是HA,yarn也是HA,,安装顺利,web界面都能正常显示,但在跑程序时遇到如下问题: [mw_shl_ ...
hadoop version:2.6.0-cdh5.5.2 集群使用cloudermanager 部署的 一共部署了3个集群 只其中一个集群的datanode 报错 ...
集群中节点默认能使用的最大内存是8G,显然这个内存是太低了,我们虚拟机的内存是64G的,现在导致我们的HSQL一跑,内存就满 ...
TeraInputFormat类中的writePartition方法中,对于取样的实现能不能来个大神讲解下,我啃过之后觉得有的难懂。谢谢!
window远程连接hadoop集群,本地是否需要搭建hadoop。 一些初学者,可能会产生这样的想法,本地特别是window是不需要搭建一套ha ...
最近看了一些关于YARN日志的知识,有一些抑或,YARN中应用程序的日志分为jobhistory和Container日志,Container日志又分为Applic ...
描述: 本人打算获取zookeeper 中的某些信息,如hadoop active namenode 节点信息或者 hbase的信息。 问题: 通 ...
按照hadoop权威指南上的一个例子找出每年的最高气温,写的第一个MR例子,在eclipse里面能正常运行(这里我不知道程序走的是local ...
如标题,我只想用hadoop的分布式存储功能,不打算用它的计算功能,我甚至连yarn都不启动,大家认为可行性怎么样。应用于海量文件 ...
java.lang.RuntimeException: native lz4 library not available at org.apache.hadoop.io.compress.Lz4Codec.getCompr ...
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设 ...
使用命令 [mw_shl_code=applescript,true]hdfs dfs -copyFromLocal ./peoplecount.txt /tmp/download/[/mw_shl_code] 结果报错 ...
环境描述: os:centos7 cloudera manager version:5.5.2 java:1.7.0_80 集群规模:200-300台 问题描述: 集群 ...
Caused by: java.net.NoRouteToHostException: No Route to Host from slave2/192.168.1.30 to master:8031 failed on socket t ...
一直听说yarn 资源管理。 资源管理包括什么呢? 内存,IO口还是什么? 怎么理解yarn的具体作用呢 能结合MR 说说具体怎么使用 ...
本人用的是阿里云的服务器,Ubuntu是 16.04.1 (64位),Hadoop版本是1.2.1,JDK是1.8。core-site.xml,mapred-site.xml的配置是l ...
按照网上的教程想搭建一套eclipse的开发环境。结果碰到如图所示问题。 以下是我的配置信息: core-site.xml: ...
我主要想用用spark java8 lambda的新特性,不知道cdh支持java8吗?如何设置,不过cdh推荐jdk1.7! 有成功经验的回答,谢谢! c ...
整个pom.xml 文件: 4.0.0 FH test 0.0.1-SNAPSHOT jar test http://maven.apache.org U ...
找了一下docker搭建Hadoop集群的资料,发现都是在Linux上的docker里搭建的,Windows上的docker 怎么搭建呢?
问题如下, 请大牛哥帮忙解答! Starting secondary namenodes [master] master: starting secondarynamenode, logging to / ...
求教 请教一下这几个题目主要用的命令。。
1、hdfs、yarn、mapreduce相关进程都正常启动,jps查看JobHistoryServer进程正常; 2、核查mapred-site.xml文件配置如下: ...
岗位职责:1、 利用可以获得的各种数据建立统计、分类、回归、推荐模型,包括但不限于风险模型、信用模型、广告推荐等;2、 运用 ...
本版积分规则 发表帖子
查看 »