用户组:游客
如题:安装大数据的环境一定要关闭防火墙吗?看好多安装文档都需要关闭防火墙,而关闭防火墙之后,会造成服务器不安全, 有没有 ...
用CM安装了CDH5.5.4,之前用的scheduler是 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler 想 ...
连接hdfs成功,eclipse能在DFS Location 下对文件进行上传,删除, 但是在hadoop集群上创建的文件和运行后生成的文件,不能在 ...
在 CDH 5.14.2 里,为HDFS 启用了 kerberos 之后,NameNode 和 SNN 都可以正常启动,但是secure DataNode 无法启动成功。日志里 ...
我的core-site.xml中的hadoop.tmp.dir为file:/usr/hadoop/tmp,也格式化了namenode,为什么我的日志还保存在logs下,而且tmp ...
我在代码中加入了如下代码: Configuration conf = getConf(); conf.setClass("mapred.output.compression.codec", ...
哪里有比较完整的hadoop视频教程?
来自about云群友提问(39327136)特此整理,分享给新手: 谁用过hbase0.98.5?怎么分为hbase0.98.5-hadoop1-bin和hbase0.98.5 ...
折腾了几天,都在为hdfs配置kerberos,其中的一些经历,希望对其他的同学有帮助。http://my.oschina.net/psuyun/blog/337560
这里把前端时间找一些资料和自己整理的材料一起放出来,希望对大家有帮助。这篇讲的是kerberos的原理 http://my.oschina.net/ps ...
本帖最后由 xioaxu790 于 2015-1-4 20:19 编辑 问题导读 1、CDH5.2安装部署,需要哪些条件? 2、需要将哪些文件复制到集群中 ...
继续昨晚的整理,这里给出服务端的初始化和调用过程,希望对其他有兴趣的同学有点帮助。 上链接:http://my.oschina.net/psuyun ...
首先,简单回顾一下Hadoop 1.x中的JVM重用功能:用户可以通过更改配置,来指定TaskTracker在同一个JVM里面最多可以累积执行的Tas ...
1. 部署hadoop集群 ,hadoop 命令找不到解决:配置/home/hadoop/.bashrc; 赋予权限chomd 777 .bashrc; 生效:. . ...
本帖最后由 pig2 于 2015-12-26 18:03 编辑 问题导读 1.什么是Kerberos Principal? 2.Hadoop守护进程是否使用不同的 ...
上一篇hadoop【2.7.1】安全模说明【上】 http://www.aboutyun.com/thread-16568-1-1.html 从Kerberos principal映射用 ...
今天在网上找了一个比较好的hadoop视频,希望对大家有用,hadoop总共63视频,百度网盘地址:链接: http://pan.baidu.com/s/1geox ...
本帖最后由 helianthus 于 2016-1-3 19:39 编辑 问题导读: 1.如何将应用程序的相关数据发布到timeline server? 2.如何通过 ...
本帖最后由 pig2 于 2016-1-19 21:11 编辑 在,,java api中得到一个用户的hdfs的剩余空间,和总空间,怎么办 ########### ...
hadoop环境是2.7.0的集群环境,使用sqoop 1.4.6执行从mysql向hive的数据导入。 执行过程中报错,如下方的日志信息。但是查询h ...
jps查看有的节点上没有datanode进程 tail -100 /usr/local/hadoop_repo/logs/logshadoop-root-datanode-主机名.log 查看日志 ...
启动hadoop集群问题,使用start-all.sh 启动hadoop/sbin/mr-jobhistory-daemon.sh start historyserver 浏览器无法访问 配 ...
岗位职责:1、 利用可以获得的各种数据建立统计、分类、回归、推荐模型,包括但不限于风险模型、信用模型、广告推荐等;2、 运用 ...
Caused by: java.net.NoRouteToHostException: No Route to Host from slave2/192.168.1.30 to master:8031 failed on socket t ...
window远程连接hadoop集群,本地是否需要搭建hadoop。 一些初学者,可能会产生这样的想法,本地特别是window是不需要搭建一套ha ...
Flink 的部署Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。对于 Local 模式来说,JobManager 和 T ...
安装jdk 和 ssh 查看SSH是否安装(检查是否装了SSH包)。 输入命令:rpm -qa | grep ssh 若没安装SSH则可输入:yum instal ...
可能会出一个小专题。欢迎大家评论拍砖。 链接会到本博客地址 Hadoop NameNode启动之FSDirectiry
hadoop3.0的二进制jar包下载地址:http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz
来自 微信公众号 若泽大数据 qq交流群:707635769环境要求java、ssh [*]添加hadoop用户 [root@hadoop-01 ~]# useradd hadoo ...
本版积分规则 发表帖子
查看 »