日志
- 分享
如何扩容DataNode及遇到问题总结
-
2018-1-4 20:09
-
一个集群节点进行扩容，然后修改了配置参数文件dfs.datanode.data.dir参数后面追加挂载的数据目录， 发现启动时正常，后面索性多修改几个节点发现集群后面修改的DataNode全部启动报错（日志记录在/var/log/hadoop/dfs/hadoop-hdfs-datanode-*.log）： Too many failed volumes - current valid volumes: 1, volumes conf ...
-
1905 次阅读|0 个评论
- 分享
yarn container内存调优——什么时候container被kill
-
2017-5-4 10:23
-
今天散仙写了个MapReduce作业，目的是读数据库里面多个表的数据，然后在Java中根据具体的业务情况做过滤，并把符合数据的结果写入到HDFS上，在Eclipse里面提交作业进行调试的时候，发现在Reduce阶段，总是抛出Java heap space的异常，这异常明显，就是堆内存溢出造成的，然后散仙仔细看了下业务块的代码，在Reduce里读数据 ...
-
1849 次阅读|0 个评论
- 分享
hive 表注释乱码以及show create table描述乱码解决汇总（mysql及postgresql）
-
2017-4-26 20:30
-
postgresql乱码 #执行 desc table1 #字段注释是中文，没乱码 desc formatted table1; 字段注释是中文，没乱码 但表注释是中文 ，显示是另一种编码，有问题，解决这块 元数据库编码情况如下： 由于元数据库使用的是postgresql, 修改数据库编码并不能像mysql那样方便，(暂时没 ...
-
1856 次阅读|0 个评论
- 分享
离线快速部署Mirantis Openstack 9.0
-
2017-4-2 18:20
-
Mirantis Openstack 9.0 简称为MOS 9.0。它 是 Mirantis 公司开发 openstack 自动化安装工具，这个工具还有个专门的名字，叫做 Fuel 。 离线安装时不需要更新Ubuntu和MOS包，即不需要互联网连接。在同等网络带宽情况下可以比在线安装更快地部署。运气不好的话， ...
-
1726 次阅读|0 个评论
- 分享
HDFS中PathFilter类的作用代码讲解
-
2017-3-17 20:05
-
在单个操作中处理一批文件，这是很常见的需求。比如说处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符在匹配多个文件时比较方便的，无需列举每个文件和目录来指定输入。hadoop为执行通配提供了两个FIleSystem方法： public FileStatus globStatus(Path pathPattern ...
-
1586 次阅读|0 个评论
- 分享
spark配置资源过小，容易造成spark集群数据异常
-
2017-3-13 16:58
-
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 出现遇到接受不到任务资源的问题或则不输出任何内容 参考案例 【求助】spark运行打包的jar程序，遇到接受不到任务资源的问题 http://www. ...
-
1324 次阅读|0 个评论
- 分享
yarn资源隔离：基于标签的调度
-
2017-3-9 14:14
-
Yarn 2.8.x 基于标签的调度 前言： 基于标签的调度解决的核心需求是实现部分资源的完全隔离，以及由此基础之上的各个资源池之间的资源互助，最终达到隔离并且弹性的计算形态。 该特性开发现状： 最新版本2.8.x： ...
-
1384 次阅读|0 个评论
- 分享
排查Linux下进程的IO活动状况的两个案例及方法介绍
-
2017-3-4 08:51
-
第一个案例 前段时间，几台测试服务器的Web应用响应速度非常慢，系统负载也比较高， 10， 但CPU和内存却很闲，于是怀疑是磁盘的性能瓶颈,通过vmstat和iostat看到IO的读写量非常大，尤其是用iostat -x 1命令可以很直观的看到IO的使用率一直在100%。 但究竟是什么进程导致的高IO呢，由于每台服务器上都有JBoss和MyS ...
-
1483 次阅读|0 个评论
- 分享
Scala中如何获取map中的keys和values值
-
2017-2-27 18:22
-
在映射上的所有操作可被表示在下面的三种方法： 方法 描述 keys 这个方法返回一个包含映射中的每个键的迭代。 values 这个方法返回一个包含映射中的每个值的迭代。 isEmpty 如果映射为空此方法返回true，否则为false。 以下是上述方法中的例子显示的用法： object Test { def m ...
-
869 次阅读|0 个评论
- 分享
Spark全局变量累加器(Accumulator)存在的问题及如何解决
-
2016-11-30 09:09
-
程序中可能会使用到Spark提供的累加器功能，可是如果你不了解它的运行机制，有时候会带来一些负面作用（错误的累加结果）。 下文会介绍产生错误结果的原因，并提供一种解决办法。 Accumulator简介 Accumulator是spark提供的累加器，顾名思义，该变量只能够增加。 只有driver能获取到Accumulato ...
-
2387 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
