日志
- 分享
Linux中rpm 详解及与 tar.gz区别
-
2017-1-6 16:34
-
Linux软件的 二进制 分发是指事先已经编译好 二进制 形式的软件包的发布形式，其优点是安装使用容易，缺点则是缺乏灵活性，如果该软件包是为特定的硬件/ 操作系统 平台编译的，那它就不能在另外的平台或环境下正确执行。 1、*.rpm形式的 二进制 软件包 安装：rpm -ivh *.rpm 卸载：rpm -e packgename 说 ...
-
1534 次阅读|0 个评论
- 分享
java 8u111和8u112的区别
-
2017-1-6 16:09
-
奇数版本是官方推荐的稳定版本。 偶数版本在奇数版本的基础上修复了一些非关键的bug。
-
1617 次阅读|0 个评论
- 分享
什么是centos RPM包
-
2017-1-6 15:56
-
RPM 是 Red Hat Package Manager 的缩写，本意是Red Hat 软件包管理，顾名思义是Red Hat 贡献出来的软件包管理工具；在Fedora 、Redhat、Mandriva、SuSE、YellowDog等主流发行版本，以及在这些版本基础上二次开发出来的发行版采用； RPM包里面都包含什么？里面包含可执行的二进制程序,也就是编译好的执行程序，这个程 ...
-
1196 次阅读|0 个评论
- 分享
使用OpenStack来替换换掉Esxi节点
-
2016-7-19 09:10
-
这几个月一直忙于一个公司的项目，说起来似乎挺简单的，但真正实现起来也真是一波三折啊。这几天空下来，总结一下分享给大家。 公司现有一坨VMware的Esxi，有一个PHP的BS系统通过VMware提供的PerlSDK+CLI封装成了驱动层。现在的想法是使用OpenStack来替换——至少是部分替换掉Esxi节点。 初看这件事情，PHP的驱动层 ...
-
2067 次阅读|1 个评论
热度 1
- 分享
Flume中的HDFS Sink配置参数说明
-
2016-7-13 12:09
-
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值：FlumeData 写入hdfs的文件名前缀 ...
-
1941 次阅读|0 个评论
热度 1
- 分享
Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
-
2016-6-30 19:07
-
输入是GBK文件, 输出也是 GBK 文件的示例代码: Hadoop 处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它类型（如GBK)，则会出现乱码。 此时只需在mapper或reducer程序中读取Text时，使用transformTextToUTF8(text, "GBK");进行一下转码，以确保都是以UTF-8的编 ...
-
2249 次阅读|0 个评论
- 分享
hadoop如何新增队列及权限配置
-
2016-6-23 15:20
-
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2 通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限. 先编辑mapred-site.xml，修改配置如下(增加四个队列): property namemapred.queue.names/name ...
-
5543 次阅读|0 个评论
热度 1
- 分享
spark WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resourc
-
2016-5-19 10:56
-
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 解决办法： worker配置的才512M 内存配置少了。默认是1G。 把内存改到2G就好了 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ...
-
1070 次阅读|0 个评论
- 分享
Hbase HMaster启动问题
-
2015-11-23 15:36
-
一、启动HBase 在Namenode节点上执行start-hbase.sh后，HMaster启动了，但是过几秒钟就挂了， 查看日志报错： catalog.CatalogTracker: Failed verification of hbase:meta,,1 at address=node3,60020,1409104234032, exception=org.apache.hadoop.hba ...
-
2254 次阅读|0 个评论
- 分享
工作流引擎服务器 Hadoop Oozie
-
2015-11-12 20:05
-
Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat. Oozie工作流中拥有多个Action,如Hadoop Map/Reuce job,Hadoop Pig job等,所有的Action以有向无环图(DAG Direct Acyclic Graph)的模式部署运 ...
-
1199 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
