日志
- 分享
Spark 二次排序实现
-
2016-3-18 19:13
-
Spark二次排序的实现方式 一、测试文件testsortTwo: # hadoop fs -cat /user/wzx/testsortTwo 1444697637.786 180.175.251.34 wv.88mf.com _trackClick 174|139||-17718753 0000436cc2ad45bb8df6a70bd09e146f 1444695603.085 218.22.168.122 wv.17mf.com _trackPageview 0002a9ed7d754a08957912700e36d731 14 ...
-
2533 次阅读|2 个评论
热度 2
- 分享
关于 kryo 序列化的持久化问题整理
-
2015-11-16 12:36
-
使用 kryo 进行序列化的速度的确很快!但是在序列化之后的持久化问题上有一些问题发生。 序列化之后的对象保存在redis上,如果redis存在旧的序列化的数据,那么在tomcat启动的时候,运行项目,就会出现这种错误。 要想正常启动运行就必须清除原来的redis缓存,这自然是不行的。 从错误可以看出是class ID不一致的 ...
-
2795 次阅读|0 个评论
- 分享
sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive e .
-
2015-11-9 18:08
-
sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1 sqoop 导入 hive hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B ERROR tool.ImportTool: Encountered IOException running impor ...
-
2415 次阅读|0 个评论
- 分享
利用Dockerfile构建一个基于centos 7,包括java 8, tomcat 7,php ,mysql+mycat的镜像
-
2015-10-8 19:31
-
Dockerfile内容如下: FROM centos MAINTAINER Victor ivictor@foxmail.com WORKDIR /root RUN rm -f /etc/yum.repos.d/* RUN echo ' ' /etc/yum.repos.d/base.repo RUN echo 'name=base' /etc/yum.repos.d/base.repo RUN echo 'baseurl=http://192.168.244.132/yum/mnt' /e ...
-
1350 次阅读|0 个评论
- 分享
hadoop mapreduce 多输入路径
-
2015-6-24 12:24
-
1.多路径输入 1)FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1")); FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path2")); or FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/ ...
-
2323 次阅读|0 个评论
- 分享
Scala中下划线的用途
-
2015-6-9 20:50
-
存在性类型: def foo(l: List ]) = def f(m: M ) 高阶类型参数: case class A ,T](a: K ) def f ] 临时变量: val _ = 5 临时参数: List ( 1 , 2 , 3 ) foreach { _ = println ( "Hi" ) } //List(1, 2, 3) foreach { t = ...
-
1608 次阅读|0 个评论
- 分享
FlatDHCP模式单nova-network主机部署示例
-
2015-6-4 21:45
-
FlatDHCP 模式单 nova-network 主机部署示例 本博客欢迎转发,但请保留原作者信息(@孔令贤HW)!内容系本人学习、研究和总结,如有雷同,实属荣幸! 1 场景图 一个控制节点 两个计算节点 eth1连接管理平面 eth2连接业务平面 2 & ...
-
2010 次阅读|0 个评论
- 分享
HBase shell 启动出错 org.apache.zookeeper.KeeperException$ConnectionLossExceptio ...
-
2015-5-18 18:52
-
一般发生在长期使用hbase,后面再安装之后直接使用hbase shell 想要进入hbase界面,却没有启动start-hbase.sh而导致的。 # hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in SLF4J: Found binding in SLF4J: See http://www.slf4j.org/codes.html#multiple_bin ...
-
3361 次阅读|0 个评论
- 分享
Zookeeper常见问题整理
-
2015-5-12 23:42
-
ZK选举过程 当leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的Server都恢复到一个正确的状态。Zk的选举算法使用ZAB协议: 选举线程由当前Server发起选举的线程担任,其主要功能是对投票结果进行统计,并选出推荐的Server; 选举线程首先向所有Server ...
-
3214 次阅读|0 个评论
- 分享
[Hive]关于Hive的启动问题
-
2015-5-12 23:37
-
业务背景 用户轨迹工程脚本最近经常报错,报错如下: SLF4J: Actual binding is of type FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called but openTransactionCalls = 0. This probably indicates that there are unbalanced calls to openTransaction/ ...
-
1625 次阅读|0 个评论
- 新手帮助
- 新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »