立即注册登录

About云-梭伦科技返回首页

bob007的个人空间 https://www.aboutyun.com/?1328 [收藏] [复制] [分享] [RSS]

日志

分享 Spark 二次排序实现: 2016-3-18 19:13; Spark二次排序的实现方式一、测试文件testsortTwo： # hadoop fs -cat /user/wzx/testsortTwo 1444697637.786 180.175.251.34 wv.88mf.com _trackClick 174|139||-17718753 0000436cc2ad45bb8df6a70bd09e146f 1444695603.085 218.22.168.122 wv.17mf.com _trackPageview 0002a9ed7d754a08957912700e36d731 14 ...; 2531 次阅读|2 个评论热度 2

分享关于 kryo 序列化的持久化问题整理: 2015-11-16 12:36; 使用 kryo 进行序列化的速度的确很快！但是在序列化之后的持久化问题上有一些问题发生。序列化之后的对象保存在redis上，如果redis存在旧的序列化的数据，那么在tomcat启动的时候，运行项目，就会出现这种错误。要想正常启动运行就必须清除原来的redis缓存，这自然是不行的。从错误可以看出是class ID不一致的 ...; 2793 次阅读|0 个评论

分享 sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive e .: 2015-11-9 18:08; sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1 sqoop 导入 hive hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B ERROR tool.ImportTool: Encountered IOException running impor ...; 2413 次阅读|0 个评论

分享利用Dockerfile构建一个基于centos 7，包括java 8, tomcat 7,php ,mysql+mycat的镜像: 2015-10-8 19:31; Dockerfile内容如下： FROM centos MAINTAINER Victor ivictor@foxmail.com WORKDIR /root RUN rm -f /etc/yum.repos.d/* RUN echo ' ' /etc/yum.repos.d/base.repo RUN echo 'name=base' /etc/yum.repos.d/base.repo RUN echo 'baseurl=http://192.168.244.132/yum/mnt' /e ...; 1349 次阅读|0 个评论

分享 hadoop mapreduce 多输入路径: 2015-6-24 12:24; 1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1")); FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path2")); or FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/ ...; 2322 次阅读|0 个评论

分享 Scala中下划线的用途: 2015-6-9 20:50; 存在性类型： def foo(l: List ]) = def f(m: M ) 高阶类型参数： case class A ,T](a: K ) def f ] 临时变量： val _ = 5 临时参数： List ( 1 , 2 , 3 ) foreach { _ = println ( "Hi" ) } //List(1, 2, 3) foreach { t = ...; 1606 次阅读|0 个评论

分享 FlatDHCP模式单nova-network主机部署示例: 2015-6-4 21:45; FlatDHCP 模式单 nova-network 主机部署示例本博客欢迎转发，但请保留原作者信息（@孔令贤HW）！内容系本人学习、研究和总结，如有雷同，实属荣幸！ 1 场景图一个控制节点两个计算节点 eth1连接管理平面 eth2连接业务平面 2 & ...; 2010 次阅读|0 个评论

分享 HBase shell 启动出错 org.apache.zookeeper.KeeperException$ConnectionLossExceptio ...: 2015-5-18 18:52; 一般发生在长期使用hbase，后面再安装之后直接使用hbase shell 想要进入hbase界面，却没有启动start-hbase.sh而导致的。 # hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in SLF4J: Found binding in SLF4J: See http://www.slf4j.org/codes.html#multiple_bin ...; 3361 次阅读|0 个评论

分享 Zookeeper常见问题整理: 2015-5-12 23:42; ZK选举过程当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法使用ZAB协议：选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；选举线程首先向所有Server ...; 3205 次阅读|0 个评论

分享 [Hive]关于Hive的启动问题: 2015-5-12 23:37; 业务背景用户轨迹工程脚本最近经常报错，报错如下： SLF4J: Actual binding is of type FAILED: Error in metadata: MetaException(message:java.lang.RuntimeException: commitTransaction was called but openTransactionCalls = 0. This probably indicates that there are unbalanced calls to openTransaction/ ...; 1625 次阅读|0 个评论

12 / 2 页下一页

bob007

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈