Spark 二次排序实现 2016-03-18

Spark二次排序的实现方式 一、测试文件testsortTwo： # hadoop fs -cat /user/wzx/testsortTwo 1444697637.786 180.175.251.34 wv.88mf.com _trackCl ...

(2532)次阅读|(2)个评论

关于 kryo 序列化的持久化问题整理 2015-11-16

使用 kryo 进行序列化的速度的确很快！但是在序列化之后的持久化问题上有一些问题发生。 序列化之后的对象保存在redis上，如果redis存在旧的序列化的数据，那 ...

(2793)次阅读|(0)个评论

sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive e . 2015-11-09

sqoop1.4.5 导入 hive IOException running import job: java.io.IOException: Hive exited with status 1 sqoop 导入 hive hive.HiveImport: Exception in ...

(2413)次阅读|(0)个评论

利用Dockerfile构建一个基于centos 7，包括java 8, tomcat 7,php ,mysql+mycat的镜像 2015-10-08

Dockerfile内容如下： FROM centos MAINTAINER Victor ivictor@foxmail.com WORKDIR /root RUN rm -f /etc/yum.repos.d/* RUN  echo ' ' > /etc/ ...

(1349)次阅读|(0)个评论

hadoop mapreduce 多输入路径 2015-06-24

1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1")); File ...

(2322)次阅读|(0)个评论

Scala中下划线的用途 2015-06-09

存在性类型： def foo(l: List ]) =  def f(m: M )  高阶类型参数： case class A ,T](a: K ) def f ]  临时变量： va ...

(1606)次阅读|(0)个评论

查看更多