日志
- 分享
HIVE 动态分区与静态分区
-
2016-8-23 14:47
-
HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。 HIVE默认是静态分区。 ...
-
2873 次阅读|0 个评论
- 分享
storm的序列化与spring的结合方式记录
-
2016-8-4 17:48
-
storm的序列化问题及与spring的结合方式 The lifecycle of a bolt or spout is as follows: 1. Created on client side (from where you submit the topology) and serialized using Java serialization 2. Serialized component is sent to all the tasks 3. Each task executing that component deserializes th ...
-
1576 次阅读|1 个评论
热度 1
- 分享
机器学习与R之朴素贝叶斯分类器
-
2016-7-3 06:35
-
朴素贝叶斯 1联合概率分布 p(x,y)=p(y)P(x|y) 或者p(A交B)=p(A)xp(B) p(A交B)不容易求,假设条件独立拆分成两个事件的乘积 2基本假设条件独立性 3利用贝叶斯定理 p(y|x)=P(x,y)/p(x)=p(y)P(x|y)/sum(y-i) y=max p(y)P(x|y) 贝叶斯决策理论要求计算两个概率p1(x，y),p2(x, y): 如果p1(x，y) p2 (x, ...
-
1103 次阅读|0 个评论
- 分享
Python机器学习与实战笔记之朴素贝叶斯分类
-
2016-7-3 06:33
-
1联合概率分布 p(x,y)=p(y)P(x|y) 或者p(A交B)=p(A)xp(B) p(A交B)不容易求,假设条件独立拆分成两个事件的乘积 2基本假设条件独立性 3利用贝叶斯定理 p(y|x)=P(x,y)/p(x)=p(y)P(x|y)/sum(y-i) y=max p(y)P(x|y) 贝叶斯决策理论要求计算两个概率p1(x，y),p2(x, y): 如果p1(x，y) p2 (x, y) , 那么属 ...
-
1267 次阅读|0 个评论
- 分享
spark ha总结讲解与配置
-
2016-5-18 16:26
-
spark standalone集群是Master-Slaves架构的集群模式，和大部分的Master-slaves架构集群一样，存在Master单点故障问题,spark提供了两种解决 方案: 1、基于文件系统的单恢复 基于文件系统的单点恢复,主要是在spark-env里对SPARK_DAEMON_JAVA_OPTS设置 spark.deploy.recoveryMode : 设置成FILESYSTEM,缺省NONE spark.de ...
-
1185 次阅读|0 个评论
热度 1
- 分享
linux /dev/loop
-
2015-12-22 12:28
-
linux下/dev/loop常用于制作文件系统镜像文件rootfs.img，以便下载到内核中挂载； http://zh.wikipedia.org/wiki//dev/loop 我们日常接触到比较多的镜像文件*.iso，都是用数据文件来存储实际块设备上的数据； 首先必须明确，想光盘，硬盘，软盘这样的设备上存储文件需要特定的文件系统，上面 有大量的文件 ...
-
1014 次阅读|0 个评论
- 分享
java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString
-
2015-9-2 21:24
-
hadoop yarn 解决方案: 提交作业方式 $ export HADOOP_CLASSPATH= "/home/cluster/apps/hbase/lib/hbase-protocol-0.98.1-cdh5.1.0.jar" $ ./hadoop- 2.2 .0 /bin/hadoop --config /home/stack/conf_hadoop/ jar ./hbase/hbase-assembly/target/hbase- 0.99 .0 -SNAPSHOT-job .jar org .apache .hadoop .hbase . ...
-
1121 次阅读|0 个评论
- 分享
HBase1.0.1基本操作（java代码）
-
2015-8-16 20:09
-
public class HQuery { private static ConnHBase connHbase=new ConnHBase(); /***************建表****************************/ public void creatTable(String TBname,String...colFamily) throws Exception { TableName tableName = TableName.valueOf(TBname); // 获得表名称 /*表 ...
-
821 次阅读|0 个评论
- 分享
Mapreduce RCFile写入和读取API示例
-
2015-6-11 19:11
-
RCFile是FaceBook开发的高压缩比、高效读的行列存储结构。通常在Hive中可以直接对一张Text表使用insert-select转换，但有时希望使用Mapreduce进行RCFile的读写。 maven依赖 dependency groupIdorg.apache.hadoop/group ...
-
2812 次阅读|0 个评论
- 分享
hbase 0.98如何禁用hlog日志
-
2015-6-8 17:17
-
以前版本使用 put.setWriteToWAL(false); 现在版本使用 public void setDurability(Durability d) Durability可以为 ASYNC_WAL Write the Mutation to the WAL asynchronously FSYNC_WAL Write the Mutation to the WAL synchronously and force the entries to disk. SKIP_WAL Do not write the Mutation ...
-
911 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
