日志

分享 storm 0.9.3安装

2016-7-18 09:55

1.JDK安装 系统已安装JDK 1.7 2.python安装 centos自带pyhton 2.6.6 检测一下： $ python --version Python 2.6.6 3.zookeeper安装 系统已安装zookeeper 3.4.5，详见前面日志：http://www.aboutyun.com/home.php?mod=spaceuid=40798do=blogid=2975 4.安装storm 0.9.3 4.1 将apache-storm-0.9 ...

个人分类: storm|1577 次阅读|0 个评论

分享 zookeeper的Quorom算法

2016-7-16 22:46

在hadoop HA集群环境中，我们启动hadoop之前，总要先启动zookeeper，因为需要zookeeper的投票算法来决定哪个NN为ACTIVE，今天看到了这个投票算法，记录一下。 Quorom 机制，是一种分布式系统中常用的，用来保证数据冗余和最终一致性的投票算法，其主要数学思想来源于鸽巢原 ...

个人分类: hadoop|1356 次阅读|1 个评论 热度 1

分享 spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:

2016-7-9 22:21

启动hadoop集群，启动后守护进程如下（因是提交给yarn，所以不用启动spark）： $ jps 17891 NameNode 20116 ResourceManager 25014 Jps 18155 DFSZKFailoverController spark on yarn上运行： $bin/spark-submit --master yarn-cluster --executor-memory 1g --class sparkscala.k3.app.Query /application/ ...

个人分类: spark|14922 次阅读|0 个评论 热度 1

分享 hbase基本操作

2016-7-7 22:49

1. 启动： 在主hmaster节点上，启动hbase： $ bin/start-hbase.sh 查看守护进程： $ jps 26139 DFSZKFailoverController 26498 ResourceManager 30823 HRegionServer 30684 HMaster 25852 NameNode 30932 Jps 多了这两个进程： 30823 HRegionServer 30684 HMaster 验证： $ hbase shell 进 ...

个人分类: hbase|1318 次阅读|0 个评论

分享 hbase 基本概念

2016-7-6 23:06

1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据， 利用Zookeeper作为协同服务。 2. 基本概念 ...

个人分类: hbase|1095 次阅读|0 个评论

分享 mapreduce复习

2016-7-5 23:23

今天复习了一下mapreduce工作原理，感觉还不是很清晰，百度了好几篇相关文章，小结一下。 MapReduce 角色 client：编写mapreduce程序，提交作业。 JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。 TaskTracker：保持与JobTracker的通信，在分配的数据片段上执行Map或Reduce任务，TaskTracker ...

个人分类: hadoop|1952 次阅读|0 个评论 热度 3

分享 hdfs常用命令小结

2016-7-4 16:35

hadoop fs -ls / 列出HDFS的根目录下的文件 hadoop fs -ls -R / 列出HDFS的目录及其子目录 hadoop fs -mkdir /data 在HDFS上新建文件夹 hadoop fs -put word.txt /data   ...

个人分类: hadoop|1001 次阅读|0 个评论

分享 协同过滤

2016-7-4 10:04

不错的文章： http://www.ibm.com/developerworks/cn/web/1103_zhaoct_recommstudy2/index.html http://www.aboutyun.com/forum.php?mod=viewthreadtid=19128

个人分类: 机器学习|686 次阅读|0 个评论

本页有 2 篇日志因作者的隐私设置或未通过审核而隐藏