图文精华

About云-梭伦科技 › 日志

    blog 日志

    hadoop| spark| hive| 机器学习| hbase| storm|
    分享 zookeeper的Quorom算法
    xw2016 2016-7-16 22:46
    在hadoop HA集群环境中，我们启动hadoop之前，总要先启动zookeeper，因为需要zookeeper的投票算法来决定哪个NN为ACTIVE，今天看到了这个投票算法，记录一下。 Quorom 机制，是一种分布式系统中常用的，用来保证数据冗余和最终一致性的投票算法，其主要数学思想来源于鸽巢原 ...
    个人分类: hadoop|1356 次阅读|1 个评论 热度 1
    分享 mapreduce复习
    xw2016 2016-7-5 23:23
    mapreduce复习
    今天复习了一下mapreduce工作原理，感觉还不是很清晰，百度了好几篇相关文章，小结一下。 MapReduce 角色 client：编写mapreduce程序，提交作业。 JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。 TaskTracker：保持与JobTracker的通信，在分配的数据片段上执行Map或Reduce任务，TaskTracker ...
    个人分类: hadoop|1952 次阅读|0 个评论 热度 3
    分享 hdfs常用命令小结
    xw2016 2016-7-4 16:35
    hadoop fs -ls / 列出HDFS的根目录下的文件 hadoop fs -ls -R / 列出HDFS的目录及其子目录 hadoop fs -mkdir /data 在HDFS上新建文件夹 hadoop fs -put word.txt /data   ...
    个人分类: hadoop|1001 次阅读|0 个评论
    分享 hadoop2.6.0+zookeeper3.4.5+hive2.0分布式环境搭建
    xw2016 2016-5-23 22:12
    hadoop2.6.0+zookeeper3.4.5 已搭建好，详见：http://www.aboutyun.com/home.php?mod=spaceuid=40798do=blogid=2975 mysql使用5.7.9版本，已安装好， mysql 5.7.9 安装在192.168.56.110上： 关闭防火墙和SELINUX， # /usr/local/mysql/bin/mysql -uroot -p123456 create user hive identified by 'hive'; f ...
    个人分类: hadoop|2016 次阅读|2 个评论 热度 1
    分享 hadoop2.6+zookeeper3.4.5+hbase1.0.3 环境搭建
    xw2016 2016-5-22 10:46
    1、前提环境 hadoop2.6+zookeeper3.4.5 HA环境已搭建，详见上一篇日志： hadoop2.6+zookeeper3.4.5分布式环境搭建 2、准备材料 hbase-1.0.3-bin.tar.gz 3、 安装 hbase 3.1. 解压 hbase 将 hbase-1.0.3-bin.tar.gz 复制到 /application/Hadoop/ 下 ...
    个人分类: hadoop|1249 次阅读|0 个评论
    分享 hadoop2.6+zookeeper3.4.5 HA 环境搭建
    xw2016 2016-5-22 10:09
    1. 集群规划 主机名 IP 安装的软件 运行的进程 yun01-nn-01 192.168.56.11 jdk,Hadoop,zookeeper ...
    个人分类: hadoop|879 次阅读|1 个评论
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000