图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享利用ZooKeeper服务实现分布式系统的Leader选举: nextuser 2018-4-10 21:04; 每次与Java组的同事们坐下来谈技术、谈理想、谈人生时，Java组的同事总会向我们投来羡慕的眼光：卧槽！又是自己开发的工具，太NB了。这时C程序员们的脸上就会洋溢出自豪的笑容，然后内心骂道：谁让我们没有现成的呢。另一个空间里的某些“无C不欢”们或者某些“C Guru”们会骂道：靠，有了也不用，自己写！有时候，C程 ...; 1598 次阅读|0 个评论

分享 hive需不需要集群？: nextuser 2018-2-1 19:11; hive是基于hadoop的，安装后，肯定是分布式存储。服务端可以自行选择。由于基于hadoop，所以你可以安装一个服务端或则HA，可以多个客户端; 1406 次阅读|0 个评论

分享 hive如何作为etl工具: nextuser 2017-11-6 14:41; 用来处理数据的 ETL 和 ELT 工具的概述数据集成和数据管理技术已存在很长一段时间。提取、转换和加载（ETL）数据的工具已经改变了传统的数据库和数据仓库。现在，内存中转换 ETL 工具使得提取、加载、转换（ELT）和 ETL 变得更快。对于大数据来说，是否能够使用内置的 Hadoop 工具而不是使用传统的 ETL 工具来提取、 ...; 1699 次阅读|0 个评论

分享 openstack 使用的 windows7 镜像如何制作: nextuser 2017-10-11 07:30; 为 openstack制作可用的windows镜像，目前官方授权的只有http://www.cloudbase.it/windows-cloud-images/ 提供的 windows server 2012 R2 Evaluation Cloud Image.我们在网站上能看到这样的字样。 Microsoft Windows Server 2012 R2 Standard Evaluation is now available as a downloadable cloud image ...; 1906 次阅读|0 个评论

分享用python写MapReduce函数——以WordCount为例: nextuser 2017-6-29 18:26; 1. Python MapReduce 代码使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.stdin读取输入数据，并把我们的输出传送给sys.stdout。Hadoop流将会 ...; 2483 次阅读|0 个评论热度 1

分享 RabbitMQ服务主机名更改导致消息队列无法连接AMQP server ccnode:5672 closed the con ...: nextuser 2017-5-4 14:13; RabbitMQ服务主机名更改导致消息队列无法连接在多节点环境中，RabbitMQ服务使用一个独立节点部署。在此环境下，如果修改了RabbitMQ节点的主机名，则需要更新RabbitMQ用户才能保证服务能够被正确访问。 RabbitMQ节点原主机名为： root@Aloe-Express-20:/etc# cat /etc/hostname Aloe-Express-20 ...; 2116 次阅读|0 个评论

分享 MapReduce案例yarn模式&本地模式: nextuser 2017-4-22 08:13; 记录一下自己在开发MapReduce程序的过程。思考点是：如何下手，怎样开发。 1.对于平台的要求：环境已搭建完毕，且测试通过。我自己平台是：Centos6.4 +jdk1.7+hadoop2.5.1 都是64位的我这里写的是非常简单的一种：创建一个Java工程，导入jar包，写三个类。分别是：Mapper类、Reducer ...; 1308 次阅读|0 个评论热度 1

分享使用 Docker 部署 ZooKeeper 集群的搭建: nextuser 2017-4-20 20:42; 背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤. 镜像下载 h ...; 1570 次阅读|0 个评论

分享 flume通过tcp/udp采集数据并存到kafka配置: nextuser 2017-3-23 19:02; /*官方提供的kafka sink*/ a1.sinks.k1.channel = c1 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = mytopic a1.sinks.k1.kafka.bootstrap.servers = localhost:9092 a1.sinks.k1.kafka.flumeBatchSize = 20 a1.sinks.k1.kafka.producer.acks = 1 a1.sinks.k1.kafka.produc ...; 2391 次阅读|0 个评论

分享 spark的FAIR公平调度器: nextuser 2016-12-26 19:56; 代码流程在fair调度器实例生成时 ,与fifo的调度器生成时有些许的区别,首先看看fair调度器生成时,需要的流程,由类 FairSchedulableBuilder 进行的调度器的实现: 在使用fair的调度器时,schedulableBuilder的实现为 FairSchedulableBuilder . schedulableBuilder .buildPools() 接下来看看这个函数 ...; 1358 次阅读|0 个评论

12 3 / 3 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈