日志
- 分享
Hadoop是怎么分块的及map 个数和reuce个数解惑
-
2015-6-1 00:21
-
hadoop的分块有两部分，其中第一部分更为人熟知一点。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。 property namedfs.block.size/ ...
-
863 次阅读|0 个评论
- 分享
storm ui上emit跟transferred的区别
-
2015-4-15 17:34
-
storm ui上emit和transferred的区别 最开始对storm ui上展示出来的emit和transferred数量不是很明白, 于是在storm-user上google了一把, 发现有人也有跟我一样的困惑, nathan做了详细的回答: emitted栏显示的数字表示的是调用OutputCollector的emit方法的次数. transferred栏显示的数字表示的是实际tuple发送到下 ...
-
1138 次阅读|0 个评论
- 分享
OpenStack 创建快照(Create Snapshot)过程源码分析
-
2015-4-8 09:28
-
1. 背景： 一直以为OpenStack的创建快照的操作是在线创建快照（live snapshot）, 并且应该是增量的快照，即利用virsh或者qemu的live snapshot来实现的： virsh snapshot-create-as --live .... 后来发现快照和原始镜 ...
-
1461 次阅读|0 个评论
- 分享
OpenStack Icehouse error: Virtual Interface creation failed解决方法
-
2015-4-8 08:27
-
最近在ubuntu 14.04上通过devstack搭建OpenStack Icehouse，但是在创建instance时候报错：Virtual Interface creation failed，详细的错误可以从compute节点的log中获得（经过裁剪过的log）： TRACE nova.compute.manager: Traceback (most recent call last): TRACE nova.compute.manager: File "/home/stack/nov ...
-
949 次阅读|0 个评论
- 分享
Hadoop2.3、 Hbase0.98、 Hive0.13架构中Hive的安装部署配置以及数据测试
-
2015-4-6 21:32
-
1， 适用场景 Hive 构建在基于静态批处理的 Hadoop 之上， Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此， Hive 并不能够在大规模数据集上实现低延迟快速的查询，例如， Hive &n ...
-
2003 次阅读|1 个评论
- 分享
全分布式HBase启动后HMaster和HRegionServer自动消失
-
2015-4-5 23:54
-
我在三台主机上配置Hadoop 2.2.0 和HBase 0.98.3 (其自带的hadoop common的jar包就是2.2.0版本的)，一台机器为Debian 7.5, 机器名为psyDebian，运行namenode和datanode，另外两台为centos 6.5, 名字分别为centos1和centos2，运行datanode。Hadoop的hdfs运行良好，但在其基础上运行HBase时，刚开始启动良好，但是过一会后H ...
-
1439 次阅读|0 个评论
- 分享
Zookeeper中的ACL
-
2015-4-1 22:21
-
Access Control在分布式系统中重要性是毋庸置疑的，今天这篇文章来介绍一下Zookeeper中的Access Control(ACL)。 1. 概述 传统的文件系统中，ACL分为两个维度，一个是属组，一个是权限，子目录/文件默认继承父目录的ACL。而在Zookeeper中，node的ACL是没有继承关系的，是独立控制的。Zookeeper的ACL，可以从三个维度来 ...
-
1114 次阅读|0 个评论
- 分享
Hive整合Hamza安装指南
-
2015-3-30 21:06
-
1、首先将 hive-0.12.0-cdh5.1.2.tar.gz 解压到某台准备安装 hive 的机器上，比如我们放到 /usr/local 下面。 2、将以下几个 jar 包拷贝到 $HIVE_HOME/lib 目录下面： ant-1.9.1.jar ant-launcher-1.9.1.jar antlr-2.7.7.jar antlr-runtime-3.4.jar avro-1.7.5-cdh5.1.2.jar bonecp-0.7.1.RELEAS ...
-
712 次阅读|0 个评论
- 分享
nova-docker安装使用中遇到的一些问题（juno版）
-
2015-3-26 10:54
-
问题1： # python setup.py install Download error on https://pypi.python.org/simple/pbr/: _ssl.c:504: EOF occurred in violation of protocol -- Some packages may not be found! Couldn't find index page for 'pbr' (maybe misspelled?) Download error on https://pypi.python.org/simple/: ...
-
628 次阅读|0 个评论
- 分享
UTF8 与 UTF8 without BOM 之间的问题
-
2015-3-18 23:00
-
UTF-8 编码的文件可以分为 no BOM 和 BOM 两种格式。 何谓BOM？ "EF BB BF" 这三个字节就叫BOM，BOM的全称叫做" Byte Order Mard "。在utf－8文件中常用BOM来表明这个文件是UTF-8文件， 而BOM的本意实在utf16中用来表示高低字节序列的 。在字节流之前有 BOM表示采用低字节序列（低字节在前面），而utf8不用考虑字节序 ...
-
1156 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
