日志
云技术|
- 分享 通过 JMX 获取Hadoop/HBase监控数据
- 概述 说到对 Hadoop 和 HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用 zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带 了ganglia的接口，也还是觉得 ...
- 分享 对象存储系统Swift技术详解：综述与概念
- 0. 术语约定 ring 环 account 帐号 container 容器 object 对象 zone 区域 devcie 设备 partition 虚节点 replica 副本 replication 复制 Weight 权重 Cluster 集群 consistency window ...
- 分享 HBase 查找版本号
- 直接用hbase shell命令进入shell的时候就会显示版本号： 进入shell后，键入version命令，也可以查看版本号： # hbase shell HBase Shell; enter 'helpRETURN' for list of supported commands. Type "exitRETURN" to leave the HBase Shell Version 0.94.7, r1471806, Wed Apr 24 18:48:26 PDT 20 ...
- 分享 【模式识别】多层感知器 MLP
-
由前面介绍看到，单个感知器能够完成线性可分数据的分类问题，是一种最简单的可以“学习”的机器。但他无法解决非线性问题。比如下图中的 XOR问题 ：即（1,1）（-1,-1）属于同一类，而（1,-1）（-1,1）属于第二类的问题，不能由单个感知器正确分类。 即在Minsky和Papert的专著《感知器》所分析的：感知器只能解决 ...
- 分享 openstack基础之：什么是kvm及Kvm管理工具之virsh
- 问题导读 1.在Centos6中如何安装KVM？ 2.virsh提供哪两种执行模式？ 3.virsh是否允许把某一个虚拟机目前的设置值存储下来？ 什么是kvm? openstack学习之什么是hypervisor、KVM、Xen及他们之间的关系 openstack的虚拟化技术有个kvm，什么是kvm？什么qemu、libvirt？ 使用libvirt管理kvm虚拟机 上面 ...
- 分享 hadoop如何分发本地的jar文件
- 看了半天的hadoop源码，终于明白了hadoop是如何把本地的jar文件分发到每个TaskTracker上面了。 一般情况下，我们会使用下面的命令来运行一个hadoop任务： hadoop jar abc.jar arg0 arg1 ... 这个命令实际上是转化成下面的命令来运行的 javaorg.apache.hadoop.util.RunJarabc.jar arg0 arg1 ... ...
- 分享 openstack neutron网络组件作用记录
- neutron-server，用于接受API请求创建网络，子网，路由器等，然而创建的这些东西仅仅是一些数据结构在数据库里面 neutron-l3-agent，用于创建和管理虚拟路由器，当neutron-server将路由器的数据结构创建好，neutron-l3-agent是做具体事情的 neutron-openstackvswitch-plugin-agent，这个是用于创建L2层switch的 ...
- 分享 spark应用场景
- 问题 1 Spark怎么会那么快 2 Spark的适用场景。苦苦搜索，总得结果。 spark是对MapReduce计算模型的改进，可以说没有HDFS，MapReduce，就没有spark.尽管spark官网很少提到MapReduce. Spark可用于迭代，主要思想是内存计算，即将数据存到内存中，以提高迭代效率。 （我认为就是通过缓存数据的方式减少IO的消耗 ...
- 分享 提升HBase数据库 写入性能
- 调整参数 入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size 快速配置 Java代码 HTable htable = new HTable(config, tablename); htable.setWriteBufferSize(6 * 1024 * 1024); htable.setAutoFlush(false); 设置buffer的容量，例子中设置 ...
/2 
