立即注册 登录
About云-梭伦科技 返回首页

arsenduan的个人空间 https://www.aboutyun.com/?1407 [收藏] [复制] [分享] [RSS]

日志

分享 openstack出现WARNING: Bypassing authentication using a token & endpoint (authe
2015-4-13 00:32
openstack出现 WARNING: Bypassing authentication using a token endpoint (authentication credentials are being ignored). 执行下面命令即可解决: unset OS_SERVICE_TOKEN OS_SERVICE_ENDPOINT
961 次阅读|0 个评论
分享 京东私有云三大技术方向解析
2015-4-5 23:28
京东私有云三大技术方向解析
要强调的是,刘海锋和他的团队所负责的是京东私有云项目(京东基础云服务)。不是对外提供云服务的京东公有云。而这种共存的状态,在亚马逊、阿里、腾讯以及其他多家互联网企业中都存在。 京东的发展速度有目共睹。反应到业务与产品上,就是国际化、拍拍、广告、商城、金融、智能硬件、新业务的齐头并进。而底层,自然需 ...
791 次阅读|0 个评论
分享 Spark0.91使用sbt编译Unresolved依赖问题
2015-4-4 00:03
最近测试一下spark0.91编译hadoop0.20.2-cdh3u5. 使用sbt/sbt assembly来编译发布。 修改hadoop的版本号,这样才能和HDFS通讯哈。 view plaincopy object SparkBuild extends Build { // Hadoop version to build against. For example, "1.0.4" for Apache releases, or // "2.0.0-m ...
650 次阅读|0 个评论
分享 CDH 版本后面的+548是啥意思
2015-4-2 00:15
CDH 版本后面的+548是啥意思
小版本号
468 次阅读|0 个评论
分享 Java调用Hbase
2015-3-30 23:57
遇到的问题 1、java调用hbase时(hbase0.96)报以下错误: Exception in thread "main" java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:383) at org.apache.hadoop.hbase.client.HConnectio ...
1349 次阅读|0 个评论
分享 Spark中,分享Java和Scala APIs
2015-3-29 15:21
分享Java和Scala APIs 一旦你有了一个SparkContext,它将服务作为你的主入口点。您能够使用SparkContext实例来发布更多的Spark工作,并且添加或者删除依赖。你能够使用非数据驱动的方法,这些方法如下所示: addJar(path) 为后来的job工作添加jar文件这将贯穿于SparkCo ...
456 次阅读|0 个评论
分享 Spark Web界面
2015-3-29 15:20
Spark Web界面
1.7 Spark Web 界面 每一个SparkContext发布一个web界面,默认端口是4040,它显示了应用程序的有用信息。这包括: Ø 一系列的调度阶段和任务 Ø 对于RDD大小和内存使用的总结 Ø 环境信息 Ø 运行的执行器(executor)的信息 &n ...
702 次阅读|0 个评论
分享 Ubuntu14.04配置jdk1.8.0_25,可切换版本
2015-3-23 00:36
下载jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 解压: sudo mkdir /usr/lib/jvm sudo tar zxvf /home/用户名/Downloads/jdk-8u25-linux-i586.tar.gz -C /usr/lib/jvm 修改环境变量: //经过测试此处可以不配置,配置后就不能通过下面命令切换版本 ...
585 次阅读|0 个评论
分享 cinder学习之 分布式存储系统sheepdog
2015-3-22 18:58
cinder学习之 分布式存储系统sheepdog
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备。 其架构如下: 下面,我们将从架构、模块等几个方面来介绍下: 一、架构图 如上图: 采用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展; 新增节点通过简单配置可自动加入 ...
1047 次阅读|0 个评论
分享 cinder学习之什么是LVM,LVM的作用
2015-3-22 18:48
什么是LVM LVM(Logical Volume Manager,逻辑卷管理器)是一种把硬盘驱动器空间分配成逻辑卷的方法,使硬盘不必使用分区也能被简单地重新划分大小。传统上,一个分区大小是静态的。假如一个用户在这个分区上没有空间时,他要么重新分区(这可能要求整个操作系统重装),要么像符号连接一样使用组装机。 ...
851 次阅读|0 个评论
关闭

推荐上一条 /2 下一条