about云每日一读汇总

2014-07-31每日一读
每天进步一点

OpenStack-Icehouse（nova-network）多节点块存储服务Cinder部署
http://www.aboutyun.com/thread-8581-1-1.html
1.Cinder支持哪些存储后端？
2.Cinder可以提供储存吗？
3.为何要配置Cinder API版本1和版本2的接口URL？
4.如何添加并配置一个存储节点？

OpenStack将提供对Docker的支持
http://www.aboutyun.com/thread-8580-1-1.html
1.Docker可以做什么？
2.NovaDockerDriver的原理是？
3.Docker如何与Heat集成？

Puppet自动安装OpenStack Nova
http://www.aboutyun.com/thread-8579-1-1.html
1.如何获取puppet模块？
2.如何使用puppet？
3.如何终止实例？

Cloud Foundry vcap_dev start过程分析
http://www.aboutyun.com/thread-8577-1-1.html
1、什么是options参数？
2、使用什么命令来启动所有的cf组件？

Spark1.0新特性-->Spark SQL
http://www.aboutyun.com/thread-8576-1-1.html
1、Spark SQL多了一个什么重要的功能？
2、Spark SQ支持哪些关系型查询表达式？

整理对Spark SQL的理解
http://www.aboutyun.com/thread-8575-1-1.html
1、Spark支持哪些特性？
2、Spark和Hadoop的对比是什么？
3、如何理解Spark的逻辑执行计划？

2014-07-30每日一读
每天进步一点

将 Ceph 存储集群集成到 OpenStack 云中
http://www.aboutyun.com/thread-8573-1-1.html
1.何谓Paxos 协商协议？
2.CRUSH如何减轻集群工作负载？
3.如何使用 CephFS 作为实例的后端？
4.如何集成ceph与glance？

OpenStack里的三种存储
http://www.aboutyun.com/thread-8572-1-1.html
1.Swift和Cinder究竟有何区别？
2.Swift可以应用在哪方面？
3.Glance包含哪些部分？

Spark快速上手之交互式分析
http://www.aboutyun.com/thread-8571-1-1.html
1、如何使用Python来分析数据文件？
2、如何理解Spark交互式分析？

解决cinder-volume错误问题及NTP配置详解
http://www.aboutyun.com/thread-8568-1-1.html
1.cinder-volume提示错误的可能原因？
2.ntp如何正确配置？
3.ntp有哪些比较坑爹的细节？

让你真正了解Log4j：Commons-logging + Log4j 使用方法、常见问题以及Log4j视频讲解
http://www.aboutyun.com/thread-8567-1-1.html
Commons-logging + Log4j 相结合有什么好处？
单独他们Commons-logging 、Log4j有什么不灵活之处？
System.out.println()存在什么局限？
Log4j日志有几个级别？
为什么要使用Log4j？

openstack dashboard登录报错'module' object has no attribute 'Login'解决
http://www.aboutyun.com/thread-8574-1-1.html

Spark美国峰会上几大顶级数据商精彩PPT分享
http://www.aboutyun.com/thread-8569-1-1.html

2014-07-29每日一读
每天进步一点

Openstack源代码分析之PasteDeploy+Webob实例以及PasteDeploy+Webob+Routes分析
http://www.aboutyun.com/thread-8551-1-1.html
1.什么是WSGI？
2.什么是WebOb？
3.在keystone处理时，如何实现路径映射（Routes）？

Spark MLlib系列——程序框架
http://www.aboutyun.com/thread-8552-1-1.html
1、如何对Spark中的mllib模块进行分析？
2、Spark实现机器学习算法的流程是怎样的？

Spark系列-转换与动作
http://www.aboutyun.com/thread-8553-1-1.html
1、Spark更加有效率运行的原理是什么？
2、如何理解转换、动作？

Spark aggregate介绍
http://www.aboutyun.com/thread-8554-1-1.html
1、如何了解Spark的功能？
2、什么是Spark aggregate？

java web零基础1： SpringMVC基础及传值（视频自动播放）
http://www.aboutyun.com/thread-8555-1-1.html

java web零基础2：SpringMVC REST简介及实现简单用户管理（一）（视频自动播放）
http://www.aboutyun.com/thread-8556-1-1.html

java web零基础3：实现简单用户管理（二、三）（视频自动播放）
http://www.aboutyun.com/thread-8557-1-1.html

java web零基础4：实现简单用户管理（四）及实现简单用户管理之使用JSON（视频自动.
http://www.aboutyun.com/thread-8558-1-1.html

java web零基础5：整合Hibernate实现一个用户之环境搭建及实现一Sitemesh：视频自...
http://www.aboutyun.com/thread-8559-1-1.html

java web零基础6：整合Hibernate实现一个用户小例子之实现CRUD及实现用户登录：视...
http://www.aboutyun.com/thread-8560-1-1.html

2014-07-28每日一读
每天进步一点

Openstack源代码分析之PasteDeploy+Webob实例以及PasteDeploy+Webob+Routes分析
http://www.aboutyun.com/thread-8551-1-1.html
1.什么是WSGI？
2.什么是WebOb？
3.在keystone处理时，如何实现路径映射（Routes）？

Spark MLlib系列——程序框架
http://www.aboutyun.com/thread-8552-1-1.html
1、如何对Spark中的mllib模块进行分析？
2、Spark实现机器学习算法的流程是怎样的？

Spark系列-转换与动作
http://www.aboutyun.com/thread-8553-1-1.html
1、Spark更加有效率运行的原理是什么？
2、如何理解转换、动作？

Spark aggregate介绍
http://www.aboutyun.com/thread-8554-1-1.html
1、如何了解Spark的功能？
2、什么是Spark aggregate？

java web零基础1： SpringMVC基础及传值（视频自动播放）
http://www.aboutyun.com/thread-8555-1-1.html

java web零基础2：SpringMVC REST简介及实现简单用户管理（一）（视频自动播放）
http://www.aboutyun.com/thread-8556-1-1.html

java web零基础3：实现简单用户管理（二、三）（视频自动播放）
http://www.aboutyun.com/thread-8557-1-1.html

java web零基础4：实现简单用户管理（四）及实现简单用户管理之使用JSON（视频自动.
http://www.aboutyun.com/thread-8558-1-1.html

java web零基础5：整合Hibernate实现一个用户之环境搭建及实现一Sitemesh：视频自...
http://www.aboutyun.com/thread-8559-1-1.html

java web零基础6：整合Hibernate实现一个用户小例子之实现CRUD及实现用户登录：视...
http://www.aboutyun.com/thread-8560-1-1.html

2014-07-26每日一读
每天进步一点

RDD：基于内存的集群计算容错抽象(一)
http://www.aboutyun.com/thread-8536-1-1.html
1、什么是Pregel容错？
2、如何实现RDD的在迭代计算？

hbase client访问的超时时间、重试次数、重试间隔时间的配置
http://www.aboutyun.com/thread-8537-1-1.html
1.socket超时你认为有几种？
2.哪些参数可以配置超时？

tomcat+eclipse web应用开发环境配置
http://www.aboutyun.com/thread-8538-1-1.html
1.如何配置tomcat插件？
2.如何创建web应用？
3.如何发布web应用？

新技术架起 Oracle、Hadoop、NoSQL数据存储之间的桥梁
http://www.aboutyun.com/thread-8540-1-1.html

2014-07-25每日一读
每天进步一点

Storm入门指南第三章拓扑结构
http://www.aboutyun.com/thread-8530-1-1.html
1、如何将topology部署到运行的Storm集群上？
2、Storm的工具LinearDRPCTopologyBuilder作用是什么？
3、流分组是什么？

Spark和Flume-ng整合
http://www.aboutyun.com/thread-8532-1-1.html
1、什么是Spark Streaming？
2、如何在Spark tandalone Mode下运行Scala程序？

VPNaaS in OpenStack
http://www.aboutyun.com/thread-8531-1-1.html
1、什么是VPN?
2、虚拟机之间如何互相访问？
3、集群中如何为OpenStack安装VPN？

问题：
flume1.5.0关于hdfs中存储文件问题
http://www.aboutyun.com/thread-8533-1-1.html

2014-07-24每日一读
每天进步一点

HBase异常：java.io.IOException: Connection reset by peer解决办法汇总
http://www.aboutyun.com/thread-8522-1-1.html
1.java.io.IOException: Connection reset by peer你认为是什么原因造成的？
2.java.io.IOException: Connection reset by peer你认为该如何解决？

HBase MapReduce实例分析
http://www.aboutyun.com/thread-8519-1-1.html
1.hbase的mapreduce与hadoop mapreduce的区别点在什么地方？
2.java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HTableDescriptor可能的解决方案是什么？

Spark源码编译遇到的问题解决
http://www.aboutyun.com/thread-8518-1-1.html
1、内存不足，怎么解决？
2、Maven无法下载mqtt-client-0.4.0.pom，怎么办？
3、编译Spark的时候需要用到什么？

Spark快速入门指导(Quick Start Spark)
http://www.aboutyun.com/thread-8517-1-1.html
1、如何学习Spark的API？
2、如何计算单词的数量？
3、Spark如何实现MapReduce流？

Spark读取Hbase中的数据
http://www.aboutyun.com/thread-8516-1-1.html
1、用什么方法直接从集合中获取数据？
2、在测试的时候，需要配置好哪些环境？

win7 git 组件下载
http://www.aboutyun.com/thread-8521-1-1.html
如何使用git上传本地代码（嵌入文件）
http://www.aboutyun.com/thread-8520-1-1.html

2014-07-23每日一读
每天进步一点

swift的部分代码概述和学习
http://www.aboutyun.com/thread-8509-1-1.html
1、什么是ring？
2、如何重新平衡ring文件？
3、swift对象信息的SQLite数据库是什么？

hadoop工作日志-安装，挂载HDFS
http://www.aboutyun.com/thread-8508-1-1.html
1、Hadoop三台机器之间如何建立互信连接？
2、启动了的Hadoop，怎样测试？
3、如何卸载、挂载HDFS？

Flume客户端flume-ng-log4jappender 负载平衡（LoadBalancingLog4jAppender）
http://www.aboutyun.com/thread-8507-1-1.html
1、负载均衡，日志方面需要哪些改进？
2、Flume如何实现负载均衡？

视频: 京东数据中心网络服务618大流量
http://www.aboutyun.com/thread-8506-1-1.html

视频: 电商海量订单处理OFC的关键技术环节
http://www.aboutyun.com/thread-8505-1-1.html

视频: 高性能，高并发的交易系统稳定性保障
http://www.aboutyun.com/thread-8504-1-1.html

资源：
CloudStack简介及hotcloud_spark_streaming文档下载
http://www.aboutyun.com/thread-8514-1-1.html

cloudstack笔记系列
http://www.aboutyun.com/thread-8513-1-1.html

AWS系列文档下载
http://www.aboutyun.com/thread-8511-1-1.html

spark系列文档下载
http://www.aboutyun.com/thread-8510-1-1.html

2014-07-22每日一读
每天进步一点

Cloudera：除下Impala支撑部分，一切都将迁移至Spark
http://www.aboutyun.com/thread-8503-1-1.html
1、SQL on Hadoop的未来是什么？
2、Spark和Impala的发展怎样，代替、同存？

Java 8的lambda使得编写Spark应用更简单
http://www.aboutyun.com/thread-8502-1-1.html
1、Spark 的什么版本支持java 8的lambda
2、Java7和Java8有什么不用？

以Spark为例浅谈源码跟读实践
http://www.aboutyun.com/thread-8500-1-1.html
1、如何学习Spark？
2、怎样来有效的阅读源代码？

2014-07-21每日一读
每天进步一点

CentOS6.4安装OpenStack Icehouse controller（一）
http://www.aboutyun.com/thread-8492-1-1.html
1、如何多节点安装OpenStack的I版本？
2、glance服务，怎样设置开机自启动？

CentOS6.4安装OpenStack Icehouse controller （二）
http://www.aboutyun.com/thread-8493-1-1.html
1、如何在OpenStack中设置安全组？
2、Nova怎么配置？

CentOS6.4安装OpenStack Icehouse controller （三）
http://www.aboutyun.com/thread-8494-1-1.html
1、什么是Cinder？
2、Cinder如何测试？

/bin/bash: line 0: fg: no job control常见解决方法
http://www.aboutyun.com/thread-8498-1-1.html
1./bin/bash:的原因是什么？
2.解决的步骤是什么？

hive原生和复合类型的数据加载和使用
http://www.aboutyun.com/thread-8499-1-1.html
1.hive原生有哪些数据类性？
2.你认为hive复合结构有哪些使用场景？
3.对于表之间到数据，多个字段对应另外一个表复合结构，该如何改变处理？

软件版本控制-在Windows中使用Git
http://www.aboutyun.com/thread-8495-1-1.html

问答：
Win7上用eclipse跑MR程序问题
http://www.aboutyun.com/thread-8497-1-1.html

2014-07-20每日一读
每天进步一点

如何使用pdb调试OpenStack Havana
http://www.aboutyun.com/thread-8475-1-1.html
1.Pdb调试Havana需要添加什么代码？
2.什么是Pdb？
3.pdb调试OpenStack Havana需要哪些步骤？

使用eclipse+pydev远程调试OpenStack
http://www.aboutyun.com/thread-8476-1-1.html
1.远程调试需要添加哪些代码？
2.eclipse端需要做哪些配置？

使用DevStack安装和配置OpenStack开发环境
http://www.aboutyun.com/thread-8477-1-1.html

1.DevStack的作用是什么？

2.如何下载DevStack库？

3.如何验证openstack是否安装成功？

devstack安装和测试
http://www.aboutyun.com/thread-8478-1-1.html

1.devstack安装之前需要做哪些准备？

2.如何下载源码？

3.通过什么命令可以运行运行Devstack？

OpenStack Icehouse 版本 All-in-one 离线安装指导
http://www.aboutyun.com/thread-8479-1-1.html
1.OpenStack Icehouse安装的前提是什么？
2.物理安装步骤有哪些？
3.虚拟机如何安装？

Openstack Ice-House 版本说明--之一 NOVA
http://www.aboutyun.com/thread-8480-1-1.html
Openstack Ice-House API做了哪些改变？
Openstack Ice-House Scheduler增加什么新内容？
/etc/nova/nova.conf文件的作用是什么？

Spark SQL深度理解篇：模块实现、代码结构及执行流程总览（一）
http://www.aboutyun.com/thread-8481-1-1.html
1、什么是Catalyst？
2、对Hive的兼容支持将转移到什么上？
3、TreeNode具备哪些对节点的操作方法？

Spark：一个高效的分布式计算系统
http://www.aboutyun.com/thread-8482-1-1.html
1.spark与hadoop有什么不同？
2.如何操作RDD?
3.Spark有哪些编程接口？

大数据计算新贵Spark在腾讯雅虎优酷成功应用解析
http://www.aboutyun.com/thread-8483-1-1.html

1. Spark vs MapReduce 有哪些优势？

2.Spark有哪些成功应用案例？

3.与Hive相比，Shark有哪些特性？

Spark SQL深度理解篇：模块实现、代码结构及执行流程总览（二）
http://www.aboutyun.com/thread-8484-1-1.html
1、如何理解SQL Core？
2、RDD支持的第三方格式有哪些？
3、SQLContext如何对sql执行解析？

在集群中Java 通过调用API操作HBase 0.98
http://www.aboutyun.com/thread-8485-1-1.html
Java如何调用API操作HBase？

Openstack Horizon Icehouse Blueprint简介
http://www.aboutyun.com/thread-8487-1-1.html

1.Openstack Horizon Icehouse在迁移方面有哪些改进？
2.RBAC是什么，有什么作用？
3.openstack支持到Django的哪个版本
4.openstack的代码清理工作由谁来完成？
5.Flavor是否可以限制虚拟机的磁盘IO和网络带宽？

测试OpenStack Icehouse Horizon —— 创建项目、用户创建网络
http://www.aboutyun.com/thread-8488-1-1.html
1.如何创建项目？
2.从哪可以创建用户？
3.如何获取管理员信息？
4.如何创建外网及私有网络

使用RDO 安装OpenStack Icehouse
http://www.aboutyun.com/thread-8489-1-1.html
1.使用RDO 安装OpenStack Icehouse如何配置本地软件源？
2.如何执行执行RDO 安装？
3.如何查看OpenStack 的运行状态？

openstack icehouse 3节点部署遇到的问题和解决方法
http://www.aboutyun.com/thread-8490-1-1.html

1.遇到错误，该如何查看错误原因？

2.openstack-nova-compute正常启动，进程不存在，可能原因是什么？

扩展：

3.openstack遇到错误，该如何入手解决问题？

OpenStack-Icehouse（nova-network）多节点块存储服务Cinder部署
http://www.aboutyun.com/thread-8491-1-1.html

1.cinder如何创建数据库？

2.如何配置数据库？

3.如何添加角色到admin?

4.如何添加一台存储节点，并添加一块硬盘？

2014-07-19每日一读
每天进步一点
about云分析discuz论坛apache日志hadoop大数据项目：数据库设计说明书
http://www.aboutyun.com/thread-8472-1-1.html

hive各种数据类型介绍
http://www.aboutyun.com/thread-8468-1-1.html
1.hive支持哪些原生数据类型？
2.hive有哪些复合类型？
3.hive null值代表什么？

OpenStack开发过程中常用Git操作场景
http://www.aboutyun.com/thread-8467-1-1.html
1、如何在本机上创建一个共享的git库？
2、Git的是什么，有什么优点？
3、如何往社区提交Bug？

CentOS5上Puppet安装配置（二）
http://www.aboutyun.com/thread-8466-1-1.html
1、如何为Puppet环境添加一个图形用户界面（GUI）？
2、怎样使用分类工具来配置主机？

CentOS5上Puppet安装配置（一）
http://www.aboutyun.com/thread-8465-1-1.html
1、什么是Puppet？
2、安装相应的rpm包需要注意什么？
3、如何安装配置Puppet环境？

问答：
quantum 命令无法使用
http://www.aboutyun.com/thread-8471-1-1.html
flume-ng如何对按小时滚动日志进行实时监控?
http://www.aboutyun.com/thread-8469-1-1.html
flume-ng 求助
http://www.aboutyun.com/thread-8464-1-1.html

2014-07-18每日一读
每天进步一点

Spark插件二次开发在Eclipse的调试配置
http://www.aboutyun.com/thread-8463-1-1.html
1.如何搭建spark二次开发环境？
扩展：
2.spark开发环境与hbase、hadoop开发环境搭建有什么相同之处？

编译 sqoop 1.4.4 for hadoop 2.4.1
http://www.aboutyun.com/thread-8462-1-1.html
1.编译 sqoop 1.4.4需要哪些软件？
2.如何在build.xml指定hadoop版本？
3.Compile failed; see the compiler error output for details.该如何解决？

无法访问Github，该如何更新OpenStack代码？
http://www.aboutyun.com/thread-8460-1-1.html

Flume-NG启动过程源码分析（一）
http://www.aboutyun.com/thread-8459-1-1.html
1、Flume起始于什么类？
2、no-reload-conf参数，决定采用的加载配置文件方式有哪几种？

Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持
http://www.aboutyun.com/thread-8458-1-1.html
1、如何修改修改getNextFile方法？
2、SpoolingFileLineReader类怎样增加方法？

Flume-NG源码阅读之SpoolDirectorySource
http://www.aboutyun.com/thread-8457-1-1.html
1、什么是flume的常用source？
2、channel只接收spooling directory中怎样的文件？

about云分析discuz论坛apache日志hadoop大数据项目：概要设计说明书
http://www.aboutyun.com/thread-8441-1-1.html

2014-07-17每日一读
每天进步一点

hive如何对复合数据类型创建索引
http://www.aboutyun.com/thread-8456-1-1.html
1.符合数据类型如何创建索引？
2.hive能否对其中属性做索引？

hive复合数据类型 array、map、struct使用
http://www.aboutyun.com/thread-8455-1-1.html
1.hive都支持什么复合数据类型?
2.如何创建带有Structs、Maps、Arrays：array的hive表？

Flume-NG源码阅读之HDFSEventSink
http://www.aboutyun.com/thread-8454-1-1.html
1.HDFSEventSink初始化参数的作用是什么？
2.HDFSEventSink初始化参数哪些是比较常用的？
3.如何设置事件刷新到HDFS之前的数量？
4.HDFSEventSink的start（）方法的作用是什么？
5.HDFSEventSink的stop（）方法的作用是什么？

Windows下通过cygwin架设sshd服务
http://www.aboutyun.com/thread-8453-1-1.html

1.sshd是否是Windows服务？

2.sshd的作用是什么？

3.sshd不能启动可能原因是什么？

国外MapReduce替代Spark？
http://www.aboutyun.com/thread-8452-1-1.html

1.spark比mapreduce的优势是什么？

2.为什么人们认为spark可能会取代mapreduce？

扩展：

根据目前中国的情况，你认为spark与mapreduce之间的关系是什么？

什么是cygwin？Cygwin能做什么？
http://www.aboutyun.com/thread-8451-1-1.html
1、什么是cygwin？
2.Cygwin能做什么？

使用Scala开发基于Hadoop的map reduce程序
http://www.aboutyun.com/thread-8450-1-1.html
1.如何使用脚本打包？
2.如何测试Scala代码？

深入分析HBase-Phoenix执行机制与原理
http://www.aboutyun.com/thread-8444-1-1.html
1、HBase上SQL解决方案有哪几种？
2、如何操作Phoenix？

Running Shark Locally 及可能出现的问题
http://www.aboutyun.com/thread-8443-1-1.html
1、如何安装配置Shark？
2、安装配置，常见的有哪几种错误，如何解决？

spark与shark的安装
http://www.aboutyun.com/thread-8442-1-1.html
1、启动Spark的命令是什么？
2、Spark的http端口是哪个？
3、为什么每个Slaves上都要安装Hive？

问答：

求助：关于hive查询hbase里的数据
http://www.aboutyun.com/thread-8448-1-1.html

cygwin装不上一直，郁闷
http://www.aboutyun.com/thread-8449-1-1.html

Flume按文件的方式导入hdfs的问题
http://www.aboutyun.com/thread-8447-1-1.html

2014-07-16每日一读
每天进步一点

about云分析discuz论坛apache日志hadoop大数据项目：需求分析说明书
http://www.aboutyun.com/thread-8433-1-1.html

在集群中Java 通过调用API操作HBase 0.98
http://www.aboutyun.com/thread-8434-1-1.html

1、怎样在集群中创建Java项目？
2、如何在java项目中调用api来操作hbase？
3、具体流程是什么？

Phoenix——向HBase发送标准SQL成为现实
http://www.aboutyun.com/thread-8435-1-1.html

1、什么是Phoenix呢？
2、Phoenix哪些需要重点学习？
3、如何使用 Phoenix与SQL结合？

Shark & Hive & Spark & Hadoop2 进行整合的测试
http://www.aboutyun.com/thread-8436-1-1.html

1、shark和hadoop2整合，有什么要求？
2、需要shark0.9.0 的什么版本？
3、怎么配置shark,hive,spark？

Shark Hive Spark Hadoop2 环境搭建
http://www.aboutyun.com/thread-8437-1-1.html

1、如何配置Scala？
2、如何配置Shark Hive Spark Hadoop2 单机运行环境？

spark技术探秘
http://www.aboutyun.com/thread-8438-1-1.html

1.spark是什么？
2.spark为什么节省磁盘io？
3.spark有哪两种容错方式？
4.什么是shark？
5.spark为什么擅长迭代运算？

资源：

spark英文资料汇总：30文档下载
http://www.aboutyun.com/thread-8439-1-1.html

C4.5算法、KNN算法相关文档下载
http://www.aboutyun.com/thread-8440-1-1.html

2014-07-15每日一读
每天进步一点

新 Azure SQL 数据库服务等级的性能
http://www.aboutyun.com/thread-8430-1-1.html
1.数据性能，用户比较关心的是什么？
2.什么因素影响系统的吞吐量？
3.数据库选用需要考虑什么问题？

百度应用引擎（BAE）初级使用教程+定制/搭建原版WP网站
http://www.aboutyun.com/thread-8431-1-1.html
1、什么是百度应用引擎？
2、如何搭建一个WP？

跨平台移动开发phonegap/cordova 3.3全系列教程-百度云推送push
http://www.aboutyun.com/thread-8432-1-1.html

如何使用百度云推送？

如何集成到phonegap/cordova？
如何针对一个或多个客户端进行发送？

2014-07-14每日一读
每天进步一点

Spark1.0.0 学习路线指导
http://www.aboutyun.com/thread-8421-1-1.html
1.什么是spark？
2.spark编程模型是什么？
3.spark运维需要具有什么知识？
4.spark如何监控？
5.如何搭建开发spark?

基于Hadoop的大规模数据排序算法
http://www.aboutyun.com/thread-8420-1-1.html
Secondsort的工作原理是什么？
如何实现Secondsort算法？
Terasort算法的流程是什么？
Terasort算法的关键点是什么？

Spark1.0.0 on Standalone 运行架构实例解析
http://www.aboutyun.com/thread-8422-1-1.html
1.启动spark的原理是什么？
2.启动spark-shell需要申请什么资源？

Spark1.0.0 编程模型
http://www.aboutyun.com/thread-8423-1-1.html
1.spark应用程序包含哪两个部分？
2.driver部分的作用是什么？
3.executor部分的作用是什么？
4.executor对于处理的数据分为几种？

Spark1.0.0 源码编译和部署包生成
http://www.aboutyun.com/thread-8424-1-1.html
1.Spark编译方式有几种？
2.如何使用maven编译？
3.如何生成spark部署包？

Spark1.0.0 on YARN 模式部署
http://www.aboutyun.com/thread-8425-1-1.html
Spark on YARN有哪两种模式？
Spark有哪些常用配置？
采用yarn-client方式部署有什么好处？

Spark1.0.0 Standalone HA的实现
http://www.aboutyun.com/thread-8426-1-1.html
1.Spark单点故障有几种解决方法？
2.基于文件系统的单点恢复适用于什么环境？
3.基于zookeeper的Standby Masters适用于什么环境？

Spark1.0.0 多语言编程之python实现
http://www.aboutyun.com/thread-8427-1-1.html
1.python开发Spark Application拥有哪些优势？
2.sogou日志数据分析python如何实现的？
3.Spark1.0.0的Python程序是否可以使用spark-submit提交？

Spark1.0.0 多语言编程
http://www.aboutyun.com/thread-8428-1-1.html
1.spark目前支持哪几种语言？
2.三种语言那种语言更适合开发spark？
3.spark可以用来做什么？

hbase数据快速导入方案--bulkload
http://www.aboutyun.com/thread-8418-1-1.html
1.bulkload有哪些使用场景？
2.hbase数据导入需要做哪些准备？
2.如何使用bulkload导入数据？

openstack实践、HA、商业模式探讨、新浪应用文档下载
http://www.aboutyun.com/thread-8419-1-1.html

2014-07-13每日一读
每天进步一点

hbase开源加载类 BulkLoader
http://www.aboutyun.com/thread-8417-1-1.html
1.BulkLoader的作用是什么？
2.如何加载多个文件？
3.素材太多的时候，加载进度会不准确该如何处理？

Python分词模块推荐：结巴中文分词
http://www.aboutyun.com/thread-8415-1-1.html

1.结巴分词支持哪三种分词模式？

2.结巴中文分词采用了什么算法？

Shark Hive Spark Hadoop2 环境搭建
http://www.aboutyun.com/thread-8414-1-1.html
1.Shark Hive Spark Hadoop2 单机运行环境如何搭建?
2.如何启动测试shark?
3.它们版本是如何对应的？

shark、hadoop2进行整合
http://www.aboutyun.com/thread-8413-1-1.html
1.shark和hadoop2 进行整合需要经过哪些步骤？
2.shark安装之前需要安装哪些软件？
3.shark与hadoop是如何整合的？

Shark本地安装及可能出现的问题
http://www.aboutyun.com/thread-8412-1-1.html
1.本地安装，shark如何配置？
2.一些常见错误解决方案？

Shark简介、部署及编译小结
http://www.aboutyun.com/thread-8411-1-1.html
1.shark为什么速度快？
2.如何部署shark?
3.如何编译？

Spark1.0.0 多语言编程之Scala实现
http://www.aboutyun.com/thread-8409-1-1.html
1.sogou日志数据分析scala是如何实现的？
2.客户端如何运行spark命令？
3.通过下面例子，对Scala的认识是什么？

58同城电话号码识别核心算法
http://www.aboutyun.com/thread-8416-1-1.html

2014-07-12每日一读
每天进步一点

Spark1.0.0 运行架构基本概念
http://www.aboutyun.com/thread-8396-1-1.html
1、Spark Application的运行架构有哪些组成？
2、Spark on YARN 的运行过程是什么？

Spark应用--日志处理实验之MapReduce方法
http://www.aboutyun.com/thread-8397-1-1.html
1、如何使用Spark处理日志数据？
2、日志数据都有什么不同之处？

Spark1.0.0 源码编译和部署包生成
http://www.aboutyun.com/thread-8398-1-1.html
1、如何对Spark1.0.0源码编译？
2、如何生成Spark1.0的部署包？
3、如何获取包资源？

零基础学习hadoop生态系统到上手工作线路指导（HBASE篇）
http://www.aboutyun.com/thread-8391-1-1.html

1.hbase是什么？

2.hbase原理是什么？

3.hbase使用中会遇到什么问题？

4.如何通过eclipse，操作hbase？

5.hbase经常和哪些软件一起使用？

hbase开发环境搭建及运行hbase小实例（HBase 0.98.3新api）
http://www.aboutyun.com/thread-8401-1-1.html
1.如何搭建hbase开发环境？
2.HTableDescriptor初始化产生了那些变化？
3.eclipse如何连接hbase集群？

Spark1.0.0 history server 配置和使用
http://www.aboutyun.com/thread-8402-1-1.html
Spark history server的作用是什么？
使用history server，对于提交应用程序的客户端需要配置哪些参数？
history server的服务端需要做哪些配置？

Spark1.0.0 开发环境快速搭建
http://www.aboutyun.com/thread-8403-1-1.html
1.spark是运行在什么平台的软件？
2.如何搭建开发环境？
3.spark调试有几种方法？

使用IntelliJ IDEA开发Spark1.0.0应用程序
http://www.aboutyun.com/thread-8404-1-1.html
1.IntelliJ IDEA如何下载安装，有几种方式安装scala插件？
2.如何建立spark应用程序？
3.如何部署spark程序？

Spark1.0.0 应用程序部署工具spark-submit
http://www.aboutyun.com/thread-8405-1-1.html
1.spark-submit的作用是什么？
2.如何查看spark-submit的各种命令？
3.spark-submit提交spark应用程序应注意什么问题？

Spark1.0.0 属性配置
http://www.aboutyun.com/thread-8406-1-1.html
1.Spark1.0.0提供了哪3种方式的属性配置？
2.Spark1.0.0中应用程序属性包含哪些配置项？
3.运行时环境包含哪些配置项？
4.执行操作包含哪些配置项?

wordcount运行问题
http://www.aboutyun.com/thread-8399-1-1.html

2014-07-11每日一读
每天进步一点

为什么要学习Spark？
http://www.aboutyun.com/thread-8387-1-1.html
1、什么是Spark的All-In-One的解决方案？
2、有这么多大数据平台，我们为什么要选择Spark？
3、Spark比mapreduce快的原因是什么？

Spark1.0.0 的新特性
http://www.aboutyun.com/thread-8388-1-1.html
1、Spark的最新版本是什么？
2、Spark的内核组件增加的是什么？
3、其他杂项功能是什么？

Spark1.0.0 生态圈一览
http://www.aboutyun.com/thread-8390-1-1.html

1、 Spark生态圈由哪些部分组成？
2、Spar和Hadoop MapRedeuce相比，有哪些优势？
3、Spark适用于哪些环境？

Spark1.0.0 应用程序部署工具spark-submit
http://www.aboutyun.com/thread-8389-1-1.html
1、Spar的应用程序部署工具都提供哪些功能？
2、Spar的应用程序部署工具有哪些？
3、什么是spark-submit？

有木有用spark sql的，怎么批量执行很多个 sql 语句呢
http://www.aboutyun.com/thread-8395-1-1.html
mapreduce运行 Updating completed job! Ignoring

http://www.aboutyun.com/thread-8394-1-1.html

myeclipse连接hadoop 运行程序报错 Unable to load native-hadoop library for
http://www.aboutyun.com/thread-8393-1-1.html

新手安装求助
http://www.aboutyun.com/thread-8392-1-1.html

2014-07-10每日一读
每天进步一点

Hive 0.13新增特性介绍
http://www.aboutyun.com/thread-8382-1-1.html

1.Hive0.13哪些技术提升了查询速度？

2.Hive0.13配置事务Hive中引入了哪十个新的配置？

3.Hive0.13哪些方便还有所改变？

Mahout算法调用展示平台2.1
http://www.aboutyun.com/thread-8383-1-1.html
1.本文需要哪些软件？
2.Mahout模块完成什么任务？
3.Hadoop模块的作用是什么？

hcatalog简介和使用
http://www.aboutyun.com/thread-8380-1-1.html
1.Hcatalog是什么？
2.HCatalog底层依赖于Hive Metastore，如何获取表结构？

nova账号无密码计算节点访问
http://www.aboutyun.com/thread-8378-1-1.html

1.如何可以用密钥，无密码访问所有的计算节点？

2.如何让文件夹复制到所有的计算节点上，并且运行文件夹下的脚本？

MapReduce获取分片数
http://www.aboutyun.com/thread-8379-1-1.html
1.程序会设置map的数目，那么map数目是怎样影响分片的数目的呢？
2.如果文件大小为0，是否会作为一个分片传给map任务？
3.哪个函数返回文件的分片数目？

hive修改表/分区语句
http://www.aboutyun.com/thread-8381-1-1.html
1.如何添加、删除分区？
2.如何修改分区操作？
3.如何添加、修改列？

问答：
namenode日志报错
http://www.aboutyun.com/thread-8377-1-1.html

问一下：storm中，当bolt或spout任务即将宕掉的时候，怎么做一些清理动作？
http://www.aboutyun.com/thread-8384-1-1.html

sqoop import报错java.sql.SQLEXCEPTION:Access denied for user
http://www.aboutyun.com/thread-8385-1-1.html

2014-07-09每日一读
每天进步一点

hbase、hadoop通过eclipse m2e maven插件获取源码产生execution错误解决方案
http://www.aboutyun.com/thread-8353-1-1.html
1.使用eclipse maven插件下载源码，pom.xml不能识别goal的原因是什么？
2.产生Plugin execution not covered by lifecycle configuration该如何解决？
3.pluginManagement标签的作用是什么？

hadoop 1.0.3 升级到 2.4.0 or 2.4.1
http://www.aboutyun.com/thread-8359-1-1.html

1.hadoop升级需要做哪些工作？

2.如何升级？

3.升级后能否搭建ha？

Window Azure云服务和虚拟机的预留 IP 地址
http://www.aboutyun.com/thread-8360-1-1.html
1.什么是预留 IP地址？
2.何时需要预留 IP地址？
3.为何要预留IP？
4.如何预留ip?

Spark源码系列（一）spark-submit提交作业过程
http://www.aboutyun.com/thread-8370-1-1.html
1.spark是如何提交作业的？
2.Akka框架是如何实现的？
3.如何实现调度的？

Spark源码系列（二）RDD详解
http://www.aboutyun.com/thread-8371-1-1.html
1.什么是RDD?
2.如何实现RDD转换？

Spark源码系列（三）作业运行过程
http://www.aboutyun.com/thread-8372-1-1.html
1.如何进行作业划分？
2.TaskScheduler如何提交Task？

Spark源码系列（四）图解作业生命周期
http://www.aboutyun.com/thread-8373-1-1.html
1.描述作业生命周期？
2.资源是如何调度的？

Spark源码系列（五）分布式缓存
http://www.aboutyun.com/thread-8374-1-1.html
spark缓存是如何实现的？

Spark源码系列（六）Shuffle的过程解析
http://www.aboutyun.com/thread-8375-1-1.html

1、shuffle过程的划分？

2、shuffle的中间结果如何存储？

3、shuffle的数据如何拉取过来？

R利剑NoSQL系列文章之Cassandra
http://www.aboutyun.com/thread-8366-1-1.html
1、如何将R语言和Nosql数据库结合使用？
2、什么是RCassandra函数库？

Java零基础@Override @Deprecated @SuppressWarnings诠释
http://www.aboutyun.com/thread-8354-1-1.html
1.Java内置了哪三种注解？
2.如何定义注解实例？
3.如何通过注解关闭警告？

数据挖掘入门指引视频
http://www.aboutyun.com/thread-8362-1-1.html

Apache OFBiz在电商网站的实践视频分享
http://www.aboutyun.com/thread-8361-1-1.html

资源：
hadoop应用开发技术详解代码下载
http://www.aboutyun.com/thread-8358-1-1.html

Openstack (version Icehouse)云计算架构部署实验
http://www.aboutyun.com/thread-8355-1-1.html

问答：
在storm集群上提交topo时，报Error on initialization of server mk-worker
http://www.aboutyun.com/thread-8369-1-1.html

求教 ~/.bashrc和/etc/profile　这两个文件到底有啥区别？
http://www.aboutyun.com/thread-8368-1-1.html

为什么64MB(或128MB或256MB)是最优选择？
http://www.aboutyun.com/thread-8357-1-1.html

hadoop在新的API中，Mapper和Reducer是抽象类,由接口变为抽象类,有什么好处？
http://www.aboutyun.com/thread-8356-1-1.html

2014-07-08每日一读
每天进步一点

开启hadoop和Hbase集群的lzo压缩功能
http://www.aboutyun.com/thread-8349-1-1.html
1.如何启动hadoop、hbase集群的压缩功能？
2.lzop的作用是什么？
3.hadoop配置文件需要做哪些修改？

HBase中如何开发LoadBalance插件
http://www.aboutyun.com/thread-8350-1-1.html
1.开发LoadBalancer插件，需要继续那个接口？
2.定制LoadBalancer插件需要哪两个步骤？
3.HBase中默认的Balance策略是否考虑每个Table内部的Regions在所有RegionServers中的均衡？

关于Strom on Yarn的问题
http://www.aboutyun.com/thread-8351-1-1.html

为什么要将storm运行在yarn上？

如何将storm运行在yarn上？
Strom on yarn需要注意哪些问题？

storm on yarn最简单安装
http://www.aboutyun.com/thread-8352-1-1.html
我们知道了storm on yarn的架构和意义，那么如何一步一步安装storm on yarn呢？

2014-07-07每日一读
每天进步一点

零基础学习hadoop到上手工作线路指导（编程篇）
http://www.aboutyun.com/thread-8329-1-1.html
1.hadoop编程需要哪些基础？
2.hadoop编程需要注意哪些问题？
3.如何创建mapreduce程序及其包含几部分？
4.如何远程连接eclipse，可能会遇到什么问题？
5.如何编译hadoop源码？

plyr第一周作业-基本计算
http://www.aboutyun.com/thread-8347-1-1.html
1、R的内置数据集有哪些？
2、如何利用利用plyr包函数？

用数据说话——通过因子分析对NBA教练水平排序
http://www.aboutyun.com/thread-8344-1-1.html
1、如何进行因子分析？
2、如何鉴于因子分析，进行测试模型？

R利剑NoSQL系列文章之 Hive
http://www.aboutyun.com/thread-8346-1-1.html
1、什么是RHive？
2、RHive的基本操作有哪些？

问答：
求大神帮忙理清一下 stream tuple fields这三者之间的关系
http://www.aboutyun.com/thread-8348-1-1.html

2014-07-06每日一读
每天进步一点
Hadoop2.2防止误删机制Trash测试
http://www.aboutyun.com/thread-8341-1-1.html
1.如何配置hadoop回收站机制？
2.删除hadoop文件后，被删文件被放到什么位置？
3.如何恢复被删除文件？

数据控使用Hadoop的三种最常用方式
http://www.aboutyun.com/thread-8339-1-1.html
1、分析Hadoop应用程序有哪些模式？
2、传统的数据库应用程序将逐渐被Hadoop应用程序取代吗？

大型银行如何拥抱内存数据库架构
http://www.aboutyun.com/thread-8337-1-1.html
1、业务中使用内存数据库的好处？
2、内存数据库是如何引领创新的？

HBase数据迁移（1）-使用HBase的API中的Put方法
http://www.aboutyun.com/thread-8336-1-1.html
1、将数据导入HBase中有哪些方式？
2、如何理解使用Put方法实现Hbase数据迁移的运行原理？

数据到底如何搞定电影票房预测？
http://www.aboutyun.com/thread-8335-1-1.html
1、如何运用数据搞定电影票房预测？
2、运用数据预测电影票房，需要考虑哪些？

12306网站：分布式内存数据技术为查询提速75倍
http://www.aboutyun.com/thread-8334-1-1.html
1、什么是GemFire分布式内存数据技术？
2、12306购票网站是如何实现大规模访问？

开放式创新——OpenStack生态圈简评
http://www.aboutyun.com/thread-8333-1-1.html
1、Openstack在国内DIY用户的发展？
2、OpenStack生态系统将会重新洗牌吗？

大数据的安全底线
http://www.aboutyun.com/thread-8332-1-1.html
1、企业如何应对大数据安全与挑战？
2、大数据安全与传统信息安全有什么不一样？

R语言为Hadoop集群数据统计分析带来革命性变化
http://www.aboutyun.com/thread-8330-1-1.html
1、R语言如何与Hadoop结合？
2、R语言有哪些图形用户界面？

云计算新动向：IT从业者被引向数据挖掘
http://www.aboutyun.com/thread-8328-1-1.html
1、云计算和数据挖掘的关系是什么？

笨办法学R编程（三）
http://www.aboutyun.com/thread-8327-1-1.html
1、什么是apply函数？
2、如何采用质因子分解的思路编程？

笨办法学R编程（二）
http://www.aboutyun.com/thread-8326-1-1.html
1、如何编写for循环、和自定义函数？
2、什么是sapply函数？

笨办法学R编程（一）
http://www.aboutyun.com/thread-8324-1-1.html
1、我们如何去学习一门新的编程语言？
2、R语言如何入门？

世界各国频出政策支持云计算产业
http://www.aboutyun.com/thread-8323-1-1.html
1、新信息时代，各国政府对云计算发展是如何推动的？
2、我国，又该如何发展，有哪些助推点？

分析比特币背后的数据算法，抢占背后巨大市场先机
http://www.aboutyun.com/thread-8338-1-1.html

问题推荐：
centos下实用Eclipse链接hadoop，一直报错
http://www.aboutyun.com/thread-8342-1-1.html
求教两个架构师面试题，如何构建hadoop团队
http://www.aboutyun.com/thread-8340-1-1.html

2014-07-05每日一读
每天进步一点

基于Flume的美团日志收集系统(一)架构和设计
http://www.aboutyun.com/thread-8317-1-1.html
1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？
2.架构设计考虑需要考虑什么问题？
3.Agent死机该如何解决？
4.Collector死机是否会有影响？
5.Flume-NG可靠性(reliability)方面做了哪些措施？

基于Flume的美团日志收集系统(二)改进和优化
http://www.aboutyun.com/thread-8318-1-1.html

1.Flume的存在些什么问题？

2.基于开源的Flume美团增加了哪些功能？

3.Flume系统如何调优？

如何让传统程序转换成mapreduce
http://www.aboutyun.com/thread-8314-1-1.html
1.传统程序有什么特点？
2.mapreduce如何实现的分布式？
3.是否所有的传统程序都可以转换为mapreduce?

2014年八大最热门的大数据工作
http://www.aboutyun.com/thread-8313-1-1.html

flume 插件开发介绍
http://www.aboutyun.com/thread-8315-1-1.html
如何开发sink插件？
插件开发完毕如何加入到flume中？

ambari hadoop统一部署
http://www.aboutyun.com/thread-8316-1-1.html

1.安装ambari需要哪些基本工具？

2.安装ambari需要做哪些准备？

3.安装之后如何查看ambari-server状态？

2014-07-04每日一读
每天进步一点

hadoop2.4新api编程：Hadoop Tool,ToolRunner原理分析
http://www.aboutyun.com/thread-8302-1-1.html
1.Tool是接口还是类？
2.Tool继承了那个类？
3.Tool与ToolRunner的关系是什么？
4. Tool与ToolRunner作用分别是什么？

通过实例让你真正明白mapreduce---填空式、分布（分割）编程
http://www.aboutyun.com/thread-8303-1-1.html
1.如何在讲mapreduce函数中的字符串等信息，输出到eclipse控制台？
2.除了使用下文方法，还有其它方法输出到控制台？
3.map中，系统默认接受的value值是什么？
4.reduce输出不是自己想要的结果，可能的原因是什么？

hbase数据删除不释放region解决办法
http://www.aboutyun.com/thread-8306-1-1.html
1.删除hbase数据有几种方法？
2.删除数据，region不释放，你认为该如何解决？

windows通过hadoop-eclipse-plugin插件远程开发hadoop运行mapreduce遇到问题及解决
http://www.aboutyun.com/thread-8311-1-1.html
1.如何使用hadoop-eclipse-plugin远程连接hadoop？
2.使用window远程连接hadoop,运行mapreduce与Linux运行mapreduce的区别是什么，需要添加什么内容？
3.window中运行mapreduce，缺少hadoop.dll，与winutils.exe会产生什么错误？

HBase实现记录定期定量删除
http://www.aboutyun.com/thread-8307-1-1.html
1、如何定期删除数据？
2、如何在数据超过阈值时删除数据？

Mahout学习之Mahout简介、安装、配置、程序测试
http://www.aboutyun.com/thread-8308-1-1.html
1.Mahout是什么？
2.Mahout与hadoop的关系是什么？
3.在Mahout实现了哪些机器学习算法？
4.如何使用Mahout？

maven项目使用java.lang.ClassNotFoundExceptionhttp://www.aboutyun.com/thread-8311-1-1.html
1.你对maven了解多少
2.java.lang.ClassNotFoundException: org.springframework.web.c可能原因是什么，如何解决？

问答：
hbase删除数据的问题
http://www.aboutyun.com/thread-8304-1-1.html
在eclipse中查看hadoop远程文件，出现Editor could not be initialized.
http://www.aboutyun.com/thread-8301-1-1.html

2014-07-03每日一读
每天进步一点

hbase在360的应用及使用过程中遇到的问题及解决方案
http://www.aboutyun.com/thread-8298-1-1.html
1.360为什么使用hbase?
2.调用Put接口写入数据，写入性能丌高效的原因是什么？该如何解决？
3.bulkImport的数据导入阶段较慢原因是什么？
4.bulkImport后，compaction操作会产生大量IO原因是什么？该如何解决？

hadoop使用中出现Java heap space解决方案汇总
http://www.aboutyun.com/thread-8299-1-1.html
1.hadoop的mapreduce作业中出现Java heap space，你认为该如何解决？
2.Maven编译出现“java.lang.Java heap space”，该如何解决？
3.eclipse内存溢出报错：java.lang.OutOfMemoryError:Java heap space，该如何解决？

Hadoop-2.3.0-cdh5.0.0获取源码及编译
http://www.aboutyun.com/thread-8300-1-1.html
1.获取cdh5.0.0源码，你认为需要做哪些准备，需要安装哪些软件？
2.如何通过maven获取源码？
3.如何编译源码？

人人网如何使用MySQ（图解)
http://www.aboutyun.com/thread-8297-1-1.html

各位好，请教个flumeng问题
http://www.aboutyun.com/thread-8295-1-1.html

2014-07-02每日一读
每天进步一点

hbase编程：Java API连接Hbase进行增删改查讲解实例
http://www.aboutyun.com/thread-8290-1-1.html

1.哪个Java api负责表的创建于删除？

2.哪个Java api负责对记录的增删该查？

3.如何加载配置信息？

4.使用那些api可以实现对表记录增删改查？

5.如何通过maven下载源码

hadoop2.4 ha(双namenode自动故障转移安装)
http://www.aboutyun.com/thread-8294-1-1.html
1.hadoop ha是通过什么配置实现自动切换的？
2.配置中mapred与mapreduce的区别是什么？
3.hadoop ha两个namenode之间的关系是什么？

hive数据倾斜原因分析及解决方案
http://www.aboutyun.com/thread-8287-1-1.html
1.hive数据倾斜有哪些原因造成的？化过程中，遇到了数
2.数据倾斜可以修改哪些参数？
3.有数据倾斜的时候进行负载均衡，可以通过哪个参数来设置？

hadoop基础：认识HDFS
http://www.aboutyun.com/thread-8292-1-1.html
什么是hdfs数据块？
元数据节点包含哪些文件夹结构？
数据节点的目录结构是什么样子的？
hdfs的写文件过程是什么样子的？

hadoop2.2Linux（centos）伪分布搭建
http://www.aboutyun.com/thread-8293-1-1.html
1.伪分布与完全分布的区别是什么？
2.伪分布dfs.replication为几？
3.伪分布步骤与完全分布的区别在什么地方？

mapreduce 多种输入
http://www.aboutyun.com/thread-8289-1-1.html
1.如何多个路径，mapreduce如何实现？
2.多种输入，mapreduce如何实现？

问答：
hadoop yarn webapp
http://www.aboutyun.com/thread-8291-1-1.html

相关内容

about云每日一读汇总（第三篇2014.10.20）
about云每日一读汇总（第二篇）