分享

about云每周经典回顾汇总

hyj 发表于 2014-6-8 00:41:23 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 16 38016
本帖最后由 nettman 于 2014-12-28 21:01 编辑




about云2014年最后一周经典回顾


Spark1.2新特性介绍
http://www.aboutyun.com/thread-10797-1-1.html
1.在传大量数据的情况下,communication manager换成netty-based的实现了,实现这个功能有什么好处?
2.Spark SQL中缓存表一定要用cacheTable(“tableName”)这种形式,为什么?


数据挖掘入门——分词
http://www.aboutyun.com/thread-10795-1-1.html
1.如何才能让数据发挥最大价值?
2.分词的作用是什么?
3.如何让程序识别句子中的时间?比如“上午”、“下午2点”?


Hive未来两年的路线图
http://www.aboutyun.com/thread-10825-1-1.html
1、Hive将实现哪些关键特性?
2、Hive将获得哪些增强?


机器学习领域的几种主要学习方式,如深度学习
http://www.aboutyun.com/thread-10858-1-1.html
1.机器学习领域有几种主要学习方式?
2.什么是监督式学习?
3.什么是非监督式学习?


Spark社区的圣诞礼物 : Spark Package
http://www.aboutyun.com/thread-10767-1-1.html
1.什么是Spark Package?
2.本文spark Package各自的作用是什么?


计算Job运行时的CPU与内存平均利用率(MapReduce)
http://www.aboutyun.com/thread-10764-1-1.html
1.数据采集什么时候开始与结束?
2.如何获取运行task的JVM pid?


IT人员——如何树立个人品牌
http://www.aboutyun.com/thread-10762-1-1.html
1、你认为,IT人员需要树立个人品牌吗?
2、如何树立个人品牌?

中国移动云计算探索与实践
http://www.aboutyun.com/thread-10726-1-1.html
1.移动互联网的发展与云计算应用有什么关系?
2.中国移动对云计算有何行动?

跟着实例学习ZooKeeper的用法: 分布式锁
http://www.aboutyun.com/thread-10725-1-1.html
1.ZooKeeper recipes wiki定义了可协商的撤销机制,如何撤销mutex?
2.可以在多个线程中用同一个InterProcessMutex?为什么?

Spark 独立部署模式
http://www.aboutyun.com/thread-10723-1-1.html
1.spark独立部署如何访问hadoop集群数据?
2.spark有哪些启动脚本?
3.如何手动启动集群?

使用 Puppet 在 Windows Azure 中配备 Linux 和 Windows 环境
http://www.aboutyun.com/thread-10730-1-1.html
1.微软开放技术的成果分为哪几部分?分别是什么?
2.如何管理虚拟网络?


乐视+微软:借力Azure布局海外,实现全球视频云服务
http://www.aboutyun.com/thread-10826-1-1.html


深入浅出解析大数据平台架构(1)
http://www.aboutyun.com/thread-10815-1-1.html

深入浅出解析大数据平台架构(2)
http://www.aboutyun.com/thread-10816-1-1.html


资源:

数据可视化之美中文版及英文版
http://www.aboutyun.com/thread-10859-1-1.html



Pig安装与Pig Latin语言,应用案例视频下载
http://www.aboutyun.com/thread-10845-1-1.html


ETL kettle 视频教程
http://www.aboutyun.com/thread-10841-1-1.html

hive介绍视频
http://www.aboutyun.com/thread-10831-1-1.html

solr一套视频
http://www.aboutyun.com/thread-10830-1-1.html

lucene视频教程
http://www.aboutyun.com/thread-10789-1-1.html

12月19日(北京站)分享嘉宾PPT
http://www.aboutyun.com/thread-10785-1-1.html

ubuntu 14.04.1安装openstack_juno
http://www.aboutyun.com/thread-10775-1-1.html

(hadoop2.6)HDFS中的集中化缓存管理
http://www.aboutyun.com/thread-10735-1-1.html

Mahout实践指南书籍分享
http://www.aboutyun.com/thread-10715-1-1.html


问答:

全分布式hbase启动报错
http://www.aboutyun.com/thread-10835-1-1.html

机器学习、统计分析、数据挖掘、神经网络、人工智能、模式识别之间的关系是什么?
http://www.aboutyun.com/thread-10827-1-1.html


【求助】关于HIVE数据倾斜的问题
http://www.aboutyun.com/thread-10801-1-1.html

yarn下nodemanager的识别问题
http://www.aboutyun.com/thread-10784-1-1.html

【解决】关于Hive的Reduce数量的问题
http://www.aboutyun.com/thread-10781-1-1.html


每天有多个几十G的数据文件入库,使用哪种入库方式来提高效率?
http://www.aboutyun.com/thread-10774-1-1.html

求教 storm 的Rebalance
http://www.aboutyun.com/thread-10772-1-1.html

【解决】HIVE如何执行?
http://www.aboutyun.com/thread-10768-1-1.html

【已解决】:Request returned failure status.HTTPInternalServerError (HTTP 500)
http://www.aboutyun.com/thread-10752-1-1.html

关于mapreduce中启动时,指定日志文件的问题
http://www.aboutyun.com/thread-10750-1-1.html

我想了解一下大家用什么Linux
http://www.aboutyun.com/thread-10743-1-1.html


【解决】dfs.datanode.max.locked.memory 这个参数的作用
http://www.aboutyun.com/thread-10733-1-1.html

【解决】关于Yarn资源管理的问题
http://www.aboutyun.com/thread-10731-1-1.html






about云2014年12月第三周经典回顾


yum入门: CentOS yum 源的配置与使用
http://www.aboutyun.com/thread-10715-1-1.html
1.yum 的理念是什么?
2.yum 主要功能是什么?
3.如何配置本地yum?

IT行业的职业规划:技术可作为切入点
http://www.aboutyun.com/thread-10707-1-1.html
1、你如何看待IT行业的职业发展方向?
2、IT行业和其他行业,有何不同?
3、你了解自己的职业规划是什么吗?


百度首席科学家吴恩达谈百度人工智能项目进展情况:深度学习炒作过热
http://www.aboutyun.com/thread-10703-1-1.html

Spark 1.2 发布,做了哪些改进
http://www.aboutyun.com/thread-10697-1-1.html
1.spark做了哪些改进?
2.本文认为spark与hadoop的关系是什么?

对互联网海量数据实时计算的理解
http://www.aboutyun.com/thread-10683-1-1.html


探寻从HDFS到Spark的高效数据通道:以小文件输入为案例
http://www.aboutyun.com/thread-10668-1-1.html
1.LDA的有哪两个实际使用场景?
2.对节点集合进行排序本文说了哪两种方法?

面对新语言和跳槽,程序员如何保持技术优势?
http://www.aboutyun.com/thread-10667-1-1.html

MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
http://www.aboutyun.com/thread-10665-1-1.html
1.hbase的BulkLoad有哪些优点?
2.hbase的BulkLoad这种方式有哪些限制?

MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
http://www.aboutyun.com/thread-10665-1-1.html
1.hbase的BulkLoad有哪些优点?
2.hbase的BulkLoad这种方式有哪些限制?


Spark 配置指南
http://www.aboutyun.com/thread-10652-1-1.html
1.Spark可以在哪三个地方配置系统?
2.如何实现动态加载Spark属性?

机器学习经典算法详解及Python实现---Logistic回归(LR)分类器
http://www.aboutyun.com/thread-10650-1-1.html
1.梯度下降法如何求解Logistic回归?
2.什么是Logistic回归(LR)分类器?
3.什么是随机梯度算法?


云计算、物联网的意义在于收集和处理数据,软件行业需集中发展IaaS和建设高速宽带
http://www.aboutyun.com/thread-10632-1-1.html
1.你认为物联网与云计算有什么结合点?
2.云计算发展的局限性在什么地方?

技术走向管理一些深度思考
http://www.aboutyun.com/thread-10630-1-1.html

[Python]网络爬虫(一)、(二)
http://www.aboutyun.com/thread-10626-1-1.html
问题1:URL由哪几部分组成?
问题2:如何区分URL和URI?




资源:

Mahout实践指南书籍分享
http://www.aboutyun.com/thread-10715-1-1.html

全面系统的介绍OpenStack的生态链和相关技术
http://www.aboutyun.com/thread-10684-1-1.html


openstack的neutron介绍
http://www.aboutyun.com/thread-10685-1-1.html

storm集群搭建八视频及相关包下载
http://www.aboutyun.com/thread-10658-1-1.html

storm+kafka环境搭建视频
http://www.aboutyun.com/thread-10657-1-1.html

OpenStack公有云案例分享下载
http://www.aboutyun.com/thread-10653-1-1.html

openstack管理和测试
http://www.aboutyun.com/thread-10646-1-1.html

openstack 实战指南
http://www.aboutyun.com/thread-10633-1-1.html



问答:

SparkStreaming获取hdfs数据问题
http://www.aboutyun.com/thread-10694-1-1.html

运行一个map/reduce程序不成功,请教大虾!
http://www.aboutyun.com/thread-10672-1-1.html

hadoop2集群怎么规划
http://www.aboutyun.com/thread-10671-1-1.html

storm执行过程中出现EndOfStreamException
http://www.aboutyun.com/thread-10655-1-1.html


luna连接hadoop
http://www.aboutyun.com/thread-10631-1-1.html




about云2014年12月第二周经典回顾
基于Hadoop,智能家居与云计算关系全解
http://www.aboutyun.com/thread-10514-1-1.html
1、Hadoop的核心思想是什么?
2、你如何理解智能家居?
3、你如何看待,基于Hadoop的智能家居与云计算关系?


发布Apache Hadoop 2.6.0亮点——异构存储及hadoop2.7.0展望
http://www.aboutyun.com/thread-10516-1-1.html
1.YARN支持长时间运行的服务的特点,有利于哪些服务运行在yarn上?
2.加强支持异构存储层的HDFS有什么好处?

大数据面试题
http://www.aboutyun.com/thread-10521-1-1.html


Spark 快速入门(版本spark1.1.1)
http://www.aboutyun.com/thread-10530-1-1.html
1.spark RDD的transformation和action的作用是什么?
2.spark RDD的transformation和action能够如何组合?


Spark 开发指南(版本spark1.1.1)
http://www.aboutyun.com/thread-10531-1-1.html
1.Spark中RDD是什么?
2.Spark支持哪两种类型的共享变量?
3.如何将一些Spark的类和隐式转换导入到程序中?
4.Spark Scala API读取数据,除了支持文本文件,还支持什么格式?
5.RDD有哪种操作?
6.spark有哪些通用转换和动作?
7.spark中如果RDD的任一分区丢失了,spark是如何处理的?


hadoop 2.6.0单节点-伪分布式模式安装
http://www.aboutyun.com/thread-10554-1-1.html


深入浅出Docker(二):Docker命令行探秘
http://www.aboutyun.com/thread-10556-1-1.html
1、如何快速掌握Docker命令行?
2、如何登录Hub服务?

3、你如何理解docker的应用?

hadoop MapReduce - 从作业、任务(task)、管理员角度调优
http://www.aboutyun.com/thread-10557-1-1.html
1.Combiner的作用是什么?
2.作业级别参数如何调优?
3.任务及管理员级别有哪些可以调优?

lucene(全文搜索)_建立索引_根据关键字全文搜索_源码下载
http://www.aboutyun.com/thread-10567-1-1.html

搭建hadoop2.6.0 HA及YARN HA
http://www.aboutyun.com/thread-10572-1-1.html
1.hadoop2.x哪两种HDFS HA的解决方案?
2.本文采用的哪种HA方式,HA是如何配置的?


2014中国大数据行业大调查:开发者究竟需要什么?你该如何抓住这次IT革命
http://www.aboutyun.com/thread-10573-1-1.html
1.通过本文的调查,对大数据平台有需求的公司中规模都是多少人?
2.目前企业对大数据的投入达到什么程度?
3.大数据仍然只在少数公司的生产环境投入使用的原因是什么?

扩展:
4.思考面对大数据,你该如何学习和抓住这次机遇?


hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档
http://www.aboutyun.com/thread-10593-1-1.html

面试hadoop可能被问到的问题,附部分参考答案
http://www.aboutyun.com/thread-10595-1-1.html

人工智能不止包含云技术、大数据、机器学习,还包含哪些技术
http://www.aboutyun.com/thread-10501-1-1.html

人脸识别SDK 介绍及sdk库下载
http://www.aboutyun.com/thread-10499-1-1.html

Apache Hadoop 2.6.0 新特性
http://www.aboutyun.com/thread-10491-1-1.html


资源:

大数据取舍之道、大数据营销、大数据时代、互联网大规模数据挖掘与分布式处理等书籍
http://www.aboutyun.com/thread-10565-1-1.html

hadoop大数据平台应用案例详细分析(5案例概述)及大数据时代预见的新思维
http://www.aboutyun.com/thread-10596-1-1.html


涂子沛《正在到来的数据革命:大数据》及大数据时代的历史机遇-产业变革与数据科学
http://www.aboutyun.com/thread-10575-1-1.html


浙江大学译美国白宫”大数据“白皮书
http://www.aboutyun.com/thread-10558-1-1.html

日志分析代码git下载
http://www.aboutyun.com/thread-10515-1-1.html

机器学习视频(100视频)、文档、书籍大全
http://www.aboutyun.com/thread-10502-1-1.html


问答:

hdfs 内存增加
http://www.aboutyun.com/thread-10550-1-1.html

Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
http://www.aboutyun.com/thread-10549-1-1.html


数据分析的项目
http://www.aboutyun.com/thread-10538-1-1.html

pig两张表字段相同取出不同的值
http://www.aboutyun.com/thread-10523-1-1.html

初学者学习搭建hadoop集群使用哪个hadoop版本比较好
http://www.aboutyun.com/thread-10505-1-1.html






about云2014年12月第一周经典回顾


Spark源代码在Eclipse3.5.2中的部署、编译、运行
http://www.aboutyun.com/thread-10434-1-1.html
1.如何下载spark源码?
2.如何将源码导入eclipse中?


大数据图数据库之MapReduce用于图计算
http://www.aboutyun.com/thread-10433-1-1.html
1、如何使用Mapreduce进行图计算?
2、单源最短路径计算结束的标志是什么?
3、Reduce阶段的输入数据来自哪里?

Google在大数据应用上的技术及互补MapReduce技术介绍
http://www.aboutyun.com/thread-10427-1-1.html
1.什么技术能够解决 MapReduce 无法处理个别更新的问题?
2.那个技术更适于用来处理网络社交关係的图型结构计算?


hadoop网盘小项目介绍及相关代码下载1
http://www.aboutyun.com/thread-10422-1-1.html
1.本文安装了哪些软件?
2.使用了Java什么技术?


hadoop网盘小项目介绍及相关代码下载2
http://www.aboutyun.com/thread-10423-1-1.html
1.如何调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能?
2.结合web前台和hadoop api结合点在什么地方?


hadoop网盘小项目介绍及相关代码下载3
http://www.aboutyun.com/thread-10424-1-1.html



NoSQL数据库的分布式算法
http://www.aboutyun.com/thread-10416-1-1.html
1、分布式策略有哪些内容?
2、什么是NoSQL运动发展的的主要理由?
3、什么是反熵协议, 谣言传播算法?


初学hbase:认识hbase表结构
http://www.aboutyun.com/thread-10415-1-1.html
1.hbase什么是列?
2.hbase如何表示cell?
3.hbase中Row Key的作用是什么?

程序员生存定律--表达背后的力量
http://www.aboutyun.com/thread-10461-1-1.html

15道使用频率极高的基础算法题
http://www.aboutyun.com/thread-10458-1-1.html
1、常见的基础算法题都有哪些?
2、如何理解反转单链表?
3、怎样合并链表和合并数组?


sqoop开发指南--开发入门教程
http://www.aboutyun.com/thread-10445-1-1.html
1.Sqoop开发需要哪些基础知识?
2.Sqoop到数据原理是什么?
3.Sqoop程序由哪个类驱动?

让你真正明白容器技术--容器技术对IT行业的影响及在游戏云应用展望
http://www.aboutyun.com/thread-10393-1-1.html
1.什么是容器?
2.容器是如何发展起来的?
3.容器技术有哪些优势?
4.传统游戏后台架构存在哪些问题?
5.容器对于开发人员带来哪些好处?


我心中的虚拟化和云计算
http://www.aboutyun.com/thread-10380-1-1.html

配置Openstack 中最复杂灵活的网络模型:每个租户都拥有自己的路由及内部网络
http://www.aboutyun.com/thread-10379-1-1.html
1、你如何理解Openstack 的网络模型?
2、如何通过iptables 设置让虚拟机nat上网?
3、Controller Node需要配置哪些?



问答:

mondrian 能过jdbc与impala 连接
http://www.aboutyun.com/thread-10429-1-1.html

hadoop程序转为Spark程序遇到的问题
http://www.aboutyun.com/thread-10411-1-1.html


spark和storm的选择:哪个平台更适合机器学习
http://www.aboutyun.com/thread-10455-1-1.html

hadoop整合web报错java.lang.ClassNotFoundException: com.google.common.base.Pre
http://www.aboutyun.com/thread-10392-1-1.html







资源:

spark源码下载、、导入项目、部署、编译、及源码分析文档分享
http://www.aboutyun.com/thread-10436-1-1.html

首本《OpenStack Juno for RHEL、CentOS、Fedora安装指南》中文版分享
http://www.aboutyun.com/thread-10428-1-1.html

百度分布式技术文档
http://www.aboutyun.com/thread-10407-1-1.html

hadoop开发者四期
http://www.aboutyun.com/thread-10406-1-1.html

MapReduce构造多维数据及关联规则挖掘算法及Hadoop的学习资源分布模型设计研究
http://www.aboutyun.com/thread-10460-1-1.html

learning spark 英文版【95页】
http://www.aboutyun.com/thread-10442-1-1.html

openstack部署开发高可用手册、通过devstack自动部署Openstack icehouse 版本
http://www.aboutyun.com/thread-10388-1-1.html

hadoop在淘宝、阿里巴巴、支付宝、百度、京东解说
http://www.aboutyun.com/thread-10385-1-1.html

html5资源下载
http://www.aboutyun.com/thread-10386-1-1.html


hadoop文档、淘宝、华为、Hue、storm等文档
http://www.aboutyun.com/thread-10384-1-1.html

机器学习20文档分享及淘宝分布式框架
http://www.aboutyun.com/thread-10374-1-1.html


百度云开发教程
http://www.aboutyun.com/thread-10383-1-1.html

hadoop整套课程
http://www.aboutyun.com/thread-10382-1-1.html







about云2014年11月第五周经典回顾

逃不掉的双十一 可怕的分布式架构隐患
http://www.aboutyun.com/thread-10252-1-1.html
1、你如何理解淘宝的分布式架构?
2、你如何理解当今互联网的去 IOE?
3、什么是CAP定律?



hadoop2.5.2汇总:新增功能最新编译 32位、64位安装、源码包、API、eclipse插件下载
http://www.aboutyun.com/thread-10255-1-1.html


基于Storm的Nginx log实时监控系统
http://www.aboutyun.com/thread-10227-1-1.html
1.本文选择Storm的原因什么?
2.Storm架构是怎样的?



Apache Spark源码走读之1 -- Spark论文阅读笔记
http://www.aboutyun.com/thread-10258-1-1.html
1、Spark部署和运行过程是怎样的?
2、RDD的组成部分和作用是什么?
3、静态模型与动态模型之间的关系是什么?
4、spark上进行task集群管理的方式有哪几种?作用是什么?


Apache Spark源码走读之2 -- Job的提交与运行
http://www.aboutyun.com/thread-10265-1-1.html
1、spark实验环境搭建流程是什么?
2、spark中job的生成和运行流程具体步骤是?
3、Spark布置环境中组件构成分为哪几部分?



HTML5 入门指南
http://www.aboutyun.com/thread-10268-1-1.html
1.HTML5到底是什么?
2.为什么要用HTML5?
3.HTML5有哪些技术组成?


hadoop2.4.1集群安装spark1.1.0
http://www.aboutyun.com/thread-10277-1-1.html
1.spark on yarn你认为有什么优势?
2.spark on yarn该如何配置?
3.spark on yarn如何提交job?


Zookeeper源码分析之一Server启动
http://www.aboutyun.com/thread-10281-1-1.html
1.Zookeeper Server启动包含哪些流程?
2.server的数据恢复包含哪些过程?



PHP系统设计与云架构
http://www.aboutyun.com/thread-10296-1-1.html


HadoopDoctor:来自腾讯数据仓库TDW的MR诊断系统
http://www.aboutyun.com/thread-10298-1-1.html
1.什么是HadoopDoctor?
2.MapReduce V1架构下的HadoopDoctor与MapReduce V2架构下的HadoopDoctor有什么不同?
3.HadoopDoctor的基本架构包括什么?


零基础学习openstack【完整中级篇】及openstack资源汇总
http://www.aboutyun.com/thread-10306-1-1.html
1.你是如何学习openstack的?
2.你对openstack的组件了解多少?
3.你认为openstack该如何学习?


2015年哪些IT技能最受关注
http://www.aboutyun.com/thread-10308-1-1.html



云技术大数据新闻:美国最大婚恋网站eHarmony利用Hadoop、OpenStack重构自己
http://www.aboutyun.com/thread-10310-1-1.html



网易OpenStack部署运维实战
http://www.aboutyun.com/thread-10311-1-1.html
1.openstack的使用过程中所有组件是否必须齐全?
2.能否描述网易云平台的架构?
3.网易是如何优化openstack的性能的?



快数据,大数据后的下一个热点
http://www.aboutyun.com/thread-10350-1-1.html
1、你如何,大数据在精确预测方面怎样?
2、大数据建立的应用模型能取代实时的心理反馈数据吗?
3、大数据和快数据的关系如何?



Bitly:构建月处理60亿点击的分布式系统
http://www.aboutyun.com/thread-10324-1-1.html
1.本文是如何解释分布式系统的本质?
2.实现分布式系统的策略是什么?


Kafka和Spring集成实战及总结
http://www.aboutyun.com/thread-10321-1-1.html
1.Kafka和Spring集成需要哪些哪些软件?
2.如何实现Kafka和Spring集成?


资源:

about云资源汇总指引V1.6:包括hadoop,openstack,storm,spark等视频文档书籍汇总
http://www.aboutyun.com/thread-10302-1-1.html

hadoop、storm、数据挖掘等文档分享
http://www.aboutyun.com/thread-10301-1-1.html

kafka系列中英文资料、ppt、pdf及代码下载
http://www.aboutyun.com/thread-10275-1-1.html

基于Storm进行实时网络攻击检测及数据挖掘文档下载
http://www.aboutyun.com/thread-10226-1-1.html

编译hadoop2.5.2经验总结、问题分析及下载32位、64位安装包下载
http://www.aboutyun.com/thread-10256-1-1.html




问答:
有storm相关的视频可以下载的吗?
http://www.aboutyun.com/thread-10347-1-1.html

如何保留spill的结果
http://www.aboutyun.com/thread-10328-1-1.html

问个比较基础的Storm代码问题
http://www.aboutyun.com/thread-10316-1-1.html

hadoop海量图像处理
http://www.aboutyun.com/thread-10307-1-1.html

往hdfs上追加数据
http://www.aboutyun.com/thread-10305-1-1.html

线上flume重启后数据丢失
http://www.aboutyun.com/thread-10260-1-1.html

${mapred.local.dir}的选择策略
http://www.aboutyun.com/thread-10259-1-1.html

请教:mapreduce作业中的多指标去重问题
http://www.aboutyun.com/thread-10257-1-1.html







about云2014年11月第四周经典回顾



零基础学习openstack【初级篇】
http://www.aboutyun.com/thread-10061-1-1.html


零基础学习openstack(上)【中级篇】
http://www.aboutyun.com/thread-10124-1-1.html

Apache Spark技术实战之5 -- spark-submit常见问题及其解决
http://www.aboutyun.com/thread-10083-1-1.html
1.spark-defaults.conf修改后,会造成哪些影响?
2.spark-env.sh中SPARK_MASTER_IP该如何指定?
3.spark-submit可能会遇到哪些问题?


从Storm和Spark学习流式实时分布式计算的设计
http://www.aboutyun.com/thread-10200-1-1.html
1.在为什么互联网公司都在追求流式实时分布式计算系统?
2.流式计算的背景和特点有哪些?
3.Spark和Storm是如何设计的?
4.Spark和Storm的消息是如何传递和分发的?
5.为什么要保证高可用?
6.如何保证数据的丢失?
7.如何与公司已有的生产环境进行融合?

HBase ORM SimpleHBase设计
http://www.aboutyun.com/thread-10197-1-1.html
1.SimpleHBase是Java和HBase之间的轻量级中间件,主要包含哪些功能?
2.SimpleHBase的设计理念为:贴近HBase的ORM设计,理念的优点是什么?

云计算架构师必读1——设计模式:缓存预留模式
http://www.aboutyun.com/thread-10140-1-1.html
1.缓存预留模式有什么优势?
2.商业缓存系统存在什么问题,文中又是如何解决的?
3.在决定如何实现这个模式时,应该考虑哪些问题?

云计算架构师必读6——云计算设计模式:命令和查询职责分离(CQRS)模式
http://www.aboutyun.com/thread-10145-1-1.html
1.命令和查询职责分离(CQRS)模式的背景是什么?
2.命令和查询职责分离(CQRS)模式是为了解决什么问题?
3.命令和查询职责分离(CQRS)模式适合什么情况?
4.当使用命令和查询职责分离(CQRS)模式考虑什么问题?



让你真正明白cinder与swift、glance的区别
http://www.aboutyun.com/thread-10060-1-1.html
1.你认为cinder与swift区别是什么?
2.cinder是否存在单点故障?
3.cinder是如何发展而来的?


阿里四轮面试总结
http://www.aboutyun.com/thread-10207-1-1.html

程序员面试宝典+剑指Offer + 算法100题系列 + 15个经典算法下载
http://www.aboutyun.com/thread-10208-1-1.html

腾讯,创新工场,淘宝等公司最新面试三十题(1)
http://www.aboutyun.com/thread-10135-1-1.html

十个海量数据处理方法大总结
http://www.aboutyun.com/thread-10132-1-1.html

海量数据处理面试题集锦
http://www.aboutyun.com/thread-10131-1-1.html

编程面试的10大算法概念汇总
http://www.aboutyun.com/thread-10112-1-1.html


问答:

块副本在DataNode上的放置策略
http://www.aboutyun.com/thread-10196-1-1.html

job.setGroupingComparatorClass无法正常执行
http://www.aboutyun.com/thread-10176-1-1.html

请教个难题:map方法中如何才能加载spring中的bean?
http://www.aboutyun.com/thread-10129-1-1.html

关于数据存到hdfs:如何追加内容到hdfs文件
http://www.aboutyun.com/thread-10070-1-1.html

资源:

storm实时流计算应用开发框架-天罡从需求到技术方案介绍
http://www.aboutyun.com/thread-10183-1-1.html

Spark 开发环境IntelliJ IDEA图文教程、视频系统教程
http://www.aboutyun.com/thread-10122-1-1.html

Openstack入门基础知识51页ppt【推荐】
http://www.aboutyun.com/thread-10057-1-1.html







about云2014年11月第三周经典回顾


MapReduce解决方案在金融行业中的运用
http://www.aboutyun.com/thread-9908-1-1.html
1、MapReduce解决方案在金融行业中的运用有哪些?
2、什么是Platform Symphony MapReduce?
3、Platform Symphony MapReduce为企业级MapReduce应用提供了哪些功能呢?

一小时了解数据挖掘①:解析常见的大数据应用案例
http://www.aboutyun.com/thread-9920-1-1.html
1、数据挖掘在日常生活中,有哪些具体应用?
2、数据挖掘是如何解决问题的?
3、如何更好的发展数据挖掘?



大数据在京东用户画像技术曝光
http://www.aboutyun.com/thread-9930-1-1.html
1、为什么要做用户画像呢?
2、怎么做,做好了后用户画像怎么用?



HBase中MVCC的实现机制及应用介绍
http://www.aboutyun.com/thread-9934-1-1.html
1.什么是MVCC
2.MVCC基本原理的基本原理是什么?
3.hbase中通过哪个方法使用MVCC进行写操作?



小白都能看明白的VLAN原理解释
http://www.aboutyun.com/thread-9937-1-1.html
1.什么是汇聚链接?
2.什么是VLAN
3.为什么需要VLAN
4.VLAN的作用是什么?


从零开始,成为数据科学“大咖”
http://www.aboutyun.com/thread-9977-1-1.html
1、你如何看待,学校教育的短板?
2、对于立志成为数据科学“大咖”的人,推荐继续阅读哪些书?
3、可以利用哪些途径,成为“大咖”?

Hive 并发模型
http://www.aboutyun.com/thread-9975-1-1.html
1、Hive表锁的兼容性有哪些?
2、表T的S锁和X锁,规定有哪些?


sqoop 常用命令整理
http://www.aboutyun.com/thread-9983-1-1.html
1.sqoop是否支持复杂语句
2.sqoop如果存在就更新,不存在就插入,这是什么模式?


程序员如何快速准备面试中的算法
http://www.aboutyun.com/thread-10001-1-1.html
1.备战面试中的算法,可以进行哪些步骤?
2.如果要面机器学习一类的岗位,可以看看哪些书籍?
3.去国外找工作的话,可以查看哪些国外的编程面试网站?
4.校招和社招分别需要注意哪些事项?

从贝叶斯方法谈到贝叶斯网络
http://www.aboutyun.com/thread-10006-1-1.html
1.贝叶斯方法的提出是如何提出的?
2.贝叶斯式的思考方式是什么?
3.贝叶斯式的思考与非黑即白的思想有什么不一样?

谈谈分布式计算的算子层及常见算子层对比(Trident、RDD等对比)
http://www.aboutyun.com/thread-9912-1-1.html




百度人搜,阿里巴巴,腾讯华为笔试面试题(1)
http://www.aboutyun.com/thread-10017-1-1.html

百度人搜,阿里巴巴,腾讯华为笔试面试题汇总(2)
http://www.aboutyun.com/thread-10018-1-1.html

阿里巴巴CTO 谈对云计算的认识
http://www.aboutyun.com/thread-9944-1-1.html




问答:

hadoop Map如何读取数据块
http://www.aboutyun.com/thread-10026-1-1.html

hive查询数据与查完之后保存到hdfs上的数据不一样
http://www.aboutyun.com/thread-10008-1-1.html

hadoop2.5中hdfs写入中文乱码问题?
http://www.aboutyun.com/thread-10007-1-1.html

【求助】There is an overlap in the region chain.重叠问题
http://www.aboutyun.com/thread-9986-1-1.html


在Ubnutu上创建多个用户使用jps查看hadoop信息
http://www.aboutyun.com/thread-9984-1-1.html


Storm 并行读取文件
http://www.aboutyun.com/thread-9974-1-1.html

怎么修改HDFS大小
http://www.aboutyun.com/thread-9914-1-1.html

sbt assembly打包问题
http://www.aboutyun.com/thread-9909-1-1.html


资源:

Python搜索爬虫视频教程
http://www.aboutyun.com/thread-9990-1-1.html

sparkSQL1.1入门线路指导
http://www.aboutyun.com/thread-9958-1-1.html





about云2014年11月第二周经典回顾



百度实时计算平台的实现和应用
http://www.aboutyun.com/thread-9870-1-1.html
1、百度自主研发了国内哪几种规模最大的实时计算平台?
2、TM平台是如何对RTB实时竞价进行join计算的?
3、Dstream应用的业务场景是什么?

Spark vs. MapReduce 时间节约66%,计算节约40%
http://www.aboutyun.com/thread-9869-1-1.html
1、TDW Spark与MapReudce有哪些不同?
2、传统的MapReduce/Pig类框架存在着哪方面严重的性能问题?
3、你如何理解TDW Spark在基于物品的协同过滤推荐算法上的优势?


apache kafka开发环境搭建
http://www.aboutyun.com/thread-9854-1-1.html
1.什么是gradle,作用是什么?
2.如何用gradle构建产生IDEA工程文件?
3.log4j.properties该如何设置?

想学大数据、云技术、IT人、大学生必读的一篇文章:如何快速掌握一门技术
http://www.aboutyun.com/thread-9899-1-1.html

hadoop、openstack web编程必读:什么是REST----RESTful架构起源及讲解
http://www.aboutyun.com/thread-9883-1-1.html

10个面试题,问出真正优秀程序员
http://www.aboutyun.com/thread-9841-1-1.html


资源

openstack在企业(京东)的应用及其它各种openstack资料
http://www.aboutyun.com/thread-9897-1-1.html

淘宝技术这十年,完整最终确认版
http://www.aboutyun.com/thread-9896-1-1.html

about云课程视频下载
http://www.aboutyun.com/thread-9863-1-1.html

about云开发课程1:Linux(ubuntu)桌面版虚拟机网络搭建
http://www.aboutyun.com/thread-9858-1-1.html

系统讲解Libvirt Qemu KVM ppt(250页)
http://www.aboutyun.com/thread-9840-1-1.html

系统讲解 Openvswtich (138页)ppt分享
http://www.aboutyun.com/thread-9839-1-1.html

问答

hadoop 数据存储问题
http://www.aboutyun.com/thread-9864-1-1.html

关于任务调度时遇到的几个问题,求大家解惑
http://www.aboutyun.com/thread-9809-1-1.html

hive在hadoop yarn下执行sql报错,job.xml does not exist
http://www.aboutyun.com/thread-9808-1-1.html

求解hbase配置,master起不起来。
http://www.aboutyun.com/thread-9807-1-1.html







about云2014年11月第一周经典回顾



Spark的现状与未来发展
http://www.aboutyun.com/thread-9724-1-1.html
1.Spark的发展历史?
2.Spark的特色有哪些?
3.Tachyon与HDFS相比,怎样?
4.字数统计算法在java 8中如何实现?
5.Spark目前支持哪些语言的开发?
6.Spark社区正在努力解决哪三个问题?

Python 3开发网络爬虫(一)
http://www.aboutyun.com/thread-9744-1-1.html
1、你怎样考虑选择Python版本?
2、如何用Python简单处理URL呢?
3、如何使用data字典?


openstack开发之通过eclipse导入openstack源码(python)高可靠文档
http://www.aboutyun.com/thread-9752-1-1.html
1.eclipse导入openstack源码需要什么条件?
2.keystone下载下来,导入不成功,可能的原因是什么?
扩展
3.如何下载openstack指定的项目?


移动应用发展趋势:HTML5和云服务受关注
http://www.aboutyun.com/thread-9735-1-1.html
1、HTML5还需要往哪些方面发展?
2、开发者主要倾向于什么方向?
3、你如何看待移动行业的成熟?


Java使用百度云存储BCS-让你的数据下载飞起来
http://www.aboutyun.com/thread-9766-1-1.html
1、如何选择阿里云存储和百度云存储?
2、怎样来理解上传与删除文件代码?
3、如何获取Object的下载地址?

如何修改(mapreduce)reduce执行后文件的文件名、目录等
http://www.aboutyun.com/thread-9711-1-1.html
1.如何修改reduce执行后文件名称?
2.实现自定义文件的输出,由哪个类来实现?

大话西游云计算:刻舟求剑之云标记
http://www.aboutyun.com/thread-9754-1-1.html

程序员职业规划--十年后你该做什么
http://www.aboutyun.com/thread-9753-1-1.html



如何在大学里成为IT技术大神
http://www.aboutyun.com/thread-9769-1-1.html

问答:

大家看看hadoop这个方法是干什么用的?
http://www.aboutyun.com/thread-9774-1-1.html

没见过mapreducer的项目,想自己学着写一个但是遇见了问题
http://www.aboutyun.com/thread-9756-1-1.html

在提交Topology时报的错误,大侠指点下,是哪里的问题呢
http://www.aboutyun.com/thread-9718-1-1.html

请教问题:实时计算+storm+流处理,谢谢
http://www.aboutyun.com/thread-9712-1-1.html

hive shell的mr始终0%问题
http://www.aboutyun.com/thread-9709-1-1.html

资源:

storm性能测试方法介绍、得出结果及分析分享
http://www.aboutyun.com/thread-9740-1-1.html

程序员跳槽攻略
http://www.aboutyun.com/thread-9732-1-1.html

基于OpenStack构建网易云主机服务
http://www.aboutyun.com/thread-9727-1-1.html

百度媒体云技术及架构及互联网系统的稳定性保证:微博的实践
http://www.aboutyun.com/thread-9726-1-1.html



about云2014年10月第三周经典回顾


数据流分流和合并
http://www.aboutyun.com/thread-9606-1-1.html
1、如何理解分流?
2、怎样定义输出流格式?
3、如何识别出数据的来源?

什么是最好的企业私有云部署模式?
http://www.aboutyun.com/thread-9662-1-1.html
1.如今云部署的最终思考?
2.为什么关注焦点要从评估转至云实施?
3.当你实施云部署模式时,有哪些是应当改变的?又有哪些是不应当改变的?
4.有什么是不宜迁入云的呢?


开发人员必读openstack网络基础6:什么是Tap/Tun、网桥
http://www.aboutyun.com/thread-9676-1-1.html
1.什么是什么是Tap/Tun?
2.网桥的作用是什么?


sqoop使用经验总结及问题汇总
http://www.aboutyun.com/thread-9638-1-1.html
1.导入数据到HDFS,需要注意什么?
2.在测试sqoop语句的时候,如何限制记录数量?
3.sqoop导入时什么情况下会多导入一条数据?


OpenStack Juno发布说明(新增功能及改变)【中文版】
http://www.aboutyun.com/thread-9597-1-1.html
1.OpenStack对象存储(Swift)哪些新功能?
2.Neutron增加了哪些功能?
3.OpenStack调度做了哪些改变?
4.Openstack镜像服务 (Glance)有哪些新功能?
5.OpenStack鉴权服务(Keystone)新功能有哪些?
6.OpenStack遥测(Ceilometer)新增哪些功能?
7.OpenStack 编排(Heat)实现了哪些新的资源类型?


阿里云:LVS在大规模网络环境中的应用(有视频自动播放)
http://www.aboutyun.com/thread-9677-1-1.html

阿里2015校招面试回忆(成功拿到offer)
http://www.aboutyun.com/thread-9608-1-1.html

百度2015校园招聘面试题(成功拿到offer)
http://www.aboutyun.com/thread-9607-1-1.html

面试题、经验分享及新手问答整理
http://www.aboutyun.com/thread-9581-1-1.html

问答
虚拟机上搭建hadoop完全分布式该采用什么连接方式呢
http://www.aboutyun.com/thread-9599-1-1.html

控制节点ping不通网络节点,但网络节点可以ping通控制节点,这是怎么回事呢
http://www.aboutyun.com/thread-9590-1-1.html

MapReduce不执行Reduce
http://www.aboutyun.com/thread-9587-1-1.html


资源

基于hadoop平台的新闻云方案设计、基于蚁群算法的云计算联盟资源调度文档分享
http://www.aboutyun.com/thread-9678-1-1.html

阿里CDN核心技术:构建高效、安全的CDN
http://www.aboutyun.com/thread-9639-1-1.html

百分点大数据实时计算实践:架构和算法、1号店个性化推荐实践、华为二级索引
http://www.aboutyun.com/thread-9623-1-1.html

hbase 实战中文版及英文版
http://www.aboutyun.com/thread-9621-1-1.html

Mahout算法解析及案例实战
http://www.aboutyun.com/thread-9601-1-1.html












about云2014年10月第一二周经典回顾



学习Storm、Spark Streaming流式实时分布式计算系统的设计要点
http://www.aboutyun.com/thread-9457-1-1.html
1.流式实时分布式计算系统有哪些共同特征,产生的背景是什么?
2.原语设计的有哪些要点?
3.元语设计中Spark、storm是如何设计的?
4.Storm有哪六种消息分发模式?


什么是流式思维?
http://www.aboutyun.com/thread-9567-1-1.html
1.为什么会提出流式思维?
2.面向函数流式特点?
3.流式思维应用在架构设计上有哪些好处?


让你真正明白什么是storm
http://www.aboutyun.com/thread-9547-1-1.html
1.你认为什么图形可以显示hadoop与storm的区别?
2.本文是如何形象讲解hadoop与storm的?
3.hadoop map/reduce对应storm那两个概念?
4.storm流由谁来组成?
5.tuple具体是什么形式?

大数据处理分析的六大工具
http://www.aboutyun.com/thread-9488-1-1.html

大数据最新技术:快速了解分布式计算:Google Dataflow
http://www.aboutyun.com/thread-9471-1-1.html
1.Dataflow当前的API支持什么语言?
2.相比原生的map-reduce模型,Dataflow哪些优点?
3.Dataflow与Cascading、Spark有什么区别和联系?

分布式与集群的区别
http://www.aboutyun.com/thread-9474-1-1.html
1、如何理解分布式技术?
2、如何理解集群概念?
3、Linux集群主要有哪几类?
4、你如何理解分布式与集群的区别?


简单的Spark应用源码案例
http://www.aboutyun.com/thread-9544-1-1.html
1、你如何理解Spark的应用场景?
2、Spark的 "reduce"和MapReduce有什么区别?
3、为什么Spark比MapReduce更受欢迎呢?


七种基于云计算的日志分析管理工具
http://www.aboutyun.com/thread-9540-1-1.html
1.如果在公司网站日志规模不大,但又想分析日志,该如何选择?
2.如何借用SaaS平台日志分析?
3.SaaS平台日志分析有哪些平台?

使用Spark和Scala分析Apache访问日志
http://www.aboutyun.com/thread-9539-1-1.html
1.如何使用Scala编写一个对Apache访问日志的分析器?
2.如何在Linux命令行启动Spark?
3.如何确定一个URL访问页面,什么导致访问页面错误?

Openstack之neutron入门一
http://www.aboutyun.com/thread-9523-1-1.html
1.Neutron的网络是否可以创建
2.Neutron的端口、路由器、子网该如何理解?
3.如何解释Neutron网络的一种典型结构?
4.管理员在Neutron网络中是否可以创建外网?
5.可以如何搭建自己的网络?


分布式环境下配置中心设计实现考虑问题
http://www.aboutyun.com/thread-9505-1-1.html
1.设计过程中单点压力问题是如何解决的?
2.设计中单点故障问题是如何解决的?

Spring hadoop 访问hbase 入门教程
http://www.aboutyun.com/thread-9489-1-1.html
1.你认为该如何访问hbase?
2.Hadoop hbase需要做哪些配置?
3.pom文件需要哪些修改?

Storm框架入门
http://www.aboutyun.com/thread-9469-1-1.html
1.Topology由什么构成?
2.Topology的运行流程?方法调用流程
3.storm.zookeeper.root指的是什么?它的值是什么?

云计算和openstack
http://www.aboutyun.com/thread-9462-1-1.html
1、你是如何理解虚拟化与云计算的区别?
2、学习云产品openstack,需要有哪些知识?


OpenStack Cinder 与 Ceph 使用进阶篇(基于 Icehouse 版本)
http://www.aboutyun.com/thread-9456-1-1.html
1.Cinder QoS API可以完成什么功能?
2.RabbitMQ在openstack中作用是什么?
3.每个卷在 Cinder 中都有一个对应的 Host 负责管理该卷是为了解决什么问题?

OpenStack Heat 模板学习一 之hello world
http://www.aboutyun.com/thread-9438-1-1.html
1.什么是Heat?
2.学习Heat主要学习什么内容?
3.如何安装Heat?


Yarn中的四种状态机介绍
http://www.aboutyun.com/thread-9424-1-1.html
1.什么是状态机?
2. Yarn的资源管理模块ResourceManager有哪四种状态机?
3.四种状态机的作用是什么?
3.Yarn中对Container了解多少?

hbase 40道测试题
http://www.aboutyun.com/thread-9455-1-1.html

hadoop2提交到Yarn: Mapreduce执行过程分析2
http://www.aboutyun.com/thread-9370-1-1.html
1.hadoop哪些数据类型,是如何与Java数据类型对应的?
2.ApplicationMaster什么时候启动?
3.YarnChild进程什么时候产生?
4.如果在recuece的情况下,map任务完成暂总任务的多少百分比?
5.run的执行步骤是什么?
6.哪个方法来执行具体的map任务?
7.获取配置信息为哪个类?
8.TaskAttemptContextImpl还增加了什么信息?

Spark源码分析(一)-Standalone启动过程
http://www.aboutyun.com/thread-9377-1-1.html
1.Standalone部署方式包含哪些组件?
2.driver启动包含哪些过程?
3.Worker启动调用关系是什么?





问答:

Spark读取hbase报错
http://www.aboutyun.com/thread-9444-1-1.html


Apache、CDH和Cloudera三者有什么区别?
http://www.aboutyun.com/thread-9454-1-1.html


关于Heat的一些疑问
http://www.aboutyun.com/thread-9557-1-1.html

关于MapReduce的执行流程
http://www.aboutyun.com/thread-9554-1-1.html

Storm处理流数据接收数据不完全的问题
http://www.aboutyun.com/thread-9548-1-1.html

一般使用CDH版本的hadoop,求技术分享
http://www.aboutyun.com/thread-9543-1-1.html

有木有spark对hbase进行增删改的例子呀
http://www.aboutyun.com/thread-9525-1-1.html

输入过大时storm的bolt无法成功接受到来自spout的数据
http://www.aboutyun.com/thread-9514-1-1.html

hbase表存在不存在问题(已解决)
http://www.aboutyun.com/thread-9507-1-1.html

keystone指令执行过程的源码应该如何分析
http://www.aboutyun.com/thread-9506-1-1.html

HBASE importtsv导入数据问题
http://www.aboutyun.com/thread-9493-1-1.html

win7下运行mr报错org.apache.hadoop.util.Shell$ExitCodeException: 是什么原因么
http://www.aboutyun.com/thread-9491-1-1.html

求助!!IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString
http://www.aboutyun.com/thread-9464-1-1.html

资源
openstack 视频
http://www.aboutyun.com/thread-9562-1-1.html

Hadoop技术内幕:深入解析YARN架构设计与实现原理【完整版】
http://www.aboutyun.com/thread-9426-1-1.html

各个版本Linux系统安装部署openstack icehouse在线英文文档汇总及下载
http://www.aboutyun.com/thread-9417-1-1.html








2014年09月第四周经典回顾


IT行业大型网站系统架构演化过程
http://www.aboutyun.com/thread-9317-1-1.html
1.缓存对于网站的作用是什么?
2.随着业务的不断扩展,应用、数据、文件分离的原因是什么?
3.数据库读写分离和分库分表能解决什么问题?
4.CDN解决了网站什么问题?
扩展:
5.整个IT行业系统架构是如何演化的?

如何在Storm编程实现与Kafka的集成
http://www.aboutyun.com/thread-9316-1-1.html
1.如何编程实现Storm与Kafka集成?
2.Storm中Topology如何实现的?
3.如何验证集成效果?


zookeeper项目使用经验总结
http://www.aboutyun.com/thread-9304-1-1.html
1.为什么让集群存在优先级?
2.不同地区(美国、青岛、香港等)的集群,该如何使用zookeeper?
3.异步Watcher处理的作用是什么?
4.Watcher是否为原子性?      

zookeeper原理
http://www.aboutyun.com/thread-9292-1-1.html
1.zk service什么情况下不可用?
2.zk写数据,什么时候才算完成?
3.zk读数据可以在任意一台zk节点上,为什么?
4.zk znode有哪些类型?

zookeeper中Watcher和Notifications
http://www.aboutyun.com/thread-9291-1-1.html
1.zookeeper观察者什么时候调用?
2.传统远程轮询服务存在什么问题?
3.zk中回调服务的机制是什么?
4.zk中watcher为什么不永久注册?
5.什么是znode?

zookeeper适用场景:如何竞选Master及代码实现
http://www.aboutyun.com/thread-9277-1-1.html
1.如何利用zookeeper保证集群Master可用性和唯一性?
2.zookeeper竞选Master包含哪些过程?
3.zookeeper竞选Master机制利用了zk哪些特性?

zookeeper适用场景:分布式锁实现
http://www.aboutyun.com/thread-9267-1-1.html
1.zookeeper如何实现分布式锁?
2.什么是羊群效应?
3.zookeeper如何释放锁?

zookeeper适用场景:zookeeper解决了哪些问题
http://www.aboutyun.com/thread-9266-1-1.html
1.master挂机,传统做法备份必然是以前数据,该如何保证挂机数据与备份数据一致?
2.分布式系统如何实现对同一资源的访问,保证数据的强一致性?
3.集群中的worker挂了,传统做法是什么?zookeeper又是如何做的?


Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装高可靠文档
http://www.aboutyun.com/thread-9303-1-1.html
1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装?
2.Cloudera Manager5安装被中断该如何继续安装?还是重新安装?
3.安装过程cloudera server与agent不能通信该如何解决?
4.Cloudera Manager5对是否有要求?
5.安装服务的过程中,遇到错误,该如何解决?


Storm【开发实战】- 流方式的统计系统
http://www.aboutyun.com/thread-9289-1-1.html
1、 初期硬件准备的条件是什么?
2、在数据发射过程之中,要注意什么?
3、如何完成一个Ip到 CITY,COUNTRY 的转换?

基于 OpenStack 的私有云开发部署实践
http://www.aboutyun.com/thread-9285-1-1.html
1.VMMS 的开发管理策略有哪些?
2.OpenStack 云管理平台部署后,在存储和扩展性上还存在哪些问题?
3.如何实现虚拟机在线迁移和物理机宕机迁移?
4.如何搭建OpenStack 本地仓库?

虚拟机克隆后你所要做的第一件事情:生成新的mac地址
http://www.aboutyun.com/thread-9280-1-1.html
1.克隆虚拟机需要注意什么事情?
2.如何生成新的mac地址?

Cloudera Manager Server5启动后又挂掉的原因总结
http://www.aboutyun.com/thread-9268-1-1.html
1.cloudera CM5需要使用哪个版本jdk,jdk1.6是否适合CM5
2.cloudera server挂机的可能原因有几种?
3.cloudera server重启又挂掉该如何解决?

[OpenStack 存储] Nova,Glance与Cinder 基于Ceph的统一存储方案
http://www.aboutyun.com/thread-9254-1-1.html
1.Ceph是什么?
2.1.CEPH的底层是什么?
3.CEPH存储集群中包含哪些层次结构?
4.本文是如何建立Nova,Glance与Cinder 基于Ceph的统一存储方案的?

问答:

HDFS与一般文件系统的区别
http://www.aboutyun.com/thread-9305-1-1.html

kafka-server-start.sh config/server.properties 报错
http://www.aboutyun.com/thread-9300-1-1.html

有人知道Compute节点有灾备机制吗?
http://www.aboutyun.com/thread-9263-1-1.html

资源:
Storm入门指南
http://www.aboutyun.com/thread-9332-1-1.html

很牛叉的三本书:深入浅出统计学、深入浅出数据分析、算法导论中文版
http://www.aboutyun.com/thread-9330-1-1.html

hadoop2、YATN、mapreduce高级进阶、商业案例、flume、项目案例等资源分享
http://www.aboutyun.com/thread-9307-1-1.html






2014年09月第三周经典回顾



hadoop2.5.1汇总:最新编译 32位、64位安装、源码包、API下载及新特性等
http://www.aboutyun.com/thread-9245-1-1.html
1.如果不安装g++,安装protobuf的过程中,可能会遇到什么问题?
2.如何是protobuf安装生效,查看版本?

3.hadoop2.5.1如何查看fsimage?
4.hadoop2.5.1使用了什么新技术?
5.YARN's REST APIs新增什么功能?



基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
http://www.aboutyun.com/thread-9240-1-1.html
1.网络爬虫、分布式数据库、搜索引擎之间的关系是什么?
2.本文网络爬虫架构是什么?
3.扩展:基于网络爬虫是否有其它架构?


yum与rpm、apt的区别:rpm的缺陷及yum的优势
http://www.aboutyun.com/thread-9226-1-1.html
1.rpm存在什么问题?
2.yum有什么优势?
3.apt-get与yum有什么相同之处?


Cloudera Manager、CDH零基础入门、线路指导
http://www.aboutyun.com/thread-9219-1-1.html
1.什么是cloudera CM 、CDH?
2.CDH、CM有哪些版本?
3.CDH、CM有哪些安装方式?
4.CDH如何开发?

来自阿里的流处理框架:JStorm比Storm更稳定、性能更好
http://www.aboutyun.com/thread-9205-1-1.html
1.Storm无法满足那些需求?
2.JStorm为什么比Storm更稳定、性能更好?
3.JStorm为性能提升的原因是什么?

flume-ng性能优化与架构设计
http://www.aboutyun.com/thread-9172-1-1.html
1.影响flume吸能的因素都有哪些?
2.哪些参数会影响sink?
3.JAVA内存该如何设计?

cloudera CDH(5)开发方式及CDH eclipse插件编译总结
http://www.aboutyun.com/thread-9159-1-1.html
1.CDH有几种开发方式?
2.如何在CDH源码中,如何查找eclipse插件源码?

flume-kafka-storm日志处理经验
http://www.aboutyun.com/thread-9216-1-1.html


资源:
京东技术开放日第三期
http://www.aboutyun.com/thread-9201-1-1.html;

问答:
话题讨论:Storm, Spark, Hadoop三个大数据处理工具的区别和联系
http://www.aboutyun.com/thread-9199-1-1.html

又出问题了 win7+eclipse 远程访问服务器上的hbase 报下面的错
http://www.aboutyun.com/thread-9193-1-1.html

修改hadoop配置文件后,一定得重启集群吗?
http://www.aboutyun.com/thread-9176-1-1.html

大神们给讲讲win7+eclipse+ubuntu 环境下mapreduce?求助
http://www.aboutyun.com/thread-9167-1-1.html






2014年09月第二周经典回顾


Cloudera Manager 5新增功能和改变
http://www.aboutyun.com/thread-9150-1-1.html
1.Cloudera Manager你所了解的用户角色(User Roles)有几种?
2.Spark Service 增加了什么服务?
3.Impala做了哪些改变?
4.Cloudera Manager 5的默认调度器是哪个?
5.Cloudera Manager5 嵌入式数据库包名字对于Cloudera Manager以前版本发了什么变化?
6.Cloudera Manager5中Solr 最小的heap size是多少MB?


国内公有云对比- 功能介绍、性能测试
http://www.aboutyun.com/thread-9150-1-1.html
1.国内云商各有什么特点?
2.AWS性能测试中为何性能较低?
3.本测试中OS性能、IO性能哪些云平台比较稳定?

Spark SQL编程指南
http://www.aboutyun.com/thread-9132-1-1.html
1、什么是JavaSQLContext类?
2、Spark SQL如何推断一个JSON数据集的schema?
3、如何理解Spark SQL支持表的类型JavaBeans的RDD?


Scala介绍及快速了解Scala技术栈
http://www.aboutyun.com/thread-9122-1-1.html
1.你认为Scala与Java有哪些不同?
2.如何使用Scala实现wordcount?
3.如何学习Scala技术栈?


安装cloudera 中curl -s url | sudo apt-key add -的含义
http://www.aboutyun.com/thread-9109-1-1.html
1.curl -s的含义是什么?
2. sudo apt-key add -的含义是什么?


ubuntu 12.04 安装 Cloudera Manager5及CDH5(Mysql)【添加yum源方式安装集群】
http://www.aboutyun.com/thread-9107-1-1.html
1.如何不使用cloudera-manager-installer.bin来安装Cloudera Manager?
2.如何添加源?
3.添加源的作用是什么?

Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云)
http://www.aboutyun.com/thread-9096-1-1.html
1.使用什么命令可以开启、停止、重启Cloudera Manager Server?
2.如何强制重启Agents?
3.什么情况下适合强制重启Agents?
4.如何查看Agents状态?


Cloudera Manager5及CDH5安装指导(终极在线安装)
http://www.aboutyun.com/thread-9075-1-1.html
1.Cloudera Manager5安装需要哪些环境要求?
2.哪些Linux系统上,可以安装Cloudera Manager5?
3.在安装cdh的过程中,该如何选择版本?


问答:
win7+eclipse+ubuntu 向hadoop 2.5上传文件报什么数组异常
http://www.aboutyun.com/thread-9108-1-1.html

flume按日期分目录存储和自定义日志的文件名
http://www.aboutyun.com/thread-9093-1-1.html









2014年09月第一周经典回顾



卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
http://www.aboutyun.com/thread-8992-1-1.html
1.不同的安装方式,卸载方法存在什么区别?
2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别?

基于Zookeeper的分步式队列系统集成案例
http://www.aboutyun.com/thread-9004-1-1.html
1.Zookeeper在hadoop家族中作用是什么?
2.Zookeeper如何起到分布式中间件的作用?
3.计算某月的利润,你认为hadoop基于Zookeeper的程序该如何设计?


如何成为云计算大数据Spark高手
http://www.aboutyun.com/thread-8990-1-1.html
1.你认为该如何学习spark?
2.你认为学习spark都需要掌握哪些内容?

JavaZone惊悚大片1:利用程序员语言对话的战争
http://www.aboutyun.com/thread-9050-1-1.html

ZooKeeper示例 分布式锁思路及示例代码
http://www.aboutyun.com/thread-9034-1-1.html
1.zookeeper实现分布式锁的作用是什么?
2.ZooKeeper分布式锁的思路是什么?
3.ZooKeeper锁不安全,该如何解决?
4.你是否有实现ZooKeeper锁的思路?

hadoop、大数据笔试、面试都会问那些问题
http://www.aboutyun.com/thread-9027-1-1.html


令人深刻:外交部发言人发言语料抓取及简单分析
http://www.aboutyun.com/thread-9013-1-1.html
1、下面是如何通过抓取关键词来获取判断信息的?
2、如何编写使用Jsoup进行抓取信息?

该如何建设公有云私有云,需要考虑哪些问题,该选择什么技术?
http://www.aboutyun.com/thread-8995-1-1.html
1.云计算能够解决什么问题?
2.公有云面临哪些问题?
3.要建设云,你认为需要解决什么问题?
4.为什么选择openstack,建设公有云?



明星艳照门事件给云存储用户敲响警钟及带给我们的思考
http://www.aboutyun.com/thread-9049-1-1.html

master服务器异常关机后,hbase的region服务出现错误
http://www.aboutyun.com/thread-9037-1-1.html

资源:
开源桌面云资料分享
http://www.aboutyun.com/thread-9033-1-1.html

OpenStack-Icehouse版 多节点部署资源
http://www.aboutyun.com/thread-8999-1-1.html

问答:
hive外连hbase报错
http://www.aboutyun.com/thread-9031-1-1.html

HIVE中show tables报错
http://www.aboutyun.com/thread-8981-1-1.html


hadoop 2.2.0 通过java api 操作hdfs 报错,求大神指导
http://www.aboutyun.com/thread-9029-1-1.html

hadoop 2.5.0 + hbase 0.98.4整合遇到问题
http://www.aboutyun.com/thread-9016-1-1.html


某个Bolt操作的资源总是超时,把strom拖死
http://www.aboutyun.com/thread-9001-1-1.html





2014-08第五周经典回顾



云架构师:云端的舞者
http://www.aboutyun.com/thread-8953-1-1.html
1.你认为云架构师主要做什么?
2.云架构师需要考虑哪些问题?
3.你认为云计算未来发展如何?

中文商品的标题信息分析
http://www.aboutyun.com/thread-8952-1-1.html
1.Title分析的基本处理思路是什么?
2.Title分析识别出的商品标题信息的作用是什么?

如何在百度云平台上执行Hadoop MapReduce程序
http://www.aboutyun.com/thread-8954-1-1.html


cloudera(CDH)官网介绍:安装包、离线包该如何下载、官方文档等介绍
http://www.aboutyun.com/thread-8908-1-1.html
1.如何进入cloudera官网?
2.如何下载CM、CDH离线包?
3.如何找到CM的在线安装包?
4.cloudera在哪可以找到?



海量数据处理 算法总结(一)
http://www.aboutyun.com/thread-8932-1-1.html
1、什么是堆,有哪八大排序算法?
2、什么是Bloom Filter?
3、什么是Bit-map?


HBase连接池 -- HTablePool被Deprecated以及可能原因是什么
http://www.aboutyun.com/thread-8930-1-1.html
1.官方如何解释HTablePool被弃用的
2.使用哪个类,代替HTablePool?
3.使用HConnectionManager如何创建表?

zookeeper使用和原理探究
http://www.aboutyun.com/thread-8925-1-1.html
什么是zookeeper?
如何安装和使用zookeeper?



openstack nova 基础知识:policy简介以及实现、使用
http://www.aboutyun.com/thread-8924-1-1.html
1.什么是policy?
2.policy是用来做什么的?
3.policy.json有哪两种写法?
扩展:
4.如何通过policy.json判断用户权限?

openstack nova 基础知识:policy简介以及实现、使用
http://www.aboutyun.com/thread-8924-1-1.html
1.什么是policy?
2.policy是用来做什么的?
3.policy.json有哪两种写法?
扩展:
4.如何通过policy.json判断用户权限?

kafka2.9.2的分布式集群安装和demo(java api)测试
http://www.aboutyun.com/thread-8919-1-1.html
1、什么是kafka?
2、kafka的官方网站在哪里?
3、在哪里下载?需要哪些组件的支持?
4、如何安装?

Flume1.5.0入门:安装、部署、及flume的案例
http://www.aboutyun.com/thread-8917-1-1.html
1.什么是flume
2.flume的官方网站在哪里?
3.flume有哪些术语?
4.如何配置flume数据源码?

Flume+Kafka+Strom基于分布式环境的结合使用
http://www.aboutyun.com/thread-8915-1-1.html
1.Flume、Kafka、Storm是什么,如何安装?
2.Flume、Kafka、Storm如何结合使用?
3. Flume、Kafka、Storm结合原理是什么?

mac10.9下eclipse的storm入门及开发环境搭建
http://www.aboutyun.com/thread-8913-1-1.html
1、什么是STORM?
2、搭建标题中的环境都需要哪些软件?
3、如何制作eclipse的storm开发环境?

Nginx日志导入到Hive0.13.1整合Hbase0.96.2
http://www.aboutyun.com/thread-8914-1-1.html
1.将日志导入hive中日志表中你认为有几种方法?
2.如何在hive中创建hbase表,达到数据共享?
3.如何使用filter获取指定数据?

Hadoop各个类汇总及相关作用说明
http://www.aboutyun.com/thread-8910-1-1.html
1、Hadoop代码分析的重点,包含了哪些包?
2、Hadoop各个类有哪些作用?

storm编程--实战入门
http://www.aboutyun.com/thread-8906-1-1.html
SimpleSpout类继承哪个类,这个类的作用是什么?
SimpleBolt类继承哪个类,完成什么任务?
Storm程序执行的入口点是哪个类?

Java JVm介绍
http://www.aboutyun.com/thread-8956-1-1.html
1.J2SE体系 JVM在哪?
2.什么是JVM?
3.什么是Java堆,用来做什么?





2014-08第四周经典回顾



hbase如何创建二级索引以及创建二级索引实例
http://www.aboutyun.com/thread-8857-1-1.html
1.如何建立全局二级索引?
2.如何对一个表建立二级索引?
3.如何卸载二级索引?

Spark1.0.0 生态圈一览
http://www.aboutyun.com/thread-8852-1-1.html
1、Spark内核架构的设计,优秀在于哪里?
2、Spark生态圈的核心和基础是什么?
3、spark的典型案列有哪些?

hbase高级编程:hbase(新版) 0.985协处理器中的BaseRegionServerObserver
http://www.aboutyun.com/thread-8847-1-1.html
1.协处理分为几种?
2.二者各有什么不同?
3.hbase coprocessor新版中做了哪些改变?

Hadoop web编程--REST API WebHDFS
http://www.aboutyun.com/thread-8823-1-1.html
1.外部的应用程序需要操作HDFS的情况,该如何解决?
2.WebHDFS REST API可以完成什么事情?
3.Httpfs 配置启动,core-site.xml、hdfs-site.xml文件改如何配置?
4.REST API 如何启动httpfs?
5.通过什么命令可以查看hdfs文件的状态?
6.WebHDFS常用操作都包含什么?该如何实现?


Hadoop web初级:通过html调用hadoop WebHDFS REST API
http://www.aboutyun.com/thread-8822-1-1.html
1.REST API能否完成什么事情?
2.如何上传文件test.txt到user目录
3.是否可以通过XMLHttpResquest来上传文件?

让你明白hbase二级索引核心思想
http://www.aboutyun.com/thread-8819-1-1.html
1.二级索引的核心思想是什么?
2.二级索引由谁来管理?
3.在主表中插入某条数据后,hbase如何将索引列写到索引表中去?
4.scan查询的时候,coprocessor钩子的作用是什么?
5.在split的时候,索引表在什么时候对数据划分?


OpenStack编程:OpenStack的身份API V2
http://www.aboutyun.com/thread-8796-1-1.html
1.OpenStack的身份API是使用什么风格的Web服务接口来实现
2.OpenStack的身份包含哪些身份概念?
3.故障返回码错误代码含义是什么?
4.通过那个URI可以获取一个机密问题和答案给指定的用户?
5.OpenStack的身份API除了支持json数据的序列格式化,还支持什么格式?



视频、资源:
hadoop大数据书籍文档、深度学习,机器学习,基础资料下载
http://www.aboutyun.com/thread-8894-1-1.html

Hadoop2.5 Eclipse插件安装视频
http://www.aboutyun.com/thread-8835-1-1.html

openstack各种文档下载
http://www.aboutyun.com/thread-8797-1-1.html

Managing-Clusters-with-Cloudera-Manager
http://www.aboutyun.com/thread-8795-1-1.html

问答:
如何将两个小的hadoop集群部为一个大的hadoop集群
http://www.aboutyun.com/thread-8794-1-1.html

关于HBase行键的问题
http://www.aboutyun.com/thread-8887-1-1.html

Eclipse不能显示MapperReduce的日志
http://www.aboutyun.com/thread-8859-1-1.html


Oozie之Not able to cache shareLib
http://www.aboutyun.com/thread-8860-1-1.html

求助:hadnoop完全分布式集群安装问题,数据产生不了
http://www.aboutyun.com/thread-8856-1-1.html

MapReduce程序在应用中怎么执行呢?
http://www.aboutyun.com/thread-8843-1-1.html

hbase启动失败
http://www.aboutyun.com/thread-8834-1-1.html

关于 openstack 的用法 求相关的学习资料
http://www.aboutyun.com/thread-8826-1-1.html

kafka+spark streaming能接收数据,但reduce之后没有结果
http://www.aboutyun.com/thread-8825-1-1.html






2014-08第三周经典回顾



Hadoop2.5 Eclipse插件制作、连接集群、及hadoop-eclipse-plugin-2.5.0插件下载
http://www.aboutyun.com/thread-8780-1-1.html
1.hadoop-eclipse-plugin源码如何下载?
2.插件编译需要哪些准备?

已有(16)人评论

跳转到指定楼层
微笑的老颜 发表于 2014-6-8 08:47:59
支持好帖子 非常感谢
回复

使用道具 举报

Landau 发表于 2014-6-8 15:34:38
顶一个,非常好的介绍
回复

使用道具 举报

lbwahoo 发表于 2014-7-14 12:26:40
顶一个,非常好的介绍
回复

使用道具 举报

lbwahoo 发表于 2014-7-17 21:18:25
顶一个,非常好的介绍
回复

使用道具 举报

Riordon 发表于 2014-8-1 08:39:38
回复

使用道具 举报

wonaihuazi 发表于 2014-8-4 10:34:07
回复

使用道具 举报

break-spark 发表于 2014-10-20 09:07:01
很不错,写这么长的帖子辛苦了
回复

使用道具 举报

韩克拉玛寒 发表于 2014-10-26 23:02:27
非常好的帖子。谢谢
回复

使用道具 举报

maizhu 发表于 2014-10-31 18:02:36
感谢楼主总结,看来我得好好学习一下
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条