分享

about云每日一读汇总(第八篇2015.05.01)


about云每日一读汇总(第一篇)

about云每日一读汇总(第二篇)

about云每日一读汇总(第三篇2014.10.20)

about云每日一读汇总(第四篇2014.12.10)

about云每日一读汇总(第五篇2015.01.01)


about云每日一读汇总(第六篇2015.02.01)

about云每日一读汇总(第七篇2015.03.01)

#####################################################
about云2015年06月20日每日一读

个人数据才是大未来
http://www.aboutyun.com/thread-13836-1-1.html

使用snapshot实现hdfs文件备份和恢复实战
http://www.aboutyun.com/thread-13838-1-1.html
1.如何允许创建快照?
2.如何创建快照?
3.查看快照使用什么命令?
4.哪个命令可以实现恢复快照?

zookeeper的一致性协议:ZAB
http://www.aboutyun.com/thread-13828-1-1.html
1.什么是ZAB?
2.Zookeeper是否可以理解为一个小存储系统?
3.吞吐量很高时,磁盘的IO便成为系统瓶颈如何解决?


OpenStack实践基础知识(一)
http://www.aboutyun.com/thread-13829-1-1.html
  • OpenStack适用于企业哪些业务?
  • OpenStack和VMware、KVM有哪些本质区别?
  • 在Docker如此火的当今社会,OpenStack有何优势?
  • OpenStack和CloudStack各自的优势是什么?
  • OpenStack和CloudStack 会成为互补关系吗?





网商银行架构解析:数据驱动+平台运营
http://www.aboutyun.com/thread-13830-1-1.html
1.网商银行的优势?
2.网商银行的架构是什么?
3.建立智慧银行的关键是什么?



Spark SQL中的DataFrame
http://www.aboutyun.com/thread-13832-1-1.html
1.DataFream是如何创建的?
2.有哪些方法创建其接口?


Databircks连城:Spark SQL结构化数据分析
http://www.aboutyun.com/thread-13833-1-1.html
1.什么是DataFrame?
2.Spark SQL如何实现API的?
3.DataFame是如何替代RDD的?



urllib2抓取网页内容
http://www.aboutyun.com/thread-13837-1-1.html
1.urllib2的作用是什么?
2.如何通过正则表达式来获取网页部分信息?


小知识:

solr4.7开发实践——拼音检索思路及代码实现
http://www.aboutyun.com/thread-13839-1-1.html




资源:

Shell_教程系列10:sed 用法介绍
http://www.aboutyun.com/thread-13842-1-1.html

Shell_教程系列11:011-sort-cut-join合并与分割
http://www.aboutyun.com/thread-13843-1-1.html

R语言入门教程
http://www.aboutyun.com/thread-13840-1-1.html

Scala 2.11 API
http://www.aboutyun.com/thread-13841-1-1.html

about云6-openstack环境准备-克隆虚拟机及配置
http://www.aboutyun.com/thread-13827-1-1.html


问答:
flume 可以sink到本地文件目录么
http://www.aboutyun.com/thread-13831-1-1.html

cloud foundry 监控 rest api如何调用?
http://www.aboutyun.com/thread-13834-1-1.html







about云2015年06月19日每日一读


解析Apache Storm 0.10.0-beta发布:剑指Heron
http://www.aboutyun.com/thread-13817-1-1.html
1.storm在安全性方面做了哪些改进?
2.storm任务以及拓扑部署上的改进优化了哪些内容?
3.分组策略方面做了如何的改进?
4.storm通过什么方式允许hive数据接入?
5.对于Redis的支持,你认为带来什么好处?

新手学习编程入门最佳方式是什么
http://www.aboutyun.com/thread-13818-1-1.html


Kafka实战-简单示例
http://www.aboutyun.com/thread-13801-1-1.html
1.kafka的组成有什么?
2.开发环境如何配置?
3.ConfigureAPI、Consumer、Producer分别如何编写?


Kafka实战-入门
http://www.aboutyun.com/thread-13805-1-1.html
1.何为Kafka?
2.Kafka有哪些应用场景?
3.Kafka的架构原理是什么?



Kafka实战-Kafka Cluster
http://www.aboutyun.com/thread-13807-1-1.html
1.Kafka Cluster的基础软件准备有哪些?
2.如何部署Kafka Cluster?
3.如何使用Send Messages?
4.HA的特性是什么?


Hadoop2源码分析-准备篇
http://www.aboutyun.com/thread-13809-1-1.html
1.如何搭建hadoop环境?
2.如何查看hadoop源码?



配置高可用的Hadoop平台
http://www.aboutyun.com/thread-13810-1-1.html
1.如何搭建hadoop高可用?
2.HDFS配置HA的结构是什么样子的?



小知识:

Hive 合并输入输出文件设置
http://www.aboutyun.com/thread-13819-1-1.html

hive UDF自动增长列函数
http://www.aboutyun.com/thread-13820-1-1.html

OpenStack Rally性能测试
http://www.aboutyun.com/thread-13815-1-1.html


资源:

Shell_教程系列8:008-grep家族
http://www.aboutyun.com/thread-13821-1-1.html

Shell_教程系列9:009-awk介绍
http://www.aboutyun.com/thread-13822-1-1.html

阿里架构师:分布式计算开源框架Hadoop 入门实践
http://www.aboutyun.com/thread-13823-1-1.html

大数据项目报告样本
http://www.aboutyun.com/thread-13824-1-1.html

大数据在航空业有大作为
http://www.aboutyun.com/thread-13825-1-1.html



问答:

win7 eclipise远程连接虚拟机centos 7 上面搭建hadoop2.7出错 求救
http://www.aboutyun.com/thread-13804-1-1.html

Hbase集成Phoenix插入数据问题
http://www.aboutyun.com/thread-13808-1-1.html

Hregionserver异常退出
http://www.aboutyun.com/thread-13811-1-1.html

安装cloudera-manager-agent时出现问题
http://www.aboutyun.com/thread-13812-1-1.html

ganglia可以监控集群的I/O吗?
http://www.aboutyun.com/thread-13816-1-1.html






about云2015年06月18日每日一读

数据分析师或者数据挖掘工程师面试都问什么问题?
http://www.aboutyun.com/thread-13792-1-1.html
1.普通的在校大学生如何才能从事数据挖掘?
2.对数据挖掘的理解是什么?
3.需要具备那些专业技能?




Kafka实战-实时日志统计流程
http://www.aboutyun.com/thread-13788-1-1.html
1.项目的整理流程是怎样?
2.flume在项目中的作用是什么以及怎么使用?
3.kafka的功能是什么?
4.storm的特点和功能有哪些?


推荐系统入门
http://www.aboutyun.com/thread-13780-1-1.html
1、什么是推荐?
2、推荐系统原理是什么?
3、如何评测一个推荐系统?


Facebook如何向十亿人推荐东西
http://www.aboutyun.com/thread-13787-1-1.html
1.Facebook使用的什么推荐算法?
2.
Facebook如何修改Giraph的?

专注做事,竟然也成为我们的稀缺能力
http://www.aboutyun.com/thread-13781-1-1.html
1、专注的现状如何?
2、我们应该怎么做?

数据挖掘18大算法实现以及其他相关经典DM算法
http://www.aboutyun.com/thread-13786-1-1.html
1.18大数据挖掘的经典算法有哪些?
2.其他的算法有哪些?


基于大数据分析的安全管理平台技术研究及应用
http://www.aboutyun.com/thread-13793-1-1.html
1.什么是大数据?
2.大数据的基本特征是什么?
3大数据安全分析技术的安全管理平台具有以下显著特征是什么?
4.安全数据的大数据化
的主要表现?

浅析大数据与云计算物联网等热点的关系
http://www.aboutyun.com/thread-13795-1-1.html
1.大数据市场的格局是什么?
2.大数据与移动互联网、物联网以及传统互联网的关系是什么?
3.本文认为移动互联网、物联网以及云计算等热点崛起的原因是什么?
4.大数据的来源有哪些?



Spark GraphX
http://www.aboutyun.com/thread-13783-1-1.html

小知识分享:
devstack 安装注意事项
http://www.aboutyun.com/thread-13790-1-1.html

devstack 重启注意事项
http://www.aboutyun.com/thread-13791-1-1.html

资源:
hadoop-eclipse-plugin-2.7.0.jar插件分享
http://www.aboutyun.com/thread-13794-1-1.html

Shell_教程系列6:006-命令执行顺序
http://www.aboutyun.com/thread-13796-1-1.html

Shell_教程系列7:007-正则表达式
http://www.aboutyun.com/thread-13797-1-1.html

大数据分析_天文时空数据可视化分析
http://www.aboutyun.com/thread-13798-1-1.html

图流合璧——基于Spark Streaming和GraphX的动态图计算
http://www.aboutyun.com/thread-13799-1-1.html


问答:

Hbase数据如何快速导入导出
http://www.aboutyun.com/thread-13784-1-1.html

phoenix如何高效查询Hbase?
http://www.aboutyun.com/thread-13785-1-1.html

Eclipse提交Job到yarn上
http://www.aboutyun.com/thread-13789-1-1.html





about云2015年06月17日每日一读
Apache Mesos的真实使用场景
http://www.aboutyun.com/thread-13765-1-1.html
1.在同一个集群中运行不同类型的成熟的服务(dev,test,production)这样是否可以实现?
2.Mesos是否可以提升资源利用率?
3.本文容器编排是什么意思?



快速了解Scala技术栈
http://www.aboutyun.com/thread-13756-1-1.html
1.Scala的发展如何?
2.Scala开发的框架与工具,涉及到的领域有那些?
3.Scaa在分布式系统中优势有那些?



Hadoop项目案例-用户行为分析之应用概述(一)
http://www.aboutyun.com/thread-13761-1-1.html

Hadoop项目案例-用户行为分析之应用概述(二)
http://www.aboutyun.com/thread-13762-1-1.html

linux top命令VIRT,RES,SHR,DATA的含义
http://www.aboutyun.com/thread-13777-1-1.html
1.什么是VIRT?
2.什么是RES?
3.什么是SHR?


资源:

about云5-安装ssh及更新软件包、openstack包
http://www.aboutyun.com/thread-13759-1-1.html

hadoop生态系统介绍【英文版132页】推荐
http://www.aboutyun.com/thread-13770-1-1.html

Packt.Machine.Learning.with.Spark
http://www.aboutyun.com/thread-13771-1-1.html

Shell_教程系列4:文件名置换
http://www.aboutyun.com/thread-13768-1-1.html

Shell_教程系列5:echo-管道-read-cat-tee-exec
http://www.aboutyun.com/thread-13769-1-1.html




小知识:

storm和spark场景选择【小知识经验总结】
http://www.aboutyun.com/thread-13772-1-1.html

用mapreduce将文件转换为SequenceFile文件
http://www.aboutyun.com/thread-13776-1-1.html

【Flume】flume文件监控的source组件开发,增量传输文件内容,支持断点续传功能
http://www.aboutyun.com/thread-13757-1-1.html

问答:

openstack dashboard 登陆报错 要关闭浏览器再开才能登陆
http://www.aboutyun.com/thread-13763-1-1.html

【求助】虚拟机CPU与物理CPU之间的关系
http://www.aboutyun.com/thread-13764-1-1.html

【求助】虚拟机内存与物理机内存之间的关系
http://www.aboutyun.com/thread-13766-1-1.html


ganglia多出了一个结点,该怎么去掉这个结点?
http://www.aboutyun.com/thread-13767-1-1.html

java程序内存使用的问题
http://www.aboutyun.com/thread-13774-1-1.html

求教: 在集群主节点启动spark-shell --master spark://hadoop-master:7077之后
http://www.aboutyun.com/thread-13758-1-1.html

【求助】XenServer与OpenStack的区别
http://www.aboutyun.com/thread-13760-1-1.html





about云2015年06月16日每日一读

about云|新出视频,openstack零基础入门,解决你ping不通外网难题【投票调查】
http://www.aboutyun.com/thread-13752-1-1.html

怎么面试架构师【注重招式还是心法】
http://www.aboutyun.com/thread-13740-1-1.html

程序员在职业生涯中如何规划自己?
http://www.aboutyun.com/thread-13743-1-1.html


基于 HBase 构建可伸缩的分布式事务队列
http://www.aboutyun.com/thread-13738-1-1.html
1.一个实时流处理框架由什么组成?
2.框架之间的主要区别有哪些?
3.什么是可扩展队列?
4.如何理解Hbase生产者与消费者之间的概念?


MapReduce之计数器及实例
http://www.aboutyun.com/thread-13745-1-1.html
1.hadoop有哪些内置计数器?
2.job.getCounters()可以得到什么?
3.MapReduce是否允许用户自定义计数器?


怎样成为一个数据科学家:针对大学毕业生的指导(译)
http://www.aboutyun.com/thread-13750-1-1.html
1、数据科学家所需核心技能有哪些?
2、你应该返回学校继续修炼吗?
3、数据科学家的软技能是什么?

源码解读ODL与OpenFlow交换机建立过程
http://www.aboutyun.com/thread-13751-1-1.html
1、OF协议模块如何启动?
2、I/O处理线程中的消息处理是什么?
3、什么是链路发现(LLDP)?



李开复:给大学生的一封信——当迷茫在大学里泛滥成灾
http://www.aboutyun.com/thread-13742-1-1.html

小知识:

Scala如何实现与JAVA交互
http://www.aboutyun.com/thread-13744-1-1.html

资源:

Shell_教程系列1:001文件安全与权限
http://www.aboutyun.com/thread-13747-1-1.html

Shell_教程系列2:002-使用find和xargs【find-xargs】
http://www.aboutyun.com/thread-13748-1-1.html

Shell_教程系列3:003-cron-at-nohup后台执行命令
http://www.aboutyun.com/thread-13749-1-1.html

问答:

CDH 使用 ldap+ kerberos + sentry 一直没安装成功过
http://www.aboutyun.com/thread-13731-1-1.html


求助如何在mapreduce过程中加载外部第三方jar包?
http://www.aboutyun.com/thread-13737-1-1.html

求解!neutron能ping通路由网关,无法ping通外网
http://www.aboutyun.com/thread-13741-1-1.html

什么时候运行Combiner?
http://www.aboutyun.com/thread-13746-1-1.html







about云2015年06月15日每日一读

站在大数据金字塔尖的人
http://www.aboutyun.com/thread-13717-1-1.html
1.数据科学家在工作中是怎样解决问题的呢?
2.数据科学家是怎么又来的?
3.数据科学家是如何定义的?
4.数据科学家有哪几种类别?
5.要成为一名数据科学家,需要掌握哪些核心技能?



大学生入职必读--所有这些,只为写给初入职场的你
http://www.aboutyun.com/thread-13719-1-1.html

5年内不构建数据化运营体系,你的公司就可能完蛋!
http://www.aboutyun.com/thread-13715-1-1.html
1.什么是数据驱动?
2.为什么数据化运营如此重要?
3.数据驱动决策是怎么的一个过程?

写给年轻程序员创业的一封信
http://www.aboutyun.com/thread-13714-1-1.html
1.为什么要给年轻程序员写这封信?
2.什么是创业?
3.创业要付出哪些成本?

《Docker为什么》系列:01Docker是如何重新定义并简化Linux的?
http://www.aboutyun.com/thread-13716-1-1.html
1.Docker有哪些特点?
2.服务单元要做哪些事情?
3.为什么要使用Docker?

openstack还存在哪些问题【2015年】
http://www.aboutyun.com/thread-13720-1-1.html
1.这里认为OpenStack是什么?
2.你认为OpenStack和Hadoop之间的账户、安全、管理运维和监控体系该如何打通?


LinkedIn运行大规模的Kafka集群
http://www.aboutyun.com/thread-13723-1-1.html
1.Kafka是否关心消息中的内容?
2.LinkedIn让Kafka定义了哪四种类别的消息?
3.审计完整性(Auditing Completeness)与LinkedIn是什么关系?

about云2015年06月第二周经典回顾
http://www.aboutyun.com/thread-13729-1-1.html

小知识:
Kafka的一个配置参数
http://www.aboutyun.com/thread-13722-1-1.html

资源:
Learning Apache Kafka(PACKT,2ed,2015)Kafka学习第二版【210页】
http://www.aboutyun.com/thread-13724-1-1.html

kettle4.2.0探索(BI )
http://www.aboutyun.com/thread-13725-1-1.html

Kettle_Spoon【BI】
http://www.aboutyun.com/thread-13726-1-1.html

问答:

openstack 里面的floating IP以什么形式存在实例中
http://www.aboutyun.com/thread-13718-1-1.html

eclipse 运行mapreduce去重程序报空值异常
http://www.aboutyun.com/thread-13721-1-1.html




about云2015年06月14日每日一读



Spark 1.4:SparkR发布,钨丝计划锋芒初露
http://www.aboutyun.com/thread-13702-1-1.html
1.Spark项目是如何发展的?
2.SparkR整合有哪些好处?
3.Spark1.4有哪些新特性?

一个技术人的知识管理方法论
http://www.aboutyun.com/thread-13707-1-1.html
1、如何让解决问题依赖知识积累和思维工具而不是偶发灵感?
2、知识管理方法论解决的是什么问题?
3、个人知识管理方法论有哪些特点?
4、个人知识管理方法论的关键在于?


通过身边小事解释机器学习是什么?
http://www.aboutyun.com/thread-13708-1-1.html
1.本人是如何通过身边例子,讲述什么是机器学习?
2.通过买芒果说明什么问题?
3.本文中规则列表是什么?




SDN的横向扩展对OpenStack Neutron的影响
http://www.aboutyun.com/thread-13703-1-1.html
1.OpenStack的Kilo版本集成了哪些项目?
2.Neutron所暴露的API分类与其子分类下支持的操作有哪些?
3.OpenStack和SDN控制器勾勒出怎么样的伟大的蓝图?
4.SDN控制器部署选项与OpenStack的集成带来哪些好处?

这就是搜索引擎--读书笔记七--倒排列表压缩算法
http://www.aboutyun.com/thread-13706-1-1.html
1、评判算法优劣的指标有哪些?
2、什么是压缩率?
3、倒排文件压缩算法有哪些?



资源:
hadoop2.x配置文件汇总与hadoop1.x的差异
http://www.aboutyun.com/thread-13709-1-1.html

1王树鹏-讲义《大数据技术及应用探讨》
http://www.aboutyun.com/thread-13710-1-1.html

分布式系统【英文书籍】
http://www.aboutyun.com/thread-13711-1-1.html

手机淘宝推荐中的排序学习-孝文
http://www.aboutyun.com/thread-13712-1-1.html


问答:

storm java.nio.channels.UnresolvedAddressException: null
http://www.aboutyun.com/thread-13705-1-1.html

hadoop job uber mode
http://www.aboutyun.com/thread-13704-1-1.html





about云2015年06月13日每日一读



论Spark Streaming的数据可靠性和一致性
http://www.aboutyun.com/thread-13689-1-1.html
1.流数据的处理过程有哪些?
2.Streaming是如何处理流式数据的?


PAAS平台构建实时高可用应用的方案设计(7×24小时)
http://www.aboutyun.com/thread-13696-1-1.html
1.本方案设计主要涉及下面哪几方面的改进?
2.应用运行调度模块能够完成什么事情?
3.重启应用模块的作用是什么?


强人工智能基本问题:神经网络分层还是不分层
http://www.aboutyun.com/thread-13690-1-1.html
1.理论上,神经网络分层需要分几层?
2.若不分层,会面对那些问题?


强人工智能基本问题:自上而下,还是自下而上
http://www.aboutyun.com/thread-13693-1-1.html
1.对于人工智能的研究而言,什么是层级?
2.强人工智能的物质基础和神经元细胞有哪些?


强人工智能基本问题:全局控制与自组织
http://www.aboutyun.com/thread-13694-1-1.html
1.神经网络系统中的全局控制是什么?
2.相对于全局控制,神经网络系统中的的自组织需要考虑哪些问题?






小知识分享:


清理HBase中旧版本数据
http://www.aboutyun.com/thread-13685-1-1.html

VM虚拟机克隆后需要更改的配置
http://www.aboutyun.com/thread-13687-1-1.html

Redis优化内存的九个重点
http://www.aboutyun.com/thread-13695-1-1.html

资源:

感知物联,现在出发-2015IBM中国物联网峰会
http://www.aboutyun.com/thread-13697-1-1.html

风暴应用于实时事件处理策略【英文版307页】
http://www.aboutyun.com/thread-13698-1-1.html

大数据系统核心技术
http://www.aboutyun.com/thread-13699-1-1.html

nvidia潘迪--GPU加速大数据分析应用 NVIDIA助力智慧城市建设
http://www.aboutyun.com/thread-13700-1-1.html


问答:

玩转机器学习、流分析和PowerBI
http://www.aboutyun.com/thread-13688-1-1.html

paxos分布式一致性算法--讲述诸葛亮的反穿越
http://www.aboutyun.com/thread-13691-1-1.html

paxos算法如何容错的--讲述五虎将的实践
http://www.aboutyun.com/thread-13692-1-1.html





about云2015年06月12日每日一读

基于HttpClient实现网络爬虫~以百度新闻为例
http://www.aboutyun.com/thread-13668-1-1.html
1.如何通过浏览器获得http请求?
2.http的请求的代码实现是什么?
3.百度新闻是如何实现这一爬虫的?




OpenTSDB 造成 Hbase 整点压力过大问题的排查和解决
http://www.aboutyun.com/thread-13667-1-1.html
1.什么是OpenTSDB?
2.用OpenTSDB监控HBase会出现什么问题?
3.该如何去解决这写问题?



什么阻碍了强人工智能的发展
http://www.aboutyun.com/thread-13671-1-1.html
1.哪些问题阻碍了人工智能的发展?
2.这些问题出现的原因是什么?

搜索引擎五--索引的建立与更新
http://www.aboutyun.com/thread-13680-1-1.html
1.两遍文档遍历法速度快的原因是什么?
2.如何创建索引?
3.归并法和排序法的区别是什么?
4.常用的索引更新策略有哪4种?


搜索引擎六--索引的查询
http://www.aboutyun.com/thread-13683-1-1.html
1.搜索引擎建立索引,如何实现用户查询?
2.什么是一次一文档?
3.什么是一次一单词?



OpenStack rpm打包(制作本地源)
http://www.aboutyun.com/thread-13672-1-1.html


资源:

从数据管理视角看大数据挑战
http://www.aboutyun.com/thread-13674-1-1.html

算法工程师综合练习卷
http://www.aboutyun.com/thread-13675-1-1.html

Storm配置详解
http://www.aboutyun.com/thread-13676-1-1.html

构建云通讯PAAS平台的挑战和应对之道
http://www.aboutyun.com/thread-13677-1-1.html


小知识:
HBase表的架构原理
http://www.aboutyun.com/thread-13678-1-1.html


问答:
客户端缓存数据优化Hbase的疑问
http://www.aboutyun.com/thread-13669-1-1.html

在HDFS与Local本地间进行数据文件的copy
http://www.aboutyun.com/thread-13681-1-1.html

小文件合并成SequenceFile文件
http://www.aboutyun.com/thread-13682-1-1.html





about云2015年06月11日每日一读


从Hadoop到Spark的架构实践
http://www.aboutyun.com/thread-13651-1-1.html
1.基于YARN和Spark,作者认为整个数据平台达到了什么目标?
2.整个架构中,Spark Streaming主要完成了哪些工作?
3.使用Spark遇到了哪些问题?


基于Mesos和Docker的分布式计算平台
http://www.aboutyun.com/thread-13646-1-1.html
1.作为分布式架构师,分布式系统设计准则是什么?
2.Mesos是否负责任务调度?
3.分布式环境下的进程通信使用的是什么组件?


Hadoop 的 Oozie 工作流管理引擎的实际应用
http://www.aboutyun.com/thread-13665-1-1.html
1. Apache Oozie 是什么?
2.
Oozie工作流有哪些形式 ?
3. 如何配置
Oozie使用Shell、Java、Sqoop、Hive 和 电子邮件操作 ?
4. Oozie Shell/Java/Sqoop/Hive/ 电子邮件如何操作 ?

Spark ALS 实现协同过滤
http://www.aboutyun.com/thread-13648-1-1.html
1.如何使用Spark ALS(交替最小二乘法)实现协同过滤?
2.如何给一个或大量用户进行推荐商品?


Windows Azure 系列-- Azure Queue的操作
http://www.aboutyun.com/thread-13653-1-1.html
1.如何访问Azure的Storage?
2.如何拿取指定数量的消息?
3.如何创建Azure Q?


小知识:

Maven构建Hadoop Web项目
http://www.aboutyun.com/thread-13650-1-1.html

资源:

ggplot2:数据分析与图形艺术
http://www.aboutyun.com/thread-13660-1-1.html

Openflow协议通信流程解读
http://www.aboutyun.com/thread-13662-1-1.html

storm实时计算英文版【336页】
http://www.aboutyun.com/thread-13664-1-1.html



问答:

用zookeeper建立HA,在什么节点上格式化zookeeper
http://www.aboutyun.com/thread-13637-1-1.html


mahout测试时出现问题
http://www.aboutyun.com/thread-13639-1-1.html

oozie配置hive脚本是报错
http://www.aboutyun.com/thread-13644-1-1.html

求助一道mapreduce程序
http://www.aboutyun.com/thread-13645-1-1.html

如何获得hbase数据访问和更新的记录
http://www.aboutyun.com/thread-13649-1-1.html

Cloudera Manager 安装问题
http://www.aboutyun.com/thread-13652-1-1.html

报 [org.apache.oozie.action.hadoop.HiveMain], exit code [40000]]
http://www.aboutyun.com/thread-13654-1-1.html

CDH 离线安装
http://www.aboutyun.com/thread-13661-1-1.html




about云2015年06月10日每日一读

基于lucene的案例开发:纵横小说数据库设计
http://www.aboutyun.com/thread-13617-1-1.html
1.纵横小说数据库设计思路是什么?
2.四张表用来做什么的?
3.表novelchapter存储什么的?


使用hadoop mapreduce实现ip地理位置统计并直接入库mysql
http://www.aboutyun.com/thread-13621-1-1.html
1.在mapreduce中如何实现将结果写入mysql数据库中?
2.通过自定义哪个类实现将reduce结果写到数据库?
3.使用mapreduce实现ip地理位置统计ip归属地和运营商?

使用hadoop mapreduce实现商品统计关联度
http://www.aboutyun.com/thread-13622-1-1.html
1.如何使用mapreduce实现商品统计关联度?
2.使用mapreduce实现商品统计关联度实现的思路是什么?
3.通过map函数实现什么功能?
4.reduce在商品统计关联度中的作用是什么?




成为真正的数据架构师需要哪些条件
http://www.aboutyun.com/thread-13616-1-1.html



搜索引擎--读书笔记四
http://www.aboutyun.com/thread-13630-1-1.html
1.什么是倒排索引?
2.什么是单词词典?
3.什么是倒排列表?

大数据分布式系统 Drill 升级成为Apache的顶级项目
http://www.aboutyun.com/thread-13624-1-1.html

Drill安装和使用,请问有哪位大侠有整理这方面的内容?
http://www.aboutyun.com/thread-13613-1-1.html

如何使用Spark ALS实现协同过滤
http://www.aboutyun.com/thread-13620-1-1.html




小知识:

利用sqoop对mysql执行DML操作
http://www.aboutyun.com/thread-13625-1-1.html

Hadoop MapReduce编程个人总结
http://www.aboutyun.com/thread-13626-1-1.html



问答:

Hbase Hmaster起一下就挂了
http://www.aboutyun.com/thread-13627-1-1.html

我的DataFrame这样加过滤条件有问题吗?
http://www.aboutyun.com/thread-13614-1-1.html

eclipse进行spark的scala编程,遇到问题了,求助
http://www.aboutyun.com/thread-13615-1-1.html





资源:
R语言基础编程技巧汇编(图片版、第一版)-刘宁
http://www.aboutyun.com/thread-13628-1-1.html

词云可视化——中文分词与词云制作-沈浩老师
http://www.aboutyun.com/thread-13629-1-1.html

YCSB 中如何编译满足hadoop-2.2.0以及Hbase的jar
http://www.aboutyun.com/thread-13619-1-1.html

实时索引代码|mongo数据库管理源代码|IP归属地查询源代码下载
http://www.aboutyun.com/thread-13623-1-1.html







about云2015年06月06日每日一读



Spark Streaming性能调优详解
http://www.aboutyun.com/thread-13572-1-1.html
1.设置合理的批处理时间(batchDuration)的标准是什么?
2.Spark Streaming如何实现充分地利用集群的资源?
3.如何设置合理的GC?


云服务器 性能测试之web压力测试
http://www.aboutyun.com/thread-13573-1-1.html
1.本文采用的什么工具压力测试?
2.如何实现压力测试?
3.如何实现压力测试?






机器学习中的数据清洗与特征处理综述
http://www.aboutyun.com/thread-13567-1-1.html
1.确定哪些数据来达到目标?哪些因素决定特征使用方案?
2.特征获取方案有哪些?
3.如何处理特征与标注数据?
4.特征分类有哪些?
5.特征常用的处理方法有哪些?
6.如何对特征监控?


如何通过Spark客户端向Spark提交任务
http://www.aboutyun.com/thread-13575-1-1.html
1.spark客户端有哪些配置列表?
2.如何向spark集群提交应用?
3.deploy-mode参数都是什么含义?

搜索引擎--读书笔记一
http://www.aboutyun.com/thread-13566-1-1.html
1.商业搜索引擎公司是如何发展的?
2.搜索引擎公司是如何发展的?
3.搜索引擎技术框架有哪些?


搜索引擎--读书笔记二
http://www.aboutyun.com/thread-13570-1-1.html
1.什么是网络爬虫?
2.通用爬虫框架有哪些部分组成?
3.优秀爬虫有哪些特性?


Hadoop的压缩算法实现和压缩算法选择
http://www.aboutyun.com/thread-13576-1-1.html
1.为什么要对hadoop文件压缩?
2.本文中压缩和解压缩是哪个接口?
3.怎么选择压缩算法?




小知识:
kafka分区原理解析图
http://www.aboutyun.com/thread-13574-1-1.html



问答:


yum 安装mysql 错误
http://www.aboutyun.com/thread-13561-1-1.html

关于 流合并(join)的问题
http://www.aboutyun.com/thread-13571-1-1.html

资源:

虚拟化入门视频下载
http://www.aboutyun.com/thread-13577-1-1.html

虚拟化原理视频下载
http://www.aboutyun.com/thread-13578-1-1.html

从源码角度分析Hadoop中 Eclipse中开发的代码是如何提交给集群的?
http://www.aboutyun.com/thread-13579-1-1.html










about云2015年06月05日每日一读

如何提升你的能力?给年轻程序员的几条建议
http://www.aboutyun.com/thread-13552-1-1.html

机器学习实例详解如何解决问题
http://www.aboutyun.com/thread-13554-1-1.html
1.什么是机器学习?
2.有监督的机器学习在解决实际问题时,哪有两个流程?
3.什么是模型(model)?
4.为什么要用机器学习解决问题?
5.机器学习应该用于解决什么问题?




Phoenix二级索引浅谈
http://www.aboutyun.com/thread-13539-1-1.html
1.Phoenix官网上提供了哪三个与Hbase兼容的版本?
2.不可变索引的存储方式是什么?
3.如何修改新增数据?


计算机视觉:随机森林算法在人体识别中的应用
http://www.aboutyun.com/thread-13544-1-1.html
1.何为人体识别?
2.随机森林在人体识别中的应用有哪些?
3.随机森林的优势与缺点是什么?


利用Azure Traffic Manager保证业务的可用性
http://www.aboutyun.com/thread-13547-1-1.html
1.Microsoft Azure Traffic Manager是什么?能为我们干什么?
2.Traffic Mannger如何配置?


【Flume】flume中transactionCapacity和batchSize概念的具体分析和解惑
http://www.aboutyun.com/thread-13555-1-1.html
1.transactionCapacity的作用啊?
2.batchSize又是干啥的啊?
3.什么情况下,事务会提交,事务提交做了什么呢?



小知识:

Speedy,京东开源的Docker镜像存储系统
http://www.aboutyun.com/thread-13553-1-1.html






资源:

奉上3本机器学习英文原版书(一)
http://www.aboutyun.com/thread-13538-1-1.html

自制首发《OpenStack实战指南》
http://www.aboutyun.com/thread-13548-1-1.html

OpenStack高可用指南
http://www.aboutyun.com/thread-13556-1-1.html

SPSS19.0经典教程[1216页]
http://www.aboutyun.com/thread-13557-1-1.html

问答:

HDFS数据块丢失和损坏的原因有哪些?
http://www.aboutyun.com/thread-13540-1-1.html

怎样搭建hadoop源码开发环境?
http://www.aboutyun.com/thread-13543-1-1.html

关于flume-ng Memorychannel配置capacity和transcapacity大小的问题
http://www.aboutyun.com/thread-13545-1-1.html

求助OpenStack搭建后web中没有项目
http://www.aboutyun.com/thread-13546-1-1.html
















about云2015年06月05日每日一读

为什么不使用ZooKeeper构建云平台发现服务?
http://www.aboutyun.com/thread-13521-1-1.html
1.云平台部署时具有哪些特点?
2.Zookeeper在作为云平台搭建时会有哪些短板 ?
3.在构建服务时,Eureka的优势在哪?



小公司如何实现土豪级的灾备方案
http://www.aboutyun.com/thread-13522-1-1.html
1.云灾备有哪些优势?
2.AWS云服务是如何部署及使用的?


Hadoop实现Clustering by fast search and find of density peaks
http://www.aboutyun.com/thread-13535-1-1.html
1.Hadoop实现聚类快速搜索的思路是什么?
2.计算“局部密度距离”中,Mapper实现了什么功能?
3.如何实现根据决策图人工确定聚类个数?


机器学习最佳入门学习资料汇总
http://www.aboutyun.com/thread-13531-1-1.html


Neutron使用openvswitch网络通信的基本原理
http://www.aboutyun.com/thread-13526-1-1.html

小知识:

[Hive]Hive将一行记录拆分成多行
http://www.aboutyun.com/thread-13518-1-1.html

docker1.5的一个小问题
http://www.aboutyun.com/thread-13529-1-1.html


资源:

《SAS入门到精通》系列3:sas讲义(word版32章)
http://www.aboutyun.com/thread-13532-1-1.html


《SAS入门到精通》系列4:sas讲义(word版23章)
http://www.aboutyun.com/thread-13533-1-1.html

精通Hadoop
http://www.aboutyun.com/thread-13534-1-1.html



问答:

云计算中租户虚拟网络管理研究
http://www.aboutyun.com/thread-13520-1-1.html

hbase怎么查询表里的总纪录数呢?
http://www.aboutyun.com/thread-13523-1-1.html

求助一个问题,nova网络ping 网关不通,但是ping物理网段内的其他机器都可以
http://www.aboutyun.com/thread-13527-1-1.html

hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DD
http://www.aboutyun.com/thread-13530-1-1.html

hive:Access denied for user 'root'@'%'
http://www.aboutyun.com/thread-13536-1-1.html






about云2015年06月04日每日一读

程序员职业发展瓶颈:被人信任才能有广阔未来[写给代码技术同事]
http://www.aboutyun.com/thread-13510-1-1.html

GC调优在Spark应用中的实践
http://www.aboutyun.com/thread-13513-1-1.html
1.spark是否兼容批处理和流式处理?
2.配置垃圾收集器时,主要有哪两种策略?
3.GC算法原理是什么?
4.spark如何根据日志进一步调优?


漫谈大数据安全--以企业入侵检测日志分析为例
http://www.aboutyun.com/thread-13514-1-1.html
1.大数据如何感知威胁?
2.如何对攻击者进行画像,攻击手段进行建模?
3.数据分析包含哪些基本流程?




开源大数据查询分析引擎现状
http://www.aboutyun.com/thread-13504-1-1.html
1.当前的主流大数据查询分析引擎有哪些?
2.主流引擎具有什么架构?
3.主流引擎的系能评价如何?

Twitter发布新的大数据实时分析系统Heron
http://www.aboutyun.com/thread-13509-1-1.html
1.Heron是否可以推荐storm?
2.为了美分享处理数十亿的能力,Twitter提出了几种解决方案?
3.Heron的目标是什么?
4.Heron有哪些功能?

基于大数据分析的安全管理平台技术研究及应用
http://www.aboutyun.com/thread-13503-1-1.html
1.何为大数据?
2.大数据的安全分析是什么?
3.有哪些基于大数据安全分析的管理平台?


资源:
奉上两本新近的Hadoop英文原版书
http://www.aboutyun.com/thread-13512-1-1.html

《SAS入门到精通》系列1:知识点串讲视频及PPT【24章】
http://www.aboutyun.com/thread-13515-1-1.html

《SAS入门到精通》系列2:SAS程序
http://www.aboutyun.com/thread-13516-1-1.html

问答:

求助帖,为何shuffle时间会是负数?
http://www.aboutyun.com/thread-13501-1-1.html

hadoop+hbase ha集群 master启动失败
http://www.aboutyun.com/thread-13505-1-1.html

default_container_executor.sh每次都要花蛤10S?帮忙分析
http://www.aboutyun.com/thread-13507-1-1.html





about云2015年06月03日每日一读




程序员:如何提高影响力,为自己代言
http://www.aboutyun.com/thread-13490-1-1.html

openstack【juno】入门高级篇:为何你的实例ping不通外网
http://www.aboutyun.com/thread-13489-1-1.html
1.neutron使用了哪些技术?
2.为什么ping不同外网?
3.ping不通的域名原因是什么?



Spark1.0.x入门指南
http://www.aboutyun.com/thread-13494-1-1.html
1.Spark on Yarn如何查看日志?
2.spark-env.sh文件的作用是什么?
3.Spark on Yarn如何提交job?
4. Spark Standalone,Master,Worker节点分别负责什么?
5.Spark Standalone如何提交job?

Hadoop2.3+Hive0.12集群部署
http://www.aboutyun.com/thread-13495-1-1.html
1.什么情况下会触发mapduce?
2.出现错误Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient可能的原因是什么?
3.Mysql如何实现授权?



Redis低成本高可用方案设计
http://www.aboutyun.com/thread-13496-1-1.html
1.此文为什么说是低成本?
2.Sentinel有哪些功能?
3.Sentinel如何配置?
4.故障转移消息接收有哪3种方式?








hadoop最新自测题及答案
http://www.aboutyun.com/thread-13491-1-1.html


小知识:
Spark 批量写数据入HBase
http://www.aboutyun.com/thread-13492-1-1.html

资源:

人大sas视频(高级1.1G)【限时下载】
http://www.aboutyun.com/thread-13497-1-1.html

spark机器学习算法实现【代码】
http://www.aboutyun.com/thread-13498-1-1.html

搜达足球韩庆山---大数据在足球报道和比赛预测中的应用【50页】
http://www.aboutyun.com/thread-13499-1-1.html







问答:


hadoop2.6eclipse插件如何编译啊
http://www.aboutyun.com/thread-13493-1-1.html

学OpenStack是学什么?
http://www.aboutyun.com/thread-13485-1-1.html

worker连不上master,已困4天
http://www.aboutyun.com/thread-13488-1-1.html






about云2015年06月02日每日一读


招聘面试程序员的一些心得
http://www.aboutyun.com/thread-13478-1-1.html


数据挖掘在金融风险预警中的应用
http://www.aboutyun.com/thread-13475-1-1.html
1.什么是数据挖掘?
2.数据挖掘包含哪些流程?
3.数据挖掘常用分析方法有哪些?
4.数据挖掘在金融风险预警中如何应用?






solr 介绍:什么是solr,solr和solrCore
http://www.aboutyun.com/thread-13474-1-1.html
1.什么是solr的core?
2. 如何在线给solr增加core?
3.什么是solr?

使用Storm和Trident进行实时趋势分析(一)
http://www.aboutyun.com/thread-13479-1-1.html
1.如何发送日志消息给Kafka
2.怎样进行日志拓扑分析?
3.如何
使用Trident实现指数加权移动平均
4.怎样
使用storm和XMPP协议发送警报和通知

使用Storm和Trident进行实时趋势分析(二)
http://www.aboutyun.com/thread-13482-1-1.html
1.如何发送日志消息给Kafka
2.怎样进行日志拓扑分析?
3.如何
使用Trident实现指数加权移动平均
4.怎样
使用storm和XMPP协议发送警报和通知



数据人的痛苦--提供的数据用不上,该如何真正使用上
http://www.aboutyun.com/thread-13476-1-1.html


小知识:
使用thrift with python 访问HBase
http://www.aboutyun.com/thread-13480-1-1.html

资源:

人大sas视频(初级、中级)
http://www.aboutyun.com/thread-13481-1-1.html

市场细分数据分析和阐释
http://www.aboutyun.com/thread-13483-1-1.html



问答:


如何在项目中使用Hadoop程序
http://www.aboutyun.com/thread-13471-1-1.html


安装单机habase报错,好像是zookeeper问题,单机还需要zookeeper么?
http://www.aboutyun.com/thread-13477-1-1.html

solrcloud 性能
http://www.aboutyun.com/thread-13468-1-1.html


求问,三者区别?具体请看图
http://www.aboutyun.com/thread-13469-1-1.html


phoenix无法drop table
http://www.aboutyun.com/thread-13470-1-1.html

从RDBMS设计转向HBase设计求指导
http://www.aboutyun.com/thread-13472-1-1.html

请问各位大神如何在Hadoop中获取map任务总的执行时间??
http://www.aboutyun.com/thread-13473-1-1.html








about云2015年06月01日每日一读



OpenFlow网络中的路由服务
http://www.aboutyun.com/thread-13448-1-1.html
1.在主机和OpenFlow网络交换机的端口直接相连的情况下,OpenFlow网络路由该如何设置?
2.在主机通过二层网络接入OpenFlow的情况下,OpenFlow网络路由该如何设置?
3.在主机途径多个IP子网最终通过路由器和OpenFlow网络相连的情况下,OpenFlow网络路由该如何设置?


消息中间件ActiveMQ与Kafka对比之ActiveMQ的介绍
http://www.aboutyun.com/thread-13450-1-1.html
1.什么是ActiveMQ?
2.ActiveMQ有哪些特性?
3.什么是Kafka?



说到人脸识别,你再也找不到一个比腾讯更大更全的人脸数据集合了
http://www.aboutyun.com/thread-13453-1-1.html
1、什么是图像识别技术?
2、图像识别技术的原理是什么?
3、图像识别技术的未来将是什么样的?

利用开源架构ELK构建分布式日志系统
http://www.aboutyun.com/thread-13454-1-1.html
1、ELK产生的背景?
2、ELK的基本组成模块以及各个模块的作用?
3、ELK的使用总计有哪些?


经验分享 :大数据如何给运营做支撑
http://www.aboutyun.com/thread-13455-1-1.html
1、企业为何要做精细化运营?
2、大数据对精细化运营的价值有哪些?
3、大数据如何驱动精细化运营?


解析大数据基准测试——TPC-H or TPC-DS
http://www.aboutyun.com/thread-13456-1-1.html
问题1:大数据测试基准应该具有的要素讨论?
问题2 : 对TPC-DS测试基准重点讨论?


WePay机器学习反欺诈实践:Python+scikit-learn+随机森林
http://www.aboutyun.com/thread-13461-1-1.html
1.什么是shell selling?
2.随机森林算法?


about云2015年05月第五周经典回顾
http://www.aboutyun.com/thread-13457-1-1.html


资源:


Reboot glusterf运维经验谈
http://www.aboutyun.com/thread-13462-1-1.html

Scala编程第二版【英文版883页】Programming in Scala 2nd
http://www.aboutyun.com/thread-13463-1-1.html

Reboot saltstack交流
http://www.aboutyun.com/thread-13464-1-1.html

ASBJ2014-李申申-知乎架构变迁史
http://www.aboutyun.com/thread-13465-1-1.html

微软严治庆---让大数据为每个人服务
http://www.aboutyun.com/thread-13466-1-1.html



问答:


MapReduce设置reduce任务为0运行结果解析
http://www.aboutyun.com/thread-13451-1-1.html

MapReduce设置CombineTextInputFormat处理小文件的小测试
http://www.aboutyun.com/thread-13452-1-1.html








已有(2)人评论

跳转到指定楼层
zc168168 发表于 2015-5-22 10:56:09
不错,多多学习吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条