分享

about云每日一读汇总(第十六篇2016.10.18)

本帖最后由 Tank_2000 于 2016-12-1 21:39 编辑

about云每日一读汇总(第一篇)

about云每日一读汇总(第二篇)

about云每日一读汇总(第三篇2014.10.20)

about云每日一读汇总(第四篇2014.12.10)

about云每日一读汇总(第五篇2015.01.01)

about云每日一读汇总(第六篇2015.02.01)

about云每日一读汇总(第七篇2015.03.01)

about云每日一读汇总(第八篇2015.05.01)

about云每日一读汇总(第九篇2015.06.21)

about云每日一读汇总(第十篇2015.09.01)

about云每日一读汇总(第十一篇2015.11.14)

about云每日一读汇总(第十二篇2016.01.01)

about云每日一读汇总(第十三篇2016.04.01)

about云每日一读汇总(第十四篇2016.05.16)

about云每日一读汇总(第十五篇2016.07.18)


about云2016年12月02日每日一读

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20447
1.  为什么要建设大数据平台?
2.  大数据平台的业务架构有哪几块?
3.  数据可视化的原因是什么?
4.  数据可视化的意义在于什么?


资源:
数据挖掘在电信行业手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20444

问答:
MOB
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20436

Hbase 2.0 官方哪里下载
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20437

宙斯调度系统在tomcat部署报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20440

CDH5版本 有没有全手动安装包和文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20441

有没有人 玩过Hbase的mob
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20442

[CDH4.5] 如何备份hdfs name hbase 请教下
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20443

移动HDFS数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20446


about云2016年11月30日每日一读

Spark Job调度方式及资源分配策略介绍
http://www.aboutyun.com/thread-20419-1-1.html
1、如何理解在应用程序间、程序内调度?
2、集群的资源分配有哪些方式?
3、资源分配策略有哪些?
4、如何配置调度池属性?


spark开发基础之Scala详解apply方法
http://www.aboutyun.com/thread-20423-1-1.html
1.什么情况下调用apply方法?
2.apply你认为有哪些作用?
3.方法调用属于apply什么功能?


资源:

魅族莫涵宇-魅族大数据平台架构实践
http://www.aboutyun.com/thread-20422-1-1.html

问答:

创建云实例后,登录后,使用ifconfig无IP地址,求大神指点
http://www.aboutyun.com/thread-20420-1-1.html

在mapreduce执行过程中,如何获取每个节点map产生结果的大小
http://www.aboutyun.com/thread-20421-1-1.html

ubuntu14部署ocfs2集群文件系统
http://www.aboutyun.com/thread-20418-1-1.html



about云2016年11月29日每日一读

HBase读性能优化策略:包括客户端、服务端及列族设计优化
http://www.aboutyun.com/thread-20412-1-1.html
1、读请求延迟较大存在在哪些场景?
2、scan缓存是否设置合理?
3、get请求是否可以使用批量请求?
4、请求是否可以显示指定列族或者列?
5、离线批量读取请求是否设置禁止缓存?
6、读请求是否均衡?
7、 BlockCache是否设置合理?
8、HFile文件是否太多?
9、 Compaction是否消耗系统资源过多?
10、 Bloomfilter是否设置?是否设置合理?
11、 Short-Circuit Local Read功能是否开启?
12、 Hedged Read功能是否开启?
13、数据本地率是否太低?




hbase热点问题(数据倾斜)解决方案---rowkey散列和预分区设计 Hbase的表会被
http://www.aboutyun.com/thread-20403-1-1.html

hive从入门到熟练
http://www.aboutyun.com/thread-20415-1-1.html

资源:

大数据核心技术与应用论坛—Hadoop与ElasticSearch的融合—卢亿雷
http://www.aboutyun.com/thread-20410-1-1.html

问答:

在Openstack上面创建了VM,该怎么取访问
http://www.aboutyun.com/thread-20404-1-1.html

Liberty新增加cinder节点,服务正常,但是容量在dashboard里显示没有增加
http://www.aboutyun.com/thread-20405-1-1.html

请教:怎么使用mapreduce分析三列数据获取最大值
http://www.aboutyun.com/thread-20406-1-1.html

openstack安装dashboard后访问horizon出错
http://www.aboutyun.com/thread-20407-1-1.html

Hive权限管理相关配置的疑惑
http://www.aboutyun.com/thread-20409-1-1.html

hadoop中如何将编译好的class分发到集群中的一台机器去执行,没有mapreduce,class...
http://www.aboutyun.com/thread-20413-1-1.html

hive 几个小问题,求解
http://www.aboutyun.com/thread-20414-1-1.html




about云2016年11月28日每日一读


数据分析入门需要了解的知识总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20400

1.什么是数据分析?
2.数据分析的目的是什么?
3.数据分析的步骤?

Storm 的消息可靠性保证机制测试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20395
1.Storm有哪几种消息保证机制?
2.如何实现可靠的 Bolt?
3.Trident 中,Spout 和 State 分别有哪几种状态?

云硬盘启动与镜像启动源码分析及差异
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20390
1.从云硬盘启动实例,源码是如何实现的?
2.如何从镜像启动实例?
3.二者有何不同?

storm概念名词汇总及相关说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20385
1.你认为storm有哪些概念?
2.本文讲了哪些概念?
3.Nimbus的作用是什么?

安装cloudera-manager心得
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20393

资源:
华为云服务大数据解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20399

问答:
Missing artifact org.apache.hadoop:hadoop-common:jar:2.6.0-cdh5.5.1
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20382

openstack 创建实例(VM),报错如下,求大神解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20383

大数据体系架构师、培训师招募
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20384

openstack dashboard 汉化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20386

hive 小文件问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20387

opemstack共享云硬盘
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20388

创建VM实例,出现以下出错,求大神解决,多谢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20394

请各位大神给个详细的hadoop案例介绍,尤其是数据量及完成的job需要多长时间
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20392

大数据新人,求面试经验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20391

cm安装报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20396

hiveserver2启动不了,急
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20397




about云2016年11月25日每日一读

spark开发基础之Scala快餐:开发环境Intellij IDEA 快捷键整理【收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20380
1.如何设置断点调试Scala?
2.如何注释Scala?
3.如何格式化代码?
4.本文讲了哪些技巧?


Linux中搭建通过docker搭建hadoop分布式集群教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20378


1.  启动docker可能出现哪些问题?如何解决?
2.  如何基于现有镜像创建新的镜像?
3.  搭建hadoop集群的步骤有哪些?
4. 如何设置ssh免密码登录 ?
5. 需要修改那些配置文件?
6. 如何判断集群正常启动了?
7. 如何解决重启集群后配置好的固定ip消失问题?

用cm安装cdh集群注意事项
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20376

资源:
HBase集群应用和优化经验-九翎
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20377

问答:
从dashboard上创建网络,提示: Unable to create the network. No tenant net...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20372

hive在spark上运行文件丢失的问题?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20373

计算节点openstack-nova-compute起不来,求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20374

CDH集群添加节点问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20375


about云2016年11月24日每日一读

使用机器学习算法和大数据工具集来预测已知的心脏疾病(附源码)
http://www.aboutyun.com/thread-20364-1-1.html
1. 使用什么样的数据集来进行预测?
2. 使用哪些工具与技术去实现预测系统?
3. 如何对预测系统进行设计架构?
4. 如何对训练集数据进行分析?
5. 如何构造模型对象并进行实际预测?
6. 对于这个预测系统有什么缺点?


资源:

老外nosql(Redis)视频2,3,4,5:redis基础|管理配置及构建
http://www.aboutyun.com/thread-20366-1-1.html

问答:

Windows+docker 怎么搭建Hadoop集群
http://www.aboutyun.com/thread-20365-1-1.html

hive on tez报错
http://www.aboutyun.com/thread-20367-1-1.html

hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase
http://www.aboutyun.com/thread-20368-1-1.html

为何Reduce端的value值会用Iterator来遍历,不能用别的吗?
http://www.aboutyun.com/thread-20369-1-1.html



about云2016年11月23日每日一读

大数据批处理及流处理框架汇总及对比
http://www.aboutyun.com/thread-20357-1-1.html
1、大数据处理框架是什么?
2、如何理解批处理系统?
3、各框架系统的优势与局限有哪些?
4、各框架流处理系统、批处理模式有哪些特性?


资源:

老外nosql(Redis)视频1:redis介绍
http://www.aboutyun.com/thread-20361-1-1.html


问答:

spark streaming 是否可以按照不是时间片而是数据量处理
http://www.aboutyun.com/thread-20356-1-1.html

Hbase drop卡主
http://www.aboutyun.com/thread-20359-1-1.html

如何把hbase查询出来的结果放在一个list里面?
http://www.aboutyun.com/thread-20360-1-1.html



about云2016年11月22日每日一读

Scala构建并行机器学习系统
http://www.aboutyun.com/thread-20350-1-1.html
1、为什么使用Scala构建机器学习系统?
2、一个计算工作流需要哪些步骤?
3、使用训练数据进行分析的过程如何处理?


资源:

Spark平台在电信运营商的应用实践
http://www.aboutyun.com/thread-20354-1-1.html


问答:

[cdh5.2 hdfs] namenode 启动不了,日志不更新了!
http://www.aboutyun.com/thread-20346-1-1.html

spark怎么后台运行
http://www.aboutyun.com/thread-20351-1-1.html

怎么使用spyder搭建spark的开发环境啊
http://www.aboutyun.com/thread-20352-1-1.html

hive2.1.0编译报错
http://www.aboutyun.com/thread-20353-1-1.html



about云2016年11月21日每日一读

谈大数据及机器学习和人工智能带来的影响?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20333

1.不同规模的数据项目怎样选择合适的算法?
2.如何成为一名大数据工作者?
3.怎么看待机器学习和人工智能给人类带来的影响?

全自动安装基于newton的openstack
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20340
1.节点操作系统安装方法?
2.怎样安装controller节点?
3.这样安装computer节点?

flume搜集数据到hadoop HA可能出现的问题及解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20327

spark开发基础之从Scala快餐序言
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20335

资源:
2016中国软件开发者白皮书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20334

问答:
CDH管理不同硬件配置的机器组成的集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20324

hbase HTableInterface频繁新建和关闭报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20325

大家好 想请教个问题 N版openstack创建出来的实例 网络不通
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20326

fwaas plugin中代码中log 信息,写到哪里了?该怎么查看 ?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20328

Spark给分组传递函数进行计算
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20329

面试题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20330

求解:用spark-assembly-1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0.jar搭建Spark环境报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20331

[cdh5.2 问题求解] yran服务中 jobhistory server 起不来
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20338

[CDH 5.2] HDFS 中的namenode启动不了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20341

关于hdfs上目录用户的变更问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20342

关于sequencefile存储格式问题咨询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20343


about云2016年11月18日每日一读

OpenStack M版的Keystone V3 中引入了Domain增加admin角色的复杂度
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20311
1.  Domain,project,user,role,token 之间是什么关系?
2.  使用默认 policy.json 时候的 admin 的权限有哪些?
3.  使用 policy.v3cloudsample.json 时候的 admin 的权限有哪些?
4.  如何启用多域(multi-domain)?
5.  多域(multi-domain)操作有哪些?

用IDEA开发spark,源码提交任务到YARN
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20316
1.本文的环境包含哪些软件?
2.如何安装开发环境?
3.提交源码过程中遇到了哪些问题?


使用mapreduce分析日志统计ip个数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20318
1.本文的需求是什么?
2.本文是如何实现分析日志统计ip个数的?
3.map和reduce分别完成了什么事情?


Oozie分布式任务的工作流——邮件篇
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20320

资源:
田毅-Spark开发及本地环境搭建指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20313

问答:
【小白求解】master和node的地址改后, 服务起来了,但是显示之前的地址超时
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20307

Fuel部署openstack网络的验证问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20308

Fuel部署Openstack遇到node untitled discovered dhcp server via eth0 with follo...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20309

新手:win7下eclipse连接hadoop出现如下问题,还劳烦大神帮帮忙。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20310

求助:python 使用nohup 启动进程怎么获取pid
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20312

用IDEA开发spark,应该如何提交任务到YARN上?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20314

MapReduce面试题求教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20315

python主进程结束,子进程继承了主进程的端口怎么破
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20317

hadoop启动时mv: cannot stat logs 跪求大牛哥答疑,非常感谢!
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20319



about云2016年11月17日每日一读

深度学习5种框架介绍包括官网,优缺点等
http://www.aboutyun.com/thread-20305-1-1.html
1.PaddlePaddle是什么?
2.TensorFlow的亮点是什么?有哪些优点和缺点?
3.本文介绍了哪些深度学习框架?

资源:

about云spark开发基础之Scala快餐
http://www.aboutyun.com/thread-20303-1-1.html

问答:

flume发送数据到kafka如何设置异步发送?
http://www.aboutyun.com/thread-20304-1-1.html



about云2016年11月16日每日一读
京东用大数据的方法解决【物流】建配送站的问题
http://www.aboutyun.com/thread-20295-1-1.html
1、大数据如何转化为智慧系统?
2、如何理解京东大数据平台架构?
3、如何构建智慧物流系统?

使用zabbix监控Flume
http://www.aboutyun.com/thread-20299-1-1.html


资源:

万象大数据应用实例
http://www.aboutyun.com/thread-20298-1-1.html



问答:

请教一下导出excel的问题
http://www.aboutyun.com/thread-20290-1-1.html

standalone和yarn模式提交任务出现问题
http://www.aboutyun.com/thread-20291-1-1.html

Hbase put 数据失败
http://www.aboutyun.com/thread-20292-1-1.html

hdfs内网集群的访问问题
http://www.aboutyun.com/thread-20294-1-1.html

sparkstreamin metrics 统计问题
http://www.aboutyun.com/thread-20296-1-1.html



about云2016年11月15日每日一读

RDD详解及在Spark中的地位和作用
http://www.aboutyun.com/thread-20282-1-1.html
1、RDD是什么?
2、为什么产生RDD?
3、RDD在spark是什么地位?
4、RDD在spark说是什么作用?
5、如何操作RDD?



资源:

openstack M版中文安装文档
http://www.aboutyun.com/thread-20283-1-1.html

智慧城市顶层设计
http://www.aboutyun.com/thread-20287-1-1.html

问答:

Sparksql是否配合etl跑数据仓库的分层数据?
http://www.aboutyun.com/thread-20275-1-1.html

cloudera-scm-agent启动失败
http://www.aboutyun.com/thread-20276-1-1.html

同步neutron 数据库报warn,请大神指点一下
http://www.aboutyun.com/thread-20277-1-1.html

HiveUDF异常FAILED: Execution Error, return code 1 from org.apache.hadoop.hive...
http://www.aboutyun.com/thread-20278-1-1.html

容量规划怎么做啊
http://www.aboutyun.com/thread-20281-1-1.html


如何通过mapreduce 分析各种类型(word,pdf等)数字的文档代码下载
http://www.aboutyun.com/thread-20288-1-1.html



about云2016年11月14日每日一读

如何通过mapreduce 分析各种类型(word,pdf等)数字的文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20273

1.什么是Jaql?
2.什么是Tika?
3.怎样创建并使用Jaql模块?




开发环境中[IDEA]调试Spark SQL及遇到问题解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20266
1.为什么IDEA连着把spark-1.4.1的源码都编译了?
2.怎样把hive-site.xml文件"送"给IEDA?
3.怎样设置设置IEDA的JVM参数?



基于Hadoop生态系开发的通用数据摄取平台Gobblin入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20262
1.Gobblin是什么?
2.Gobblin Job流程包含哪些流程?
3.Gobblin 如何设计的,包含哪些功能?



推荐系统如何应用人工智能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20261


2016年about云11月第02周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20269


资源:

基于Spark的用户上网WAP日志分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20272



问答:
SparkSql会生成很多的小文件,怎么解决哦?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20271


求助:java调用phoenix失败!
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20255


求教!!求大神告诉几个hadoop的命令!
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20256


map任务失败 Timed out after 600 secs Container released on a
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20257


各位大神,请教一下,solr有没有去重复的功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20258


Hbase 报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is ini...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20259


各位大神!求帮我讲一道mysql的题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20263


idea调试Spark--sparksql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20264


使用 MapReduce 统计其他类型文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20265


spark监控ganglia你们都哪些?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20270





about云2016年11月11日每日一读

将 Spark Streaming + Kafka direct 的 offset 存入Zookeeper并重用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20244
1. 使用Direct API时为什么需要见offset保存到Zookeeper中?
2. 如何将offset存入到Zookeeper中?
3. 如何解决Zookeeper中offset过期问题?

大数据岗位的面试总结【六个公司】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20249

资源:
算法之道
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20250

问答:
gobblin运行在yarn上报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20245

mapperreducer程序中能不能直接用主类的静态变量值,还是用Context传递值,这有什...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20246

面试77个问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20247

intellij idea开发的spark应用spark-submit提交正常运行,直接在idea提交有问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20251



about云2016年11月10日每日一读

Spark 日志解析示例包括运行、输出结果、源代码
http://www.aboutyun.com/thread-20238-1-1.html
1.本文分析的日志格式什么样的?
2.如何通过代码实现的?
3.分析网页计分例子如何实现的?


大数据安全分析成未来方向
http://www.aboutyun.com/thread-20240-1-1.html

招scala培训讲师
http://www.aboutyun.com/thread-20234-1-1.html


资源:

spark开发基础之Scala资源汇总
http://www.aboutyun.com/thread-20233-1-1.html

移劢大数据平台架构实践
http://www.aboutyun.com/thread-20239-1-1.html

问答:

求一段日志分析代码
http://www.aboutyun.com/thread-20231-1-1.html

请问YARN和ZooKeeper之间的联系和区别
http://www.aboutyun.com/thread-20235-1-1.html


python调用命令跳出小黑窗,要如何隐藏?
http://www.aboutyun.com/thread-20236-1-1.html

hbase启动 Could not find or load main class .usr.java.packages.lib.amd64:.usr...
http://www.aboutyun.com/thread-20237-1-1.html

Hbase导入大量数据,regionserver异常奔溃
http://www.aboutyun.com/thread-20241-1-1.html

spark分析日志乱码
http://www.aboutyun.com/thread-20242-1-1.html


about云2016年11月09日每日一读

无监督式机器学习之聚类分析及Autoencoder应用方向介绍
http://www.aboutyun.com/thread-20222-1-1.html
1、什么是无监督式机器学习?
2、聚类分析的流程有哪些?
3、什么是Autoencoder算法?

spark开发基础之从关键字入门Scala
http://www.aboutyun.com/thread-20223-1-1.html
1.apply的作用是什么?
2.yield什么情况下使用?
3.partition如何使用?

资源:

中国智慧城市大数据应用市场研究白皮书
http://www.aboutyun.com/thread-20225-1-1.html

问答:

如何加快cinder删除卷的速度(liberty)
http://www.aboutyun.com/thread-20216-1-1.html

pyinstaller 打包exe文件的问题
http://www.aboutyun.com/thread-20219-1-1.html

jobhistoryserver正常启动,19888端口未占用,无法通过web访问,其他端口访问正常
http://www.aboutyun.com/thread-20220-1-1.html

又来提问了 = = 求大神科普一下关于libqb...
http://www.aboutyun.com/thread-20224-1-1.html

有比较雾计算(FOG)、移动边缘云计算(MEC)和微云计算(CLOUDLET)这些的区别的?
http://www.aboutyun.com/thread-20227-1-1.html


epel-release-7-6.noarch 是否出现问题了
http://www.aboutyun.com/thread-20229-1-1.html


about云2016年11月08日每日一读

spark开发基础之从Scala符号入门Scala
http://www.aboutyun.com/thread-20159-1-1.html
1.Scala中有哪些常见符号?
2.本文讲了哪些符号?
3.你对符号的理解是什么?
4.<-,->,=>,Int=,_ 它们含义是什么?用在什么地方?

如何使用Spark Streaming+ES构建App异常监控平台(以美团为例)
http://www.aboutyun.com/thread-20209-1-1.html


1. 为什么要选择Spark Streaming和Elasticsearch?
2. 如何解决异常重启和升级重导等问题带来的稳定性问题?
3. 为解决低延迟问题,需要在输入端和输出端做什么处理?
4. Elasticsearch在实时分析平台的优势是什么?
5. 如何提高整个平台的可扩展性?


Mangum OpenStack里比较热门的一个和Docker集成的新项目
http://www.aboutyun.com/thread-20210-1-1.html


资源:


问答:


MapReduce 中文分词乱码
http://www.aboutyun.com/thread-20212-1-1.html


about云2016年11月07日每日一读

HBase RegionServer宕机恢复三部曲
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20207
1.HBase的故障恢复有哪三种不同模式?
2.HBase日志切分方法?
3.Distributed Log Replay解决了哪些问题?

世界上那些有才华的穷人
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20196
1、我们自己真正出众的才华是什么?
2、有几个人真正的清楚了解自己的才华是什么?
3、有才华,为什么会贫穷?
4、成功是什么?


数据挖掘就业解答及相关说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20199
1.数据挖掘主要是做算法还是做应用?分别都要求什么?
2.北上广以外的普通公司用的多吗?待遇如何?
3.和前端后端程序员比有什么区别?有什么优缺点?
4.目前在学习机器学习,如果想找数据挖掘方面的工作应该学习哪些内容?
5.hadoop,hive之类的需要学习吗?

资源:
谁说菜鸟不会数据分析-(完整)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20206

问答:
在windows下读写hbase 中文汉字
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20194

cinder list 显示名称字段不统一问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20197

重装新版本的JDK后could not open `C:\Program Files\Java\jre6\lib\i386\jvm.cfg
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20201

Hadoop 使用 Eclipse 提交作业
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20203

sparkStreaming 窗口函数问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20204

hiveql解析sql后生成的mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20205





about云2016年11月04日每日一读

携程Storm实时大数据平台是如何实现的及遇到问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20187
1.为什么要做实时数据平台?
2.需要怎样的实时数据平台?
3.如何实现实时数据平台?
4.实现实时数据平台遇到了哪些问题?


资源:
集体智慧编程中文版【机器学习】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20188

问答:
Hadoop求教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20184

sqoop 将hive数据导入mysql报错Can't parse input data: '633507'
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20185

HBase的汉字乱码问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20186

Centos7启动httpd后,登录dashboard,验证不通过
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20189

谁用过rundeck,请教kill job 问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20190



about云2016年11月03日每日一读

大数据架构师必读:大数据开源技术产生演进过程及背景介绍
http://www.aboutyun.com/thread-20176-1-1.html
1. 何为小数据处理?
2. 在大数据的浪潮中Hadoop 为何能够崛起?
3. 在Hadoop 显露出许多缺点时,我们该如何架构大数据系统?
4. 未来大数据架构的趋势是什么样的?



同一个数据中心如何使YARN和Mesos的协调工作
http://www.aboutyun.com/thread-20178-1-1.html
1.同一个数据中心使用Mesos和YARN是否会冲突?
2.Mesos和YARN发生冲突,本文是如何解决的?
3.Myriad的作用是什么?


hiveserver2 JDBC上的实践DBCP连接池
http://www.aboutyun.com/thread-20182-1-1.html


招云计算培训讲师
http://www.aboutyun.com/thread-20171-1-1.html

资源:


精通 Apache Spark【英文版】
http://www.aboutyun.com/thread-20179-1-1.html


问答:


CDH平台DATANODE数据块阀值参数设置
http://www.aboutyun.com/thread-20170-1-1.html


spark集群启动错误
http://www.aboutyun.com/thread-20174-1-1.html


在CDH集群上再部署一个mesos是否可行(跟yarn会有冲突吗)
http://www.aboutyun.com/thread-20175-1-1.html


求助关于pacemaker和corosync的问题
http://www.aboutyun.com/thread-20177-1-1.html


hiveserver2使用连接池的问题
http://www.aboutyun.com/thread-20180-1-1.html




about云2016年11月02日每日一读

淘宝大数据平台发展的三个阶段介绍
http://www.aboutyun.com/thread-20160-1-1.html
1、淘宝网数据仓库平台发展阶段有哪些?
2、如何理解天网调度系统架构?
3、如何理解云梯数据仓库、数据同步架构?
4、孔明灯解决方案重点流程有哪些?

Swarm Consul Shipyard配置Docker集群
http://www.aboutyun.com/thread-20165-1-1.html
1.consul镜像的作用是什么?
2.swarm的作用是什么?
3.如何实现管理docker节点?

资源:


Storm技术内幕与大数据实践
http://www.aboutyun.com/thread-20163-1-1.html

问答:

单个数据节点的2个挂载磁盘数据不均衡,怎么处理?
http://www.aboutyun.com/thread-20161-1-1.html

基于CDH5.x 下面使用eclipse 操作hive 创建表出现的问题及解决
http://www.aboutyun.com/thread-20162-1-1.html

执行shipyard自动部署脚本后,一直出现......
http://www.aboutyun.com/thread-20164-1-1.html



about云2016年11月01日每日一读

机器学习有哪些通用框架?
http://www.aboutyun.com/thread-20148-1-1.html
1、有哪些标签类型?
2、哪些指标可以评价一个框架的好坏?
3、特征有哪些类型?
4、如何选择好的模型?

使用ssh远程连接openstack云主机教程
http://www.aboutyun.com/thread-20156-1-1.html

在OpenStack上安装Ubuntu系统指导
http://www.aboutyun.com/thread-20157-1-1.html

资源:

学习openstack网络Neutron【openstack推荐书】
http://www.aboutyun.com/thread-20154-1-1.html

问答:

openstack M版创建云主机No valid host was found
http://www.aboutyun.com/thread-20145-1-1.html

hdfs sink权限问题
http://www.aboutyun.com/thread-20149-1-1.html

新手求救!困扰好几天了 用平台创建好的虚拟云主机 为什么连接不进去 !!
http://www.aboutyun.com/thread-20150-1-1.html

cinder create volume大小问题:
http://www.aboutyun.com/thread-20151-1-1.html

line unknown SyntaxError: unexpected EOF while parsing
http://www.aboutyun.com/thread-20152-1-1.html

mapreduce报错 java.net.ConnectException: Connection refused
http://www.aboutyun.com/thread-20153-1-1.html

hive加载数据覆盖及重复的问题
http://www.aboutyun.com/thread-20155-1-1.html




about云2016年10月31日每日一读

一元一次线性方程的MapReduce实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20140


1.怎样打乱数据?
2.怎样实现一元一次线性回归?
3.怎样验证结果?

基于Spark的数据挖掘环境搭建
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20138

1.怎样配置hadoop插件?
2.怎样配置spark插件?
3.怎样配置scala插件?

资源:
spark之Scala-入门手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20143

问答:
2016年10月面试总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20139


sqoop1.99.7 dataSql语句加了双引号,导致数据迁移出错。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20141


执行shipyard自动部署脚本后一直出......,没反应,平时没有那么麻烦的啊,奇了怪了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20142




about云2016年10月28日每日一读

Spark实现LDA实例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20130
1. LDA主题模型算法简介
2. Spark实现LDA的GraphX基础
3. PySparkml库中Clustering LDA简介
4. LDA求解的优化器模型
5. Spark实现LDA的步骤
6. 使用pySpark实现LDA
7. 使用scala的Spark实现LDA

资源:

Sqoop中文手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20129

问答:
编译shipyard ui部分时出现以下错误,求大神解答,前几天明明还好好的~
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20125

从hbase中读取大量数据的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20126

为什么我的hbase如果检索rowkey的值一多就会卡死呢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20127

flume个性化处理json数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20128





about云2016年10月27日每日一读

乐视分享:为何将Storm数据存储到 HBase
http://www.aboutyun.com/thread-20122-1-1.html
1. HBase 实时指标存储与传统方案 (Redis/MySQL) 对比有什么优势?
2. HBase 在写入时需要注意哪些?
3. HBase 的 Client 的特点有哪些?
4. Redis/Mysql 存储方案存在哪些缺点?

资源:

hadoop安装CDH5
http://www.aboutyun.com/thread-20121-1-1.html

神经网络与机器学习(原书第3版)[推荐]
http://www.aboutyun.com/thread-20120-1-1.html


问答:

退出cmd.exe后用python启动的进程也退出了
http://www.aboutyun.com/thread-20123-1-1.html

请教一个zookeeper连接太频繁会爆错误的问题
http://www.aboutyun.com/thread-20118-1-1.html

如何查看虚拟机的磁盘缓存模式
http://www.aboutyun.com/thread-20117-1-1.html


about云2016年10月26日每日一读

Kafka源码分析--Kafka client是如何基于NIO构建自己的network层
http://www.aboutyun.com/thread-20109-1-1.html
1、如何理解Network层的分层架构?
2、Network层组件与NIO组件的映射关系是什么?
3、Kafka Selector、NetworkClient实现思路有哪些?
4、连接检测&自动重连机制有哪些?


失效资源随时可反馈
http://www.aboutyun.com/thread-20110-1-1.html

资源:


Sqoop之Oracle导数入Hive
http://www.aboutyun.com/thread-20113-1-1.html

问答:

spark Phoenix
http://www.aboutyun.com/thread-20105-1-1.html

请教各位storm如何和hbase结合
http://www.aboutyun.com/thread-20106-1-1.html

问个问题..关于pid进程号的
http://www.aboutyun.com/thread-20111-1-1.html

importtsv 导数遇到的问题
http://www.aboutyun.com/thread-20112-1-1.html

在Docker上部署CDH ,,该是一个什么思路?
http://www.aboutyun.com/thread-20114-1-1.html

定时持久化队列消息到hdfs
http://www.aboutyun.com/thread-20115-1-1.html

about云2016年10月25日每日一读

基于spark用户协同过滤算法的实现
http://www.aboutyun.com/thread-20100-1-1.html



1、如何基于用户协同过滤的?
2、使用idea是如何打包的?
3、UserBase推荐算法主要做哪些工作?
4、如何运行jar?
5、运行jar时有哪些注意事项?


资源:

Storm源码分析书籍【适合入门推荐】
http://www.aboutyun.com/thread-20103-1-1.html

问答:

有大数据环境基础,想学习大数据相关数据挖掘,求学习路线和对应书籍,谢谢
http://www.aboutyun.com/thread-20096-1-1.html

求助,安装CDH出错
http://www.aboutyun.com/thread-20097-1-1.html

求助:Ignoring non-compliant parcel manifest: CDH-5.0.1-1.cdh5.0.1.p0.47
http://www.aboutyun.com/thread-20098-1-1.html

openstack M版创建云主机No valid host was found. There are not
http://www.aboutyun.com/thread-20099-1-1.html

MapReduce下的图像并行化处理相关问题。
http://www.aboutyun.com/thread-20101-1-1.html

storm集成卡夫卡报错 求解决方法
http://www.aboutyun.com/thread-20102-1-1.html



about云2016年10月24日每日一读

图数据分析在Spark生态系统的使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20080
1、如何定义图数据?
2、图数据分析与传统数据的处理有哪些不同之处?
3、图数据分析是如何促进大数据和预测分析?
4、NoSQL图数据库、图数据查询、图数据分析和图数据可视化这四种图数据相关的概念吗?
5、在哪些受欢迎的用例数据处理中,图数据处理是更好解决的方案?
6、Spark GraphX程序库实现中还有哪些缺失特性?

openstack基础之python的多线程并发库函数——eventlet
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20085
1.什么是协程?
2. eventlet是做什么用的?
3.怎样通过eventlet实现一个爬虫?

Kafka源码分析Producer的网络层——JAVA NIO封装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20088
1.Java NIO有哪些组件?
2.Unix环境有哪几种网络IO模型?
3.Selector和epoll在事件的注册上面有哪些区别?

资源:
学习spark-快速大数据分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20090

问答:
创建外部网络的时候为什么会有dhcp?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20075

sqoop export 到oracle update出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20077

kafka队列消息存储到hdfs?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20078

oozie与kettle的比较,大家怎么看?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20081

Spark Streaming中读取本地文件,无法获取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20082

CM初始化报log4j:ERROR Could not find value for key log4j.appender.A
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20083

先进制造业大数据应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20084

关于Swarm TLS证书的问题,求大神帮忙解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20089


about云2016年10月20日每日一读

Hbase架构及设计实践
http://www.aboutyun.com/thread-20060-1-1.html
1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何?
2. Hbase框架是如何架构出来的 ?
3. Hbase 是如何检索一条数据以及检索时间复杂度是多少?
4. 如何设计 Hbase 数据库?
5. 还有哪些HBase调优小技巧?

资源:

中国医药电商大数据分析报告
http://www.aboutyun.com/thread-20061-1-1.html



about云2016年10月19日每日一读

网易云对象存储方案和应用场景介绍
http://www.aboutyun.com/thread-20052-1-1.html
1、对象存储应用场景有哪些?
2、网易对象存储核心是什么?
3、DFS分布式文件系统哪些特性?
4、网易NOS系统架构提供哪些服务?


资源:

Scala编程指南第三版(2016)【英文】
http://www.aboutyun.com/thread-20054-1-1.html

问答:

关于安装hadoop2.6的乱码咨询
http://www.aboutyun.com/thread-20048-1-1.html

vcenter对接openstacknova-compute服务报错
http://www.aboutyun.com/thread-20049-1-1.html

虚机下hadoop集群如何实现机架感知?
http://www.aboutyun.com/thread-20055-1-1.html

如何用spark某些字段的回车去除
http://www.aboutyun.com/thread-20056-1-1.html

有人试过手动搭建neutron的网络么?
http://www.aboutyun.com/thread-20058-1-1.html

openstack 虚拟内核已使用数量问题
http://www.aboutyun.com/thread-20047-1-1.html



about云2016年10月18日每日一读


ElasticSearch  Java API 之 索引管理【 版本2.4.1】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20042
1.ElasticSearch如何实现管理索引的?
2.IndicesAdminClient定义了几种prepareXXX()方法作为创建请求的入口点?
3.类型存在API的作用是什么?
4.如何创建复杂索引?
5.如何关闭打开索引?
6.如何创建索引的别名?




资源:

Sqoop开发者指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20043


问答:
Spark Notebook 运行不起来
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20040


sqoop执行导入导出不执行mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20044















已有(2)人评论

跳转到指定楼层
berkhamp 发表于 2016-12-19 11:37:16
楼主,用心了,实在感谢
回复

使用道具 举报

小hua 发表于 2017-2-8 17:07:15
点滴积累,感谢分享
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条