about云每日一读汇总（第31篇2019.03.01）

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第十七篇2016.12.05）

about云每日一读汇总（第十八篇2017.01.05）

about云每日一读汇总（第19篇2017.03.24）

about云每日一读汇总（第20篇2017.06.01）

about云每日一读汇总（第21篇2017.08.01）

about云每日一读汇总（第22篇2017.09.30）

about云每日一读汇总（第23篇2017.12.08）

about云每日一读汇总（第24篇2018.01.02）

about云每日一读汇总（第25篇2018.03.21）

about云每日一读汇总（第26篇2018.05.01）

about云每日一读汇总（第27篇2018.07.02）

about云每日一读汇总（第28篇2018.09.03）

about云每日一读汇总（第29篇2018.11.01）

about云每日一读汇总（第30篇2019.01.02）

about云2019年05月05日每日一读


技术应用：
spark2.0对文本分词进行多分类建模
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27106
1、如何使用spark进行文本数据预处理？
2、如何进行数据处理模型训练、保存和调用？
3、如何进行多分类模型训练和超参数调优？
4、如何进行多分类模型预测和模型评估？


实时计算中有关G7的探索和实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27107

1.G7是如何工作的？

2.G7的业务场景是怎样的？

3.哪一种流计算框架比较适合IoT这个场景的？

4.G7业务应用案例 Flink目前在G7的应用场景有哪几个方面？

5.实时计算平台开发和现状是怎样的？

6.Glink的实时计算平台的架构是怎样的？

7.Glink主要由哪几个部分组成？

8.Glink实时计算平台的功能有哪些？

9.Glink-Framework框架提供哪些封装？

10.平台收益主要体现在哪几个方面？

11.未来对于flink的规划是怎样的？

文档：
Spark面试2000题(1_6期 外加60题)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27108

机器学习个人笔记完整版2.5
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27109




about云2019年04月30日每日一读

Kafka设计解析 - Exactly Once语义与事务机制原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27101
1、为什么要提供事务机制？
2、事务机制原理是什么？
3、完整事务过程是怎样的？
4、事务过期机制是什么？
5、Kafka与其它系统事务机制对比有哪些优缺点？


文档：
周海维-爱奇艺深度学习云平台的实践及优化-最终版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27099


最终版-张俊林-深度学习在推荐的技术进展及微博的应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27100




about云2019年04月29日每日一读

在Kubernetes上运行Apache Flink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27094
1.在Kubernetes上运行Flink有哪些挑战？
2.为何我们选择将Flink作为作业集群运行？
3.在Kubernetes上是否可以运行Flink？


其它：
hive 抽样查询(Samping)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27093


书籍：
深入浅出数据科学
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27095


数据挖掘原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27091


《Wireshark网络分析实战》以色列 约拉姆 奥扎赫
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27092



about云2019年04月28日每日一读

安装配置：
Hadoop+Hive+HBase+Kylin 伪分布式安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27088

1.Centos7如何安装配置？

2.linux网络配置如何进行？

3.linux环境下java如何安装？

4.linux环境下SSH免密码登录如何配置？

5.linux环境下Hadoop2.7如何安装？

6.linux环境下Mysql如何安装？

7.linux环境下Hive如何安装？

8.linux环境下Zookeeper如何安装？

9.linux环境下Kafka如何安装？

10.linux环境下Hbase如何安装？

11.linux环境下KYLIN如何安装？

总结型：
大数据技术大全入门汇总讲解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27085

1.什么是大数据？

2.大数据的应用领域有哪些？

3.大数据方面核心技术有哪些？

组件下载：
apache-ranger-1.2.0.tar Hadoop集群权限框架
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27087



异常错误：
生成HFile文件报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27086




about云2019年04月26日每日一读

全面学习Spark包括：基础解析、概述、集群安装、开发等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27083
1、什么是 Spark？
2、Spark 的用户和用途有哪些？
3、Spark 如何进行集群安装？
4、如何再Spark shell 中编写 WordCount 程序？
5、如何在 IDEA 中远程调试 WordCount 程序？



文档：
用户行为数据分析+项目计划书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27080


书籍：
Kubernetes进阶实战_马永亮（书籍）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27081


源码：
Kubernetes进阶实战马永亮【源码】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27082



about云2019年04月25日每日一读

介绍解说：
EGADS介绍：大规模时间序列异常检测
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27072
1.什么是EGADS？
2.为何产生EGADS？
3.EGADS如何使用？


入门帮助：
轻松理解机器学习算法知识
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27074
1、非码农如何理解什么是机器学习？
2、机器学习常见算法分类有几种？
3、如何理解算法类似性？
4、常用算法有哪些？优缺点是什么？


源码：
人脸识别源代码及模型
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27070


书籍：
用户网络行为画像：大数据中的用户网络行为画像分析与内容推荐应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27071


疑问解答：
alluxio挂载hdfs问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27068




about云2019年04月24日每日一读

介绍解说：
Kafka2.2.0有哪些改变
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27060
1.kafa支持了哪些验证？
2.API 做了什么改进?
3.Kafka2.2.0推荐哪个版本？


TensorFlow ML cookbook 第七章2、3节 实施TF-IDF及使用Skip-gram嵌入
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27063
1、我们如何理解TF-IDF？
2、TensorFlow中如何实现TF-IDF嵌入？
3、如何使用Skip-gram嵌入方式？
4、如何在电影评论数据上实现skip-gram模型？


文档：
机器学习中距离与相似度度量
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27061


书籍：
Linux命令行与shell脚本编程大全.第3版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27062



疑问解答：
hadoop控制台柱形图，求解释啊
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27058


hive能建分区表映射已存在的2张表结构相同的hbase表吗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27059




about云2019年04月23日每日一读

实操演练：
Kylin调优，项目中错误总结，知识点总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27054
1、如何提高访问连接并发（运维层面）？
2、如何解决kylin预处理过程gc问题（运维层面）？
3、如何配置build引擎支持Spark？
4、Kylin有哪些调优方案？
5、Kylin如何通过JDBC Driver连接？


介绍解说：
Spark访问HBase表瓶颈方案：HBase Connector
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27053
1.HBase Connector是用来干什么的？
2.Catalog的作用是什么？
3.HBase Connector该如何使用？



名企资源：
基于大数据的全球电商系统架构性能优化-郭东白
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27052


Wireshark 数据包分析实战(第2版)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27051


疑问解答：
kafka consumer的offset如何标记状态
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27055




about云2019年04月22日每日一读

新版发布：
Flink1.8发布:都有哪些改变
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27045
1.Flink1.8引入对什么状态的连续清理？
2.保存点兼容性方面，不在兼容哪个版本？
3.Maven依赖在Hadoop方便发生了什么变化？
4.Flink是否发布带有Hadoop的二进制文件？

原理：
Spark2内存管理详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27044

1.Spark 中堆内内存是如何进行规划的？

2.Spark 对堆内内存的管理的具体流程是怎样的？

3.Spark 能否完全避免内存溢出（OOM, Out of Memory）的异常？

4.Spark 堆外内存是如何进行规划的它有哪些优势？

5.如何通过MemoryManager接口管理内存？

6.静态内存是如何分配的？

7.堆内内存大小的计算方式是什么？

8.统一内存管理机制是怎样的？

9.RDD 的持久化机制是如何进行的？

10.RDD 缓存的过程是怎样的？

11.存储内存的淘汰和落盘规则是怎样的？

12.多任务间内存是如何进行分配的？

13. Shuffle 的 Write 和 Read 两阶段对执行内存的使用过程是怎样的？

实操演练：
python实战之股票交易量化分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27043

1.什么是pandas-datareader？

2.怎样使用DataReader分析股票数据？

3.怎样可视化股价数据？

书籍：
Hadoop Spark生态系统操作与实战指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27047

英文资料：
Flink下一代数据分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27046

疑问解答：
关于mapreduce的map端
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27048


sparksql 访问hive 怎么控制权限
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27042



about云2019年04月19日每日一读

实战：
大数据实战之App管理平台日志分析（二）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27036
1、如何通过GeoLite2-City获取手机真实IP地址？
2、如何对地理信息缓存？
3、如何将log消息发送给Kafka？
4、如何自定义Flume拦截器？


书籍：
深入理解Kafka：核心设计与实践原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27039


视频：
第一章：企业大数据平台概述
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27037


第二章 搭建企业大数据平台【Cloudera】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27038

about云2019年04月18日每日一读

总结型：
Elasticsearch性能优化-大咖实践经验总结
http://www.aboutyun.com/thread-27026-1-1.html
1.集群规划有哪些优化措施？
2.磁盘该如何选择？
3.内存该如何分配中？
4.索引优化有哪些方法？
5.数据模型优化包含哪些内容？

大数据实战之App管理平台日志分析（一）
http://www.aboutyun.com/thread-27032-1-1.html
1、如何进行项目分析流程？
2、如何初始化web日志收集程序？
3、如何创建app日志收集web模块app-log-collect-web ？
4、如何创建UploadUtil类，模拟日志上传到web？

书籍：
大数据架构师指南
http://www.aboutyun.com/thread-27028-1-1.html

英文书籍：
流式处理Flink【书籍】
http://www.aboutyun.com/thread-27029-1-1.html


组件下载：
redis-3.0.7免编译安装压缩包
http://www.aboutyun.com/thread-27030-1-1.html

异常错误：
sqoop hcatalog export oracle 错误 Projected column xx not in the list of
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27024

利用种子人群扩展lookalike人群，怎么实现呢
http://www.aboutyun.com/thread-27031-1-1.html



about云2019年04月16日每日一读

介绍解说：
Sqoop大全：包括简介、原理、安装、简单使用案例、一些常用命令及参数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27008
1.Sqoop原理是怎样的？
2.如何利用Sqoop导入数据？
3.如何利用Sqoop导出数据？
4.Sqoop常用的命令及对应参数有哪些？


书籍：
《实时大数据分析基于Storm、Spark技术的实时应用》_张广骏译
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27011


代码整洁之道
http://www.aboutyun.com/forum.php?mod=viewthread&tid=27012

cooooool