about云每日一读汇总（第23篇2017.12.08）

大数据与中国的战略选择
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23682
about云2017年12月29日每日一读

hadoop3.0 Yarn网络资源基础：tc 介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23683
1.什么是TC？
2.什么是qdisc 队列规则(queueing discipline)？
3.Class 类的作用是什么？

资源：
模式识别和机器学习（完整答案）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23684

问答：
如何给HA的hdfs安装kerberos
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23686

Spark使用mllib进行机器学习执行时间较长
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23687





about云2017年12月27日每日一读

hadoop3.0 Yarn支持网络资源2：network设计文档说明【中文】
http://www.aboutyun.com/thread-23661-1-1.html
1.本文讲了哪些配置项？
2.DistributedShell是否可以让用户指定网络带宽？
3.hadoop3.0网络设计存在哪些已知的问题

资源：

机器学习范例在推荐系统中的应用
http://www.aboutyun.com/thread-23669-1-1.html

问答：

eclipse下通过java连hbase超时
http://www.aboutyun.com/thread-23666-1-1.html



about云2017年12月26日每日一读

怎么样才能发挥大数据的价值?
http://www.aboutyun.com/thread-23657-1-1.html

hadoop3.0 Yarn支持网络资源1：network设计文档说明【中文】
http://www.aboutyun.com/thread-23653-1-1.html
1.网络作为Yarn的资源，有什么好处？
2.Yarn是否只支持调度和强制执行“传出流量”？
3.Yarn是否支持入口流量？

资源：
hadoop3.0 Yarn支持网络资源1：network设计文档说明【英文文档】
http://www.aboutyun.com/thread-23659-1-1.html

问答：

搭建云主机出现错误
http://www.aboutyun.com/thread-23658-1-1.html

openstack 先电 2.1 版本 即m版 无法启动实例 大神求救
http://www.aboutyun.com/thread-23660-1-1.html

在公共网络上启动实例后，检查实例的状态： nova list 后 Status是error
http://www.aboutyun.com/thread-23664-1-1.html


about云2017年12月25日每日一读


Hadoop3.0: YARN Resource自定义资源配置说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23626
1.yarn默认情况下使用哪些资源？
2.Yarn如何实现扩展自定义资源？
3.自定义资源，可以在哪个配置文件中配置？
4.哪些配置可以在yarn-site.xml文件或则 resource-types.xml文件配置？
5.yarn有哪三种Containers？
6.三种Container如何配置请求的CPU，memory等值？


Kafka生态系统详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23652

1.Kafka生态系统由哪些组件组成？

2.Kafka设计的动机是什么？

3.什么是消息传递语义？

Spark 高级分析:第三章第8，9，10节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23640
1.ALS.trainImplicit()参数有哪些？各自的意义是什么？
2.Spark MLlib的ALS能否支持向所有用户推荐？
3.Spark MLlib的ALS是否支持实时推荐？



资源：

hadoop3.x文档：Yarn磁盘I/O调度[英文]
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23650


hadoop3.x开始支持disk，网络，带宽等资源类型
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23649


问答：
求助 rdd.saveAsNewAPIHadoopFile 的一个奇怪问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23646

关于shipyard的不解问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23643



人工智能发展应高度重视大数据支撑作用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23642







about云2017年12月22日每日一读


理解Spark Streaming的数据冗余机制
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23629
1、如何理解Driver HA？
2、Driver失败如何实现恢复机制？
3、如何使用ReliableKafkaReceiver类型来实现可靠的数据收取？
4、Spark Streaming预写日志机制的核心API包括哪些？



资源：
Python3程序开发指南(中文版第二版)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23634


问答：
安装了dashboard ，在浏览器打开http://controller/horizon，提示 500 Internal
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23630


spark+yarn模式处理大文件，样本量不一致
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23632


Dstream 无reducebykey方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23633





about云2017年12月21日每日一读

使用spark2 sql的方式有哪些
http://www.aboutyun.com/thread-23541-1-1.html
1.spark SQL命令可以通过什么窗口直接执行？
2.如何远程访问spark SQL数据？
3.你认为使用spark SQL的方式有哪些？

Ocata 版本 nova-manage cell_v2 命令中没有 create_cell 选项
http://www.aboutyun.com/thread-23564-1-1.html


hadoop3.0改变了哪些默认端口
http://www.aboutyun.com/thread-23592-1-1.html
1.hadoop3.0为什么改变端口？
2.hadoop3.0改变了哪些端口？
3.KMS服务器端口号为何修改？

致大数据爱好者的一封信
http://www.aboutyun.com/thread-23593-1-1.html

关于大数据在电子商务中应用的5点认识
http://www.aboutyun.com/thread-23594-1-1.html

资源：

Spark-SQL数据类型
http://www.aboutyun.com/thread-23596-1-1.html

问答：

Ocata Nova 不能查看 hypervisor list
http://www.aboutyun.com/thread-23606-1-1.html




about云2017年12月20日每日一读

阿里巴巴数据分析面试题
http://www.aboutyun.com/thread-23558-1-1.html

Hadoop NameNode启动之FSDirectiry
http://www.aboutyun.com/thread-23561-1-1.html

数据挖掘领域的常见概念
http://www.aboutyun.com/thread-23553-1-1.html

资源：


深度卷积神经网络特征提取的数学理论【英文】
http://www.aboutyun.com/thread-23562-1-1.html


问答：

使用java调用api查看实例控制台界面问题
http://www.aboutyun.com/thread-23560-1-1.html

求教大神！！hbase是否可以整合mybatis
http://www.aboutyun.com/thread-23556-1-1.html

新手请教各位大神，Hbase是否可以与mybatis整合
http://www.aboutyun.com/thread-23555-1-1.html

spark中数组共享的问题
http://www.aboutyun.com/thread-23554-1-1.html


CDH集群下hbase删除一张表用时100多秒里面没数据
http://www.aboutyun.com/thread-23552-1-1.html

有在cdh中给HDFS配置过JMX端口的吗，求指教，如何
http://www.aboutyun.com/thread-23551-1-1.html

about云2017年12月19日每日一读

浅谈大数据分析师
http://www.aboutyun.com/thread-23535-1-1.html

spark2 sql去哪读取数据
http://www.aboutyun.com/thread-23466-1-1.html
1.spark SQL与传统数据库的区别在什么地方？
2.spark SQL独立使用，是否还需要hive？
3.Spark SQL都可以读取哪些数据源？
4.Spark SQL如何实现读取其它数据库？

邮箱验证不成功的原因
http://www.aboutyun.com/thread-23537-1-1.html

资源：

逻辑回归分析
http://www.aboutyun.com/thread-23539-1-1.html

OpenStack实战
http://www.aboutyun.com/thread-23540-1-1.html

问答：

Storm是否能解决迭代性问题
http://www.aboutyun.com/thread-23533-1-1.html



about云2017年12月18日每日一读

Spark 高级分析:第三章第6，7节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23520
1.如何评估推荐质量？
2.评估模型时是否会将数据集作为一个整体作为输入？
3.什么是AUC？如何计算？

spark2之DataFrame如何保存【持久化】为表
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23523
1.DataFrame如何保存为表？
2.saveAsTable的作用是什么？

hadoop3.0可用【 GA】版发布与alpha1版比较新发布了哪些功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23526
1.容器新增加了哪个概念？
2.Opportunistic类型容器有什么特点？
3.为何说Opportunistic类型容器提高集群效率？
4.hadoop3.0，可以通过什么方式来配置Capacity 调度？
5.yarn资源类型除了cpu和内存，还可以自定义哪些类型？

阿里巴巴大规模机器学习平台详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23527

1.怎样解决大规模机器学习中的样本问题？

2.怎样解决大规模机器学习中特征总量过大的问题？

3.怎么将文本数据转换成数值特征？

2017年about云12月第02周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23528

资源：
spark submit2016、2017ppt下载【120文档】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23529

问答：
如何将个性化需求变成大数据解决方案？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23522

新手入场
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23521





about云2017年12月15日每日一读

spark sql编程之实现合并Parquet格式的DataFrame的schema
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23518
1.DataFrame合并schema由哪个配置项控制？
2.修改配置项的方式有哪两种？
3.spark读取hive parquet格式的表，是否转换为自己的格式？

机器学习算法工程师技术栈清单
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23517

1. 基础开发能力包含哪些部分？

2. 概率和统计基础包含哪些部分？

3. 机器学习理论包含哪些部分？

4. 开发语言和开发工具包含哪部分？

5. 机器学习算法工程师现状是怎样的？

资源：
介绍Apache_Flink_MapR
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23516

问答：
kafka offset讨论问答分享
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23511

keystone HA Token同步
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23512

hive+impala+kudu+mysql：Communications link failure
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23513




about云2017年12月14日每日一读

TensorFlow ML cookbook 第二章1、2节 计算图中的运算和分层嵌套操作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23508
1、如何将对象放入计算图运算？
2、创建一个numpy数组？
3、如何在同一个计算图上进行多个操作？
4、数据在经过分层时如何改变？


资源：
机器学习实战及相关源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23509


问答：
spark-shell读取文件遇到错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23506


barbican安装问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23507






about云2017年12月13日每日一读

大数据四个必备数据分析入门的常识
http://www.aboutyun.com/thread-23503-1-1.html

spark2 sql编程样例：sql操作
http://www.aboutyun.com/thread-23501-1-1.html
1.DataFrame中本文使用了row哪些方法？
2.操作DataFrame row需要导入什么包？
3.teenagersDF.map(teenager => "Name: " + teenager(0)).show()中teenager 是什么trait？

资源：

Apache Spark和Tensorflow作为服务
http://www.aboutyun.com/thread-23504-1-1.html



about云2017年12月12日每日一读

机器学习入门基本知识：白话基本概念
http://www.aboutyun.com/thread-23498-1-1.html
1.什么是数据集?
2.什么是维度？
3.样本空间是指什么？
4.特征向量如何表示
5.标记与我们函数y=a(x)中哪个变量类同

如何使大数据成为长期数字化转型计划的一部分
http://www.aboutyun.com/thread-23495-1-1.html

资源：


人工智能：复杂问题求解的结构和策略
http://www.aboutyun.com/thread-23499-1-1.html


问答：

spark拆分数据
http://www.aboutyun.com/thread-23496-1-1.html



about云2017年12月11日每日一读

spark2 sql读取数据源编程学习样例2：函数实现详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23489
1.RDD转换为DataFrame需要导入哪个包？
2.Json格式的Dataset如何转换为DateFrame?
3.如何实现通过jdbc读取和保存数据到数据源？

情感语义分析实战：如何在IMDB电影评论数据集上应用word2vec进行情感分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23488

1.什么是NLP？

2.怎样删除html标签？

3.怎么将文本数据转换成数值特征？

spark2 sql读取数据源编程学习样例1：程序入口、功能等知识详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23484
1.dataframe如何保存格式为parquet的文件？
2.在读取csv文件中，如何设置第一行为字段名？
3.DataFrame保存为表如何指定buckete数目？

spark2 sql读取json文件的格式要求续：如何查询数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23483
1.DataFrame如何创建tempview？
2.sql()函数的作用是什么？

Spark 高级分析:第三章第4，5节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23482
1.如何构建一个模型？
2.怎样进行抽样检测？
3.广播变量是什么？如何使用？

2017年about云12月第01周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23493

资源：
分布式机器学习的实验设计[英文]
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23492

问答：
spark thrift server 怎么配置每台能分配到资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23485

请大神指点，持久化到MySql中 VoidFunction报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23486


about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第十七篇2016.12.05）

about云每日一读汇总（第十八篇2017.01.05）

about云每日一读汇总（第19篇2017.03.24）

about云每日一读汇总（第20篇2017.06.01）

about云每日一读汇总（第21篇2017.08.01）

about云每日一读汇总（第22篇2017.09.30）

楼主知识真全面啊。