2017年about云12月第01周经典帖子总结

深度学习：通过神经网络提取文本摘要【包括新闻、博客等】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23454
1.通过什么技术可以提取新闻、博客、聊天、报告、论文、微博等内容？
2.生成式文本摘要借助什么技术，有新的发展?
3.生成式神经网络模型的基本结构包含什么内容？



如何使用Tensorflow可视化卷积神经网络
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23477

1. 如何获取数据集？

2. 如何选择模型？

3. 如何处理和构建数据集？

4. 卷积和池化是如何工作的？

5. 如何构建卷积神经网？

6. 如何创建损失函数和优化器？

7. 如何创建TensorBoard用的汇总？

8. 如何训练模型？

9. 如何可视化计算图？

10. 如何评估性能？

11. 如何生成可视化不断进化的滤波器？

spark2 sql读取数据源编程学习样例1：程序入口、功能等知识详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23484
1.dataframe如何保存格式为parquet的文件？
2.在读取csv文件中，如何设置第一行为字段名？
3.DataFrame保存为表如何指定buckete数目？


spark2 sql读取json文件的格式要求
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23478
1.spark2 sql如何读取json文件？
2.spark2读取json格式文件有什么要求？
3.spark2是如何处理对于带有表名信息的json文件的?


Spark SQL案例介绍与编程实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23469
1、Spark SQL/DataFrame如何理解？
2、如何使用spark SQL编写统计代码？
3、如何查看spark任务监控过程？
4、Spark SQL程序开发需要注意哪些内容？


scala中case class是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23464


Kafka新版消费组(consumer group)详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23447

1.什么是消费者组？

2.什么是rebalance协议？

3.谁来执行rebalance和consumer group管理？

资源：
Apache Spark Streaming + Kafka 0.10整合
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23468


Spark总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23460


Spark Shuffle提高性能解决方案RDMA
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23455

Apache Kafka Cookbook
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23451




问答：
Centos7ping不通本机ip。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23453


sqoop导入数据到spark-sql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23449


阿里云部署hadoop，使用shell操作一切正常，但是使用java api操作上传文件大小为0
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23446