用户组:游客
问题导读: spark缓存是如何实现的? BlockManager与BlockManagerMaster的关系是什么? 这一章想讲一下Spark的缓 ...
问题导读: 1.Spark编译方式有几种? 2.如何使用maven编译? 3.如何生成spark部署包? Spark1.0.0的源码编译 ...
本帖最后由 xioaxu790 于 2014-7-31 19:17 编辑 问题导读 1、RDD如何初始化参数? 2、什么是getPartitions操作和compute操 ...
本帖最后由 xioaxu790 于 2014-7-31 19:31 编辑 问题导读 1、如何提交TaskSet给TaskScheduler执行? 2、BlockManager如何通 ...
问题导读 1、如何使用可扩展的对外自定义函数接口? 2、 Analyzer初始化的时候会需要什么? 3、 编写一个spark udf ...
本帖最后由 pig2 于 2017-2-8 13:56 编辑 问题导读 1、如何对Spark SQL进行一些测试? 2、SQLContex有哪些成员? 3、Sp ...
问题导读 1.SqlParser的类图包含了哪些信息? 2.Spark Catalyst 是如何将Sql解析成Unresolved逻辑计划的? ...
本帖最后由 pig2 于 2015-1-6 14:09 编辑 问题导读 1、使用什么指令运行ocal-cluster模式? 2、TaskRunner中执行的task其业 ...
本帖最后由 pig2 于 2015-1-6 14:10 编辑 问题导读 1、流数据的特点是什么? 2、数据的存储有是被什么触发的? 3、如何理解 ...
本帖最后由 pig2 于 2015-1-6 14:11 编辑 问题导读 1、本地读取和远程读取有什么区别? 2、什么是TachyonStore? 3、什么是 ...
本帖最后由 pig2 于 2015-1-6 14:12 编辑 问题导读 1、组成cluster的两大元素有哪些? 2、实现HA的原理是什么? 3、为什么S ...
本帖最后由 pig2 于 2015-1-6 14:16 编辑 问题导读 1.Spark基于Akka来进行消息交互,那如何知道谁是接收方呢? 2.对 ...
问题导读 1.spark.shuffle.consolidateFiles是为了解决什么问题? 2.spark.shuffle.spill的作用是什么? 3.spark.local.dir默 ...
standalone模式下的框架图如下: 异常分析1: worker异常退出 [*]worker异常退出,比如说有意识 ...
本帖最后由 pig2 于 2015-1-6 14:12 编辑 问题导读 1、如何实现Spark在Yarn平台上的部署? 2、如何理解spark在提交时,所做 ...
问题导读 1.submitMissingTasks本文是如何分析其流程的? 2.TaskSchedulerImpl中的submitTasks包含哪些流程? 3.resourc ...
本帖最后由 pig2 于 2015-1-6 14:12 编辑 问题导读 1.Spark编译需要哪些软件? 2.Spark编译命令是什么? 3.修改代码 ...
本帖最后由 丫丫 于 2015-7-24 18:35 编辑 问题导读 1.Task是如何实现的? 2.重要外部类有哪些? 3.进程模型与线程模型有 ...
本帖最后由 nettman 于 2015-4-20 23:59 编辑 问题导读: 1、注册外部数据源的表的流程是什么? 2、Spark SQL解析SQL流程是 ...
问题导读 1.org.apache.spark.mllib.tree.RandomForest.scala中RandomForest里面的train做了什么? 2.DecisionTree.findSpl ...
本帖最后由 pig2 于 2015-1-6 14:13 编辑 问题导读 1.SQL模块分析有几大难点? 2.Spark要很好的支持sql,要经历哪些 ...
本帖最后由 pig2 于 2015-1-6 14:14 编辑 问题导读 1.Hive中有几种数据模型? 2.HiveQL的执行过程是怎样的? ...
本帖最后由 pig2 于 2015-1-6 14:19 编辑 问题导读 1.sort-based shuffle算法会产生哪些中间文件? 2.如果是使用SORT ...
本帖最后由 pig2 于 2014-9-14 12:41 编辑 问题导读: 1.spark是如何提交作业的? 2.Akka框架是如何实现的? 3.如何实现调 ...
本帖最后由 pig2 于 2015-1-6 14:15 编辑 问题导读 1.standalone部署方式下的包含哪些主要节点? 2.Standalone集 ...
本帖最后由 pig2 于 2015-1-6 14:15 编辑 问题导读 1.scala是需要编译才能执行的语言,但提供的scala repl可以实现代码 ...
本版积分规则 发表帖子
查看 »