用户组:游客
本帖最后由 pig2 于 2015-1-6 14:16 编辑 问题导读 1.如果出现提示内容"is waiting for .sbt.ivy.lock",该怎么办? 2 ...
1.Stage分为哪两种? 2.Stage是什么? 3.什么操作可以产生rdd?
RDD(Resilient Distributed Datasets) ,弹性分布式数据集, 是分布式内存的一个抽象概念,RDD提供了一种高度受限的共享内存模型 ...
本帖最后由 pig2 于 2014-10-4 23:47 编辑 阅读导读: 1.SparkContext类创建过程中涉及到哪些对象? 2.SparkContext的创建过 ...
问题导读: 1、shuffle过程的划分?2、shuffle的中间结果如何存储?3、shuffle的数据如何拉取过来? Shuffle过程的 ...
问题导读: 1.什么是延迟调度?2.延时调度如何工作?3.怎样判断是否还有当前 locality level 的 task 需要执行? 本 ...
本帖最后由 pig2 于 2015-1-6 14:17 编辑 问题导读 1.构成Standalone cluster部署模式的四大组成部件有哪些?分别有什么 ...
本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑 问题导读: 1、如何对Spark1.0.0源码编译? 2、如何生成Spark1.0的部署包? ...
问题导读 1.编译CDH Spark需要哪些步骤? 2.编译CDH Spark的命令是什么? 3.本文如何生成压缩包? 本文以Cl ...
问题导读 1.本文TaskScheduler创建包含哪些过程? 2.TaskScheduler、TaskSchedulerImpl、SchedulerBackend之间的关系是什么? ...
问题导读 1.pendingTasksForExecutor是怎么来的,什么含义? 2.taskSetManager 的 locality levels是否包含 PROCESS_LOCAL? ...
本帖最后由 breaking 于 2016-3-2 09:01 编辑 问题导读: 1.BlockManager原理是怎么样? 2.怎么在源码中解析BlockManager ...
问题导读 1.什么是图的并行化处理? 2.为什么要引入triplets? 概要图的并行化处理一直是一 ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.机器学习算法基本遵循怎样的思路? 2.如何求得损失函数的最优解 ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.http server是如何启动的? 2.页面中的数据是从哪里获取到的? ...
本帖最后由 pig2 于 2015-1-6 14:17 编辑 问题导读 1.Shuffle数据的写入和读取过程是怎样的? 2.HashShuffleReader ...
问题导读 1、TreeNode有哪三种形态? 2、Spark SQL的Catalyst框架核心有哪些类库? 3、TreeNode的核心方法是什么? ...
问题导读: 1、Spark 1.0和Spark 2.0中Spark Streaming有什么不同? 2、Structured Streaming是什么? 前言 Spark 2 ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.牛顿法有哪些优点体现? 2.L-BFGS算法中使用到的正则化方法是什么 ...
问题导读: 1.什么是Spark-submit ?2.Executor启动流程是什么?3.Executor怎样进行任务调度? Spark-submit 提交 ...
本帖最后由 pig2 于 2015-1-6 14:14 编辑 问题导读 如何搭建Hive On Spark的测试环境? 楔子 ...
问题导读:1. hash shuffle 和 sort shuffle 的区别2. Spark shuffle 概述 3. shuffle write 内存消耗分析4. shuffle read 内存 ...
本帖最后由 pig2 于 2015-1-6 14:10 编辑 问题导读 1、如何理解重启之后数据也会被再次处理? 2、数据处理过程的过程有哪些 ...
问题导读 1、Spark SQL 的内存数据是如何组织的? 2、如何优化内存数据库的存储结构? 3、优化Spark SQL 和 Shark 有哪些方法 ...
阅读导读: 1.getPartitions和compute进行了哪些操作? 2.hadoop如何进行序列化? 3.checkpoint的执行逻辑? RD ...
问题导读 1.创建broadcast变量如何实现的? 2.如何读取广播变量的值? 概述最近工作上忙死了……广播变量这一 ...
问题导读: 1. StreamingContext 如何获取数据? 2. receiverTrackerstart 底层如何实现? 3. receiverExecutorstart 底层如 ...
本帖最后由 pig2 于 2015-1-6 14:15 编辑 问题导读 1.scala是需要编译才能执行的语言,但提供的scala repl可以实现代码 ...
问题导读 1.SqlParser的类图包含了哪些信息? 2.Spark Catalyst 是如何将Sql解析成Unresolved逻辑计划的? ...
本帖最后由 pig2 于 2017-2-8 13:56 编辑 问题导读 1、如何对Spark SQL进行一些测试? 2、SQLContex有哪些成员? 3、Sp ...
本版积分规则 发表帖子
查看 »