用户组:游客
问题导读 1.pendingTasksForExecutor是怎么来的,什么含义? 2.taskSetManager 的 locality levels是否包含 PROCESS_LOCAL? ...
问题导读: 1. StreamingContext 如何获取数据? 2. receiverTrackerstart 底层如何实现? 3. receiverExecutorstart 底层如 ...
问题导读: 1.什么是延迟调度?2.延时调度如何工作?3.怎样判断是否还有当前 locality level 的 task 需要执行? 本 ...
问题导读: 1.什么是Spark-submit ?2.Executor启动流程是什么?3.Executor怎样进行任务调度? Spark-submit 提交 ...
问题导读: 1、Spark 1.0和Spark 2.0中Spark Streaming有什么不同? 2、Structured Streaming是什么? 前言 Spark 2 ...
问题导读:1. hash shuffle 和 sort shuffle 的区别2. Spark shuffle 概述 3. shuffle write 内存消耗分析4. shuffle read 内存 ...
问题导读: 1、shuffle过程的划分?2、shuffle的中间结果如何存储?3、shuffle的数据如何拉取过来? Shuffle过程的 ...
问题导读 1.创建broadcast变量如何实现的? 2.如何读取广播变量的值? 概述最近工作上忙死了……广播变量这一 ...
本帖最后由 pig2 于 2015-1-6 14:16 编辑 问题导读 1.如果出现提示内容"is waiting for .sbt.ivy.lock",该怎么办? 2 ...
本帖最后由 pig2 于 2015-1-6 14:14 编辑 问题导读 如何搭建Hive On Spark的测试环境? 楔子 ...
本帖最后由 breaking 于 2016-3-2 09:01 编辑 问题导读: 1.BlockManager原理是怎么样? 2.怎么在源码中解析BlockManager ...
本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑 问题导读: 1、如何对Spark1.0.0源码编译? 2、如何生成Spark1.0的部署包? ...
1.Stage分为哪两种? 2.Stage是什么? 3.什么操作可以产生rdd?
RDD(Resilient Distributed Datasets) ,弹性分布式数据集, 是分布式内存的一个抽象概念,RDD提供了一种高度受限的共享内存模型 ...
问题导读 1.编译CDH Spark需要哪些步骤? 2.编译CDH Spark的命令是什么? 3.本文如何生成压缩包? 本文以Cl ...
问题导读 1、如何进行Input DStream创建的操作? 2、如何进行DStream操作? 3、如何进行K/V类型RDD转换操作? 一、Inp ...
问题导读 1.spark.shuffle.consolidateFiles是为了解决什么问题? 2.spark.shuffle.spill的作用是什么? 3.spark.local.dir默 ...
standalone模式下的框架图如下: 异常分析1: worker异常退出 [*]worker异常退出,比如说有意识 ...
问题导读 1.本文TaskScheduler创建包含哪些过程? 2.TaskScheduler、TaskSchedulerImpl、SchedulerBackend之间的关系是什么? ...
问题导读 1.submitMissingTasks本文是如何分析其流程的? 2.TaskSchedulerImpl中的submitTasks包含哪些流程? 3.resourc ...
本帖最后由 pig2 于 2015-1-6 14:10 编辑 问题导读 1、如何理解重启之后数据也会被再次处理? 2、数据处理过程的过程有哪些 ...
本帖最后由 丫丫 于 2015-7-24 18:35 编辑 问题导读 1.Task是如何实现的? 2.重要外部类有哪些? 3.进程模型与线程模型有 ...
本帖最后由 nettman 于 2015-4-20 23:59 编辑 问题导读: 1、注册外部数据源的表的流程是什么? 2、Spark SQL解析SQL流程是 ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.机器学习算法基本遵循怎样的思路? 2.如何求得损失函数的最优解 ...
问题导读 1.什么是图的并行化处理? 2.为什么要引入triplets? 概要图的并行化处理一直是一 ...
问题导读 1、TreeNode有哪三种形态? 2、Spark SQL的Catalyst框架核心有哪些类库? 3、TreeNode的核心方法是什么? ...
本帖最后由 pig2 于 2015-1-6 14:19 编辑 问题导读 1.sort-based shuffle算法会产生哪些中间文件? 2.如果是使用SORT ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.牛顿法有哪些优点体现? 2.L-BFGS算法中使用到的正则化方法是什么 ...
本帖最后由 pig2 于 2015-1-6 14:18 编辑 问题导读 1.http server是如何启动的? 2.页面中的数据是从哪里获取到的? ...
本帖最后由 pig2 于 2015-1-6 14:17 编辑 问题导读 1.Shuffle数据的写入和读取过程是怎样的? 2.HashShuffleReader ...
本版积分规则 发表帖子
查看 »