用户组:游客
问题导读 1.UDF对spark sql的作用是什么? 2.用Scala编写的UDF与普通的Scala函数唯一的区别在什么地方? 3.如何在spark中 ...
本帖最后由 xioaxu790 于 2014-10-16 19:44 编辑 问题导读 1、你如何理解Spark的应用场景? 2、Spark的 "reduce"和MapReduce ...
本帖最后由 pig2 于 2017-3-2 15:52 编辑 问题导读 1.你认为缓存的作用是什么? 2.cache与persist的区别是什么? 3.spark ...
问题导读 1.你认为如何初始化spark sql? 2.不同的语言,实现方式都是什么? 3.spark sql语句如何实现在应用程序中使用? ...
本帖最后由 sehriff 于 2017-9-27 23:06 编辑 问题导读 1.什么是CBO,RBO?2.什么是执行计划?3.什么是join,filter?4.事实表 ...
本帖最后由 pig2 于 2017-12-15 18:11 编辑 问题导读 1.spark2 sql如何读取json文件? 2.spark2读取json格式文件有什么要 ...
问题导读 1.Spark2入门是哪个类? 2.为何要产生Spark-Session? 3.Spark-Session如何使用? 关注最新经典文章,欢迎关注公 ...
Apache Spark的广播变量”(Broadcast variable)是什么? 两个文件/目录中的数据非常大,难以将某一个存放到内存中时,Spark如 ...
本帖最后由 pig2 于 2017-6-15 09:10 编辑 问题导读 1.DStreams的含义是什么? 2.DStreams提供哪两种类型的操作? 3.Tran ...
问题导读: 1、用什么方式判断空RDD? 2、Spark Streaming与Kafka如何处理空RDD? 在Spark Streaming中,job不断的产生 ...
问题导读: 1.RDD的本质是什么?2.Shuffle的本质是什么?3.为什么Shuffle 容易导致Spark挂掉? 前言很多初 ...
问题导读: 1.Scala函数参数传值调用? 2.Scala函数参数传名调用? 引言 Scala的解释器在解析函数参数(fun ...
问题导读 1.为什么会出现Spark? 1.1 什么是hadoop? 1.2 什么是MapReduce计算模型? 1.3 Spark比Mapreduc ...
本帖最后由 xioaxu790 于 2015-2-6 22:17 编辑 问题导读 1、什么是Consumer Rebalance? 2、如何理解消息Deliver guarantee ...
本帖最后由 Oner 于 2017-1-19 14:56 编辑 问题导读:1. 进行数据挖掘前需要了解哪些Spark基础?2. 什么是朴素贝叶斯算法?3 ...
问题导读 1.本文中处理的数据量是多少? 2.Spark如何处理这些数据的? 3.Spark处理数据,作者做了哪些分析和讲解? 问 ...
问题导读 1.RDD之间的依赖关系可以分为哪两类?2.spark rdd有哪两种容错方式?3.Spark中的RDD两种类型的操作,包括转换(Transf ...
此篇文章的基础,需要对hadoop mapreduce有一定的了解,否则此文章可能看不懂。可以参考 Mapreduce shuffle和排序 MapRe ...
本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑 问题导读: 1、如何对Spark1.0.0源码编译? 2、如何生成Spark1.0的部署包? ...
问题导读 1.计算图中顶点之间的路径长度是什么样的过程? 2.什么是BSP?什么是Pregel? 3.GraphX中如何计算顶点之间路径长 ...
问题导读: 1、shuffle过程的划分?2、shuffle的中间结果如何存储?3、shuffle的数据如何拉取过来? Shuffle过程的 ...
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉,可以阅读 ...
spark有哪些概念?
问题导读 1.如何将返回结果可视化? 2.如何对结果进行评估? 3.蒙特卡洛风险模拟可以用来做什么? 关注最新经典文章, ...
怎么从web到spark集群 如wordcount,怎么从web应用调用并传参数(如传文件路径啥的)给wordcount? 并取得wordcount的结果 ...
本帖最后由 sunshine_junge 于 2014-7-7 21:51 编辑 问题导读: 1.什么是RDD? 2.如何实现RDD转换? 1、 ...
本帖最后由 levycui 于 2016-10-11 14:53 编辑 问题导读: 1、如何使用Spark shell进行Spark ALS算法实现? 2、如何理解ALS算 ...
问题导读 1.本文是基于什么环境? 2.如何实现数据转发? 3.spark streaming 处理的代码是如何实现的? 曾经 ...
问题导读 1、涉及shuffle的操作有哪些? 2、如何理解combineByKey的操作流程? 3、flatMapValues作用是什么? 主 ...
问题导读: 1.拿到数据我们怎么去做数据分析? 2.在spark中怎么去做聚类分析? 近期,comSysto公司分享了该公司研 ...
本版积分规则 发表帖子
查看 »