用户组:游客
问题导读 1.SparkSession的功能有哪些? 2.如何创建SparkSession? 3.SparkContext在Spark中的主要功能有哪些? ...
问题导读: 1.什么是Zeppelin?2.Zeppelin有哪几种分享方式? 本篇文章着重介绍如何将您制作好的notebook / report ...
本帖最后由 丫丫 于 2016-10-7 20:48 编辑 问题导读 1、shipyard是什么? 2、engine是什么? 3、rethinkdb是什么? 4、 ...
问题导读: 1、如何理解在应用程序间、程序内调度? 2、集群的资源分配有哪些方式? 3、资源分配策略有哪些? 4、如何配置调 ...
问题导读 1.本文的问题背景是什么? 2.本文中问题有哪三种解决办法? 3.三个思路有什么不同? 软件版本及平台 ...
有两种创建StreamingContext的方式: 第一种通过SparkConf [mw_shl_code=scala,true]val conf = new SparkConf().setAp ...
问题导读 1.spark如何开启黑名单机制? 2.哪些条件将executors列入黑名单? 3.整个节点被列入黑名单,executors如何处理? ...
问题导读:1. Spark 中的 Transform 和 Action 区别是什么?2. foreachPartition 属于Transform 和 Action中的哪种操作?3. mapP ...
问题导读 1.Spark MLFlow用来做什么的? 2.MLFlow解决了什么问题? 3.MLFlow哪些问题未解决? MLflow 是由Apache ...
问题导读 1.为什么要在Kubernetes上运行Kafka? 2.Kafka在Kubernetes需要注意哪些问题? 3.在Kubernetes上的部署Kafka时, ...
问题导读: 1.shark为什么速度快? 2.如何部署shark? 3.如何编译? Shark简介 Shark即Hive on Sp ...
本帖最后由 xioaxu790 于 2014-7-14 14:29 编辑 问题导读 1、shark和hadoop2整合,有什么要求? 2、需要shark0.9.0 的什么 ...
问题导读 1、可以有几种方式对Spark应用程序进行监控? 2、如何运用ganglia进行监控? 3、监控Spark应用程的辅助工具有哪些? ...
问题导读 1.spark磁盘数据计算是否比mapreduce快? 2.本案例比较,说明了什么问题? 作为Hadoop MapReduce ...
问题导读 1、大数据技术目前都有哪些? 2、Spark存在哪些缺陷? 3、你如何看待spark的应用场景? 概述: 一说大 ...
在本机搭建的hadoop平台,spark sql和hive存在无法互相访问的问题,流程如下: 1. spark sql创建表的过程如下: ./bin/spark-s ...
问题导读 1.哪个配置项可实现Map Task的JVM参数? 2.容错有哪些参数? 3.本地运行需要配置哪些参数? 背景 ...
问题导读 1.Spark运行包含哪些流程? 2.本文认为Spark运行架构有哪些特点? 3.DAGScheduler的作用是什么? 4. RDD在Spark ...
一、设置MAVEN_OPTS参数 在编译Spark的时候Maven需要很多内存,否则会出现类似下面的错误信息: [mw_shl_code=bash ...
问题导读: 1.为什么IDEA连着把spark-1.4.1的源码都编译了? 2.怎样把hive-site.xml文件"送"给IEDA?3.怎样设置设置IEDA的JV ...
hadoop升级跟spark升级是大同小异的。大同基本上,都是先备份原先的安装包,然后替换为新的安装包。然后替换下配置文件及环境 ...
群4中90371779,群友遇到这么个问题: [mw_shl_code=bash,true]application rejeted by queue placement policy[/mw_shl_ ...
异常总结 ###1.Spark和hadoop依赖冲突 最近在实践项目遇到了问题,hadoop使用的是2.6.0(2.2.0也测试过),spark使用的1.2.1编译 ...
问题导读 1. pySpark 2.x 的代码迁移到Spark 1.6 会遇到哪些坑? 2. pySpark 2.x 的代码迁移到Spark 1.6 改写思路是什么? 3. ...
问题导读 1.本文解决了什么问题? 2.在写入hbase的过程中遇到了什么问题? 3.本文解决问题的思路是什么? 需求 将HDF ...
问题导读: 1、如何理解自适应查询执行设计原理? 2、如何设置Shuffle分区的自适应数目? 3、如何进行动态合并shuffle分区? ...
问题导读: 1、sparkSQL支持的数据类型有哪些? 2、greatest方法和Greatest类如何使用? 3、ArrayType处理方法是什么? 4、S ...
问题导读: 1、什么事Apache Spark? 2、Spark SQL发展历程有几个阶段? 3、Spark SQL底层执行原理如何理解? 4、Catalyst ...
Iceberg是数据湖的重要技术,也会与其它组件组合.其中Spark读写Iceberg是比较新且重要的应用,我们看在腾讯的实践和优化 全文目 ...
该版本带来了一些操作性和性能的提升,主要是体现在核心模块上。同时增加新的库 MLlib 和 Spark SQL。支持 Python ,增加新的组 ...
本版积分规则 发表帖子
查看 »