用户组:游客
问题导读 1. pySpark 2.x 的代码迁移到Spark 1.6 会遇到哪些坑? 2. pySpark 2.x 的代码迁移到Spark 1.6 改写思路是什么? 3. ...
异常总结 ###1.Spark和hadoop依赖冲突 最近在实践项目遇到了问题,hadoop使用的是2.6.0(2.2.0也测试过),spark使用的1.2.1编译 ...
群4中90371779,群友遇到这么个问题: [mw_shl_code=bash,true]application rejeted by queue placement policy[/mw_shl_ ...
hadoop升级跟spark升级是大同小异的。大同基本上,都是先备份原先的安装包,然后替换为新的安装包。然后替换下配置文件及环境 ...
问题导读: 1.为什么IDEA连着把spark-1.4.1的源码都编译了? 2.怎样把hive-site.xml文件"送"给IEDA?3.怎样设置设置IEDA的JV ...
一、设置MAVEN_OPTS参数 在编译Spark的时候Maven需要很多内存,否则会出现类似下面的错误信息: [mw_shl_code=bash ...
问题导读 1.Spark运行包含哪些流程? 2.本文认为Spark运行架构有哪些特点? 3.DAGScheduler的作用是什么? 4. RDD在Spark ...
问题导读 1.哪个配置项可实现Map Task的JVM参数? 2.容错有哪些参数? 3.本地运行需要配置哪些参数? 背景 ...
在本机搭建的hadoop平台,spark sql和hive存在无法互相访问的问题,流程如下: 1. spark sql创建表的过程如下: ./bin/spark-s ...
问题导读 1、大数据技术目前都有哪些? 2、Spark存在哪些缺陷? 3、你如何看待spark的应用场景? 概述: 一说大 ...
问题导读 1.spark磁盘数据计算是否比mapreduce快? 2.本案例比较,说明了什么问题? 作为Hadoop MapReduce ...
问题导读 1、可以有几种方式对Spark应用程序进行监控? 2、如何运用ganglia进行监控? 3、监控Spark应用程的辅助工具有哪些? ...
本帖最后由 xioaxu790 于 2014-7-14 14:29 编辑 问题导读 1、shark和hadoop2整合,有什么要求? 2、需要shark0.9.0 的什么 ...
本版积分规则 发表帖子
查看 »