用户组:游客
我在学习spark,目前版本:hadoop2.6,spark2.1,hive1.1,想找志同道合的们,qq284678311
我们经常遇到,下载国外的一些组件等经常失败。 如下载CDH-5.8.0-1.cdh5.8.0.p0.42-el7.parcel 上图,我们可以通过复制 ...
问题总结来自: spark dataframe怪异问题 http://www.aboutyun.com/forum.php?mod=viewthread&tid=21105 ################### ...
作为Hadoop MapReduce后继者Apache Spark可以支撑数千节点规模的集群部署,尤其在内存数据处理上,Spark比MapReduce更加高效,且 ...
Spark SQL和MPP SQL都是大数据的一种表现形式的一种,但是含金量却差了很多,Spark SQL会替代MPP SQL嘛?这是不少人的疑问, ...
启动集群小记录: 以前执行start-master.sh和 都是没有问题的。 后来执行[mw_shl_code=bash,true]start-slaves.sh [/mw_shl_ ...
本帖最后由 feilong 于 2017-4-14 13:17 编辑 问题导读 1.Capacity Scheduler 是什么? 2.Capacity Scheduler相关参数有 ...
Spark 概述Apache Spark是一个快速的、通用的集群计算系统。它提供了基于Java、Scala、Python和R语言的高级API,和一个支持通常 ...
最后谈一谈如何通过Spark UI获取程序运行信息,熟练应用这些反馈能够为相关优化快速指明方向。下面简单介绍这些页面的各自的主 ...
https://pan.baidu.com/s/1bpJDssB
进入spark-shell正常,但是在执行 spark.read.json("/people.json") 报错如下 [mw_shl_code=bash,true]WARN scheduler.TaskSc ...
scala代码 package org.apache.spark.test import kafka.serializer.StringDecoder import kafka.common.TopicAndPartiti ...
本帖最后由 丫丫 于 2016-12-26 16:00 编辑 问题导航 1、localizedPath是怎么得到的呢? 2、distribute函数里面的参数,分 ...
Spark中的调度模式主要有两种:FIFO和FAIR。默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等 ...
微信搜索关注 若泽大数据,定时推送技术博客,更有精美大数据课程,或者加入qq群:707635769 一起交流学习 我们可以发现,Spar ...
1. 获取配置文件中的配置1.1. 简述在实际的开发中,工程中的一些配置会放在classpath下的配置文件中,然后在程序代码中,会对配 ...
1.准备hadoop环境 1.1 官网下载hadoop-2.7.3.tar.gz解压http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ ...
本文给想进入大数据领域的朋友提供了一系列的资源,由浅入深,比如“需要了解的51条大数据术语”、“学习python的四个理由”、 ...
编写Spark程序需要注意哪些基本的原则? 遇到性能瓶颈如何优化? 1. 准则一:从同一个数据源尽量只创建一个RDD ...
1.广播为什么能提升性能?2.什么样的情景下需要广播? 3.广播可能会遇到哪些问题? 有时在开发过程中,会遇 ...
1.为什么会产生Shuffle?2.如何进行Shuffle调优? 3.Shuffle调优最佳实践? 在Spark程序中,Shuffle是性能的 ...
本帖最后由 linux_oracle 于 2020-12-4 15:52 编辑 一.RDD创建1.从集合创建 1.1 parallelize 1.2 makerdd 2.从外部创 ...
val freq = model.freqItemsets.withColumn("rate", col("freq") / lit(count)) freq.orderBy(org.apache.spark.sql. ...
内容简介 本书的广度与深度兼备、理论与实战兼顾的分布式事务专著,它从基础知识、解决方案、原理分析、源码实现、工程实战5个 ...
内容简介 本书基于Spark 2.3.x、Spark 2.4.x系列版本,采用“理论+实践”的形式编写。全书共有90个实例,1个完整项目。 第1 ...
本版积分规则 发表帖子
查看 »