Spark开发环境搭建【图文】

问题导读

1.Spark环境搭建需要哪些流程？
2.如何安装scala插件？
3.思考：创建scala 项目的前提是什么？
4.项目如何打包？

Window7

64位

Jdk1.70

Scala 2.10.4   

下载scala

方法一 1：在百度搜索框中输入”scala 下载”

2：进入scala官方网站

3：进入下载列表

4.进入下载页

5.点击下载

注意：双击安装：安装路径：D:/    路径按自己的要求

6．配置Path

7.查看是否安装成功

idea 下载

1.百度中输入 “idea 下载”

2.进入idea 官网

2.下载完成的zip包

3.解压后目录

5.进入bin 目录 点击idea64.ext  运行

安装scala 插件

创建scala 项目

1：File > NewProject

2：选择Scala >SBT

3：输入Project Name   例如：”sclas4 ”  请谅解我本意是想写scala4 手误

注意：scala version ：如果不是2.10.5可能会出现

参考2 错误

选择 This Window

工具下方在加载

程序目录结构

创建Directory  src/man/scala

创建scala Class

Kind 选在Object

Copy SparkPi代码   缺少依赖

添加依赖

选择查看jdk  如果没有 要从新添加

添加依赖

依赖添加完成

代码不会报错

从提示中可以看出找不到程序运行的master，此时需要配置环境变量。

参考1

VM   optios : -Dspark.master=local

重新运行结果  

运行完成

项目打包

1.右击项目 选择open moduleSettings

2.进入 projectStructure  选择Artifacts

3．点击加号

4.Module 选择 Main Class 选择

5.删除多余jar

6. Build 项目

7. 点击 Build

8.项目对应路径下生成jar  

spark-assembly-1.1.1-hadoop2.2.0.jar
链接：http://pan.baidu.com/s/1c0tW3ni 密码：dwhh

版主写的好详细，赞一个；不过有个疑问
VM   optios : -Dspark.master=local  只设置这个就能运行了么？

good job，好详细哦

好东西  太详细啦！~

多谢楼主分享，说的真详细

这个必须顶起啊。安装spark开发环境的经典教程啊。

能否再教一下如何将程序提交到Spark集群

谢谢分享。

学习mark