spark入门（2.0.1版本）：概述，下载，编译，运行环境及实例运行

问题导读

1.spark下载方式有哪些？
2.spark可以运行在哪些系统？
3.spark支持哪些语言？
4.如何运行spark各种语言版本例子？

概述
spark是一个快速通用的计算系统集群。它提供Java高级APIs,Scala,Python和R和一个支持通用执行graphs优化引擎。他还支持一组丰富的高级工具包括spark sql和结构化数据处理，mllib机器学习， GraphX图像处理和Spark Streaming.

下载

下载链接：http://spark.apache.org/downloads.html

当前最新版本2.0.1

1.通过maven下载
spark托管在maven中央库，可以通过下载依赖下载

[mw_shl_code=bash,true]groupId: org.apache.spark
artifactId: spark-core_2.11
version: 2.0.1[/mw_shl_code]

2.通过git下载

[mw_shl_code=bash,true]# Master development branch
git clone git://github.com/apache/spark.git

# 2.0 maintenance branch with stability fixes on top of Spark 2.0.1
git clone git://github.com/apache/spark.git -b branch-2.0[/mw_shl_code]

3.直接下载安装包
spark-2.0.1-bin-hadoop2.7.tgz

网盘下载：
https://yunpan.cn/cvmIFgVAajIw4 访问密码 7943

编译

如果你想编译源码，可以访问http://spark.apache.org/docs/latest/building-spark.html

spark运行系统

spark运行在window和类UNIX系统（比如Linux, Mac OS），在一台机器上运行是很容易的。前提是必须按照Java，并且配置path或则JAVA_HOME

spark运行语言API版本要求

Spark运行在 Java 7+, Python 2.6+/3.4+ 和R 3.1+.

比如 Scala API, Spark 2.0.1使用 Scala 2.11.你需要使用兼容Scala version (2.11.x).

运行例子和shell

spark有附带的几个例子。在目录 examples/src/main包括Scala, Java, Python 和R 例子。运行Java 或则Scala例子程序, 使用bin/run-example <class> [params]在顶级目录.例如：
[mw_shl_code=bash,true]./bin/run-example SparkPi 10
[/mw_shl_code]

你可以运行spark通过 Scala shell，这是一个很好的方法学习框架
[mw_shl_code=bash,true]./bin/spark-shell --master local[2]
[/mw_shl_code]

--master选项指定分布式集群的 master URL 或则本地运行一个线程，或则local[N] 运行本地几个线程。你可以开始使用local测试。所有选项列表，可以使用 --help 选项.

spark也提供了Python API，使用Python脚本运行spark，使用 bin/pyspark:
[mw_shl_code=bash,true]./bin/pyspark --master local[2]
[/mw_shl_code]

应用程序也提供了Python例子，例如
[mw_shl_code=bash,true]./bin/spark-submit examples/src/main/python/pi.py 10
[/mw_shl_code]

自从1.4（仅包括DataFrames APIs），spark也提供了R例子。使用R脚本运行spark，使用bin/sparkR:
[mw_shl_code=bash,true]./bin/sparkR --master local[2]
[/mw_shl_code]

应用程序也提供了R例子，例如
[mw_shl_code=bash,true]./bin/spark-submit examples/src/main/r/dataframe.R
[/mw_shl_code]