配置Spark开发环境

我用eclipse配置hadoop的MapReduce开发环境，成功！
现在用eclipse配置spark的开发，java开发环境，提示错误如下。一直找不到mater。
背景：
cdh5.9.2搭建的spark内核集群，后期添加了hbase服务（eclipse配置hbase开发环境也成功）
在集群的某个节点node2中安装的eclipse。
error如下，我不管是创建一个单纯的java project或是maven project都出错如图！
希望有经验的前辈指导下，谢谢！

我直接运行spark-shell，显示master = yarn-client，用sparksql可以访问hive表中的数据，还请指导！不知道是不是因为pom.xml中没有配置

    <dependency>      <groupId>org.apache.spark</groupId>      <artifactId>spark-core_2.10</artifactId>      <version>1.0.2</version>    </dependency>

好像找到问题了，但不知道怎么改
A master URL must be set in your configuration

youngwenhao 发表于 2017-6-7 16:03
好像找到问题了，但不知道怎么改
A master URL must be set in your configuration

要配置环境变量。
传递给spark的master url可以有如下几种：
local 本地单线程
local[K] 本地多线程（指定K个内核）
local

本地多线程（指定所有可用内核）
spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
点击edit configuration，在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”，指示本程序本地单线程运行，再次运行即可。
配置如图：

nextuser 发表于 2017-6-7 16:08
要配置环境变量。
传递给spark的master url可以有如下几种：
local 本地单线程

你好，我在这里找不到相关配置

一般为7077
URL：spark的Ip地址或是写成：spark：//master:7077;

desehawk 发表于 2017-6-7 16:40
一般为7077
URL：spark的Ip地址或是写成：spark：//master:7077;

你好，还是有错误。请问是否还有别的指定master的方法。

youngwenhao 发表于 2017-6-7 17:09
你好，还是有错误。请问是否还有别的指定master的方法。

这似乎已经不是uri的问题了。
而是其他包出现问题。
nosuchmethoderror org.jboss.netty/channel.socket.not.nio.nioworkerpool

用local模式试试，JavaSparkContext jsc = new JavaSparkContext("local","wordcount")

val conf = new SparkConf().setAppName("Hotel").setMaster("local[2]")
val sc = new SparkContext(conf)

指定两个本地线程模式启动程序.setMaster("local[2]")，开发环境就只需要这个就好了啊，这个是scala的写法，java没写过，可能一样的找master字眼的方法就好了