分享

怎么使用spyder搭建spark的开发环境啊

grinsky 发表于 2016-11-21 14:43:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 16373
安装好了oracle jdk1.8 spark1.6 及anaconda2
也设置好了环境变量:
export JAVA_HOME=/usr/java/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH

export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

export PYTHONPATH="$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH"



并重名了的spyder
[root@localhost bin]# cp spyder spyder.py


但在启动时还是报错额:
[root@localhost bin]# spark-submit  spyder.py
Traceback (most recent call last):
  File "/root/anaconda2/bin/spyder.py", line 4, in <module>
    import spyder.app.start
ImportError: No module named app.start


这个是哪里的环境变量没设置好?

已有(2)人评论

跳转到指定楼层
langke93 发表于 2016-11-21 15:53:30
可能配置错误
app.start没有找到。
改成下面形式试试
appstart,是冒号,而不是点号app.start
回复

使用道具 举报

grinsky 发表于 2016-11-23 12:05:26
最终成的配置方法如下:1.安装好JDK SPARK并设置环境变量。
2.安装号spyder
3.启动spyder
在 tools ==> pythonpath manager 中加入如下2个路径
/opt/spark/python
/opt/spark/python/lib
将/opt/spark 替换成自己的spark实际安装目录
4.在SPARK_HOME/python/lib 下会有一个类似py4j-0.9-src.zip的压缩文件
将其解压到当前目录下(SPARK_HOME/python/lib),否则会报错 找不到py4j
重启spyder后就可以正常使用了。

5.在运行时如果报错sc没有被定义。
程序中要加入下面的一段即可。
from pyspark import SparkContext
from pyspark import SparkConf
conf = SparkConf().setAppName("test")
sc = SparkContext(conf=conf)



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条