分享

【已解决】Spark1.0.2集群配置好之后,运行自带的SparkPi例子报错

本帖最后由 高帝斯法则 于 2014-11-5 16:54 编辑

报错内容如下,
Exception in thread "main" java.lang.NumberFormatException: For input string: "spark://TMaster1.Hadoop:7077"
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:48)
        at java.lang.Integer.parseInt(Integer.java:449)
        at java.lang.Integer.parseInt(Integer.java:499)
        at scala.collection.immutable.StringLike$class.toInt(StringLike.scala:229)
        at scala.collection.immutable.StringOps.toInt(StringOps.scala:31)
        at org.apache.spark.examples.SparkPi$.main(SparkPi.scala:29)
        at org.apache.spark.examples.SparkPi.main(SparkPi.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:303)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我在spark-env.sh里面配置的SPARK_MASTER_IP=TMaster1.Hadoop。求大神帮忙

已有(19)人评论

跳转到指定楼层
高帝斯法则 发表于 2015-4-24 08:42:04
guichun2103 发表于 2015-4-23 15:36
楼主您好,能不能说一下您是如何解决这个问题的?我的scala程序目录为/opt/cloudera/parcels/CDH-5.0.2-1.c ...

目录进入错了,run-examples是个shell脚本文件。应该在bin目录下执行./run-example org.apache.spark.examples.SparkPi命令,“.”的意思就是当前目录下
回复

使用道具 举报

sstutu 发表于 2014-9-28 15:37:22

回帖奖励 +4 云币

数据类型转换出错了,检测下数据类型,特别是输入数据
回复

使用道具 举报

高帝斯法则 发表于 2014-9-28 15:53:53
sstutu 发表于 2014-9-28 15:37
数据类型转换出错了,检测下数据类型,特别是输入数据

我使用命令:./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:7077来运行自带的例子,是我命令里面输入的参数有错误么?
回复

使用道具 举报

sstutu 发表于 2014-9-28 16:12:38
高帝斯法则 发表于 2014-9-28 15:53
我使用命令:./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:70 ...
换成ip试一下。
回复

使用道具 举报

高帝斯法则 发表于 2014-9-28 16:18:13
回复

使用道具 举报

sstutu 发表于 2014-9-28 16:33:53
SPARK_MASTER_IP=TMaster1.Hadoop
./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Hadoop:7077
都换成ip,如果还不行,那就是你的环境问题了

回复

使用道具 举报

高帝斯法则 发表于 2014-9-28 16:57:32
sstutu 发表于 2014-9-28 16:33
SPARK_MASTER_IP=TMaster1.Hadoop
./run-example org.apache.spark.examples.SparkPi spark://TMaster1.Ha ...

恩,问题解决了,3q
回复

使用道具 举报

shineshore 发表于 2014-11-5 16:52:15
bin/run-example org.apache.spark.examples.SparkPi 2 spark://16.186.74.37:7077
回复

使用道具 举报

zhsunsea 发表于 2015-3-25 10:12:21

如何解决的?
回复

使用道具 举报

高帝斯法则 发表于 2015-3-25 10:20:03

只需要./run-example org.apache.spark.examples.SparkPi就行了
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条