分享

【求助】Spark Straming启动后报Java Head Space

唐运 发表于 2015-2-26 15:48:52 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 18666

写了个SparkStreaming运行后报Java Head Space,求调优手册



java.lang.OutOfMemoryError: Java heap space        java.util.Arrays.copyOfRange(Arrays.java:3209)        java.lang.String.<init>(String.java:215)        com.esotericsoftware.kryo.io.Input.readString(Input.java:448)        com.esotericsoftware.kryo.serializers.DefaultSerializers$StringSerializer.read(DefaultSerializers.java:157)        com.esotericsoftware.kryo.serializers.DefaultSerializers$StringSerializer.read(DefaultSerializers.java:146)        com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:729)        com.twitter.chill.Tuple2Serializer.read(TupleSerializers.scala:42)        com.twitter.chill.Tuple2Serializer.read(TupleSerializers.scala:34)        com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:729)        com.twitter.chill.Tuple2Serializer.read(TupleSerializers.scala:42)        com.twitter.chill.Tuple2Serializer.read(TupleSerializers.scala:34)        com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:729)        org.apache.spark.serializer.KryoDeserializationStream.readObject(KryoSerializer.scala:133)        org.apache.spark.serializer.DeserializationStream$$anon$1.getNext(Serializer.scala:133)        org.apache.spark.util.NextIterator.hasNext(NextIterator.scala:71)        org.apache.spark.storage.BlockManager$LazyProxyIterator$1.hasNext(BlockManager.scala:1171)        scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)        org.apache.spark.util.CompletionIterator.hasNext(CompletionIterator.scala:30)        org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:39)        org.apache.spark.Aggregator.combineCombinersByKey(Aggregator.scala:89)        org.apache.spark.shuffle.hash.HashShuffleReader.read(HashShuffleReader.scala:46)        org.apache.spark.rdd.ShuffledRDD.compute(ShuffledRDD.scala:92)        org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262)        org.apache.spark.CacheManager.getOrCompute(CacheManager.scala:61)        org.apache.spark.rdd.RDD.iterator(RDD.scala:227)        org.apache.spark.rdd.PartitionerAwareUnionRDD$$anonfun$compute$1.apply(PartitionerAwareUnionRDD.scala:99)        org.apache.spark.rdd.PartitionerAwareUnionRDD$$anonfun$compute$1.apply(PartitionerAwareUnionRDD.scala:98)        scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)        org.apache.spark.util.collection.ExternalAppendOnlyMap.insertAll(ExternalAppendOnlyMap.scala:144)        org.apache.spark.Aggregator.combineValuesByKey(Aggregator.scala:58)        org.apache.spark.rdd.PairRDDFunctions$$anonfun$combineByKey$2.apply(PairRDDFunctions.scala:90)        org.apache.spark.rdd.PairRDDFunctions$$anonfun$combineByKey$2.apply(PairRDDFunctions.scala:89)

已有(1)人评论

跳转到指定楼层
bioger_hit 发表于 2015-2-26 16:25:36
应该是数组溢出了,检查程序
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条