分享

java8写spark序列化问题

jsh0401 2018-10-3 21:42:48 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6517
用java8 写spark程序, 在最后一步,为何报错需要序列化

       List<Integer> list = Arrays.asList(1,2,3,4,5);
        JavaRDD<Integer> rdd = sc.parallelize(list);

      // java8里的方法引用:为何这样写就报错说需要序列化?
        rdd.map(w -> w * 2).foreach(System.out::println);

      // 这样写就正确了,为什么?
      rdd.map(w -> w * 2).foreach(x -> System.out.println(x));

已有(1)人评论

跳转到指定楼层
s060403072 发表于 2018-10-4 07:31:34
一般使用来说应该没什么大问题,放到foreach里面可能就有问题了。可以看看源码或则调试下看看,说不定你能发现bug.
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条