about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1331|回复: 5

spark读取hbase数据时提示“ERROR “had a not serializable result: org.apache.h...

[复制链接]

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
28
发表于 2018-1-12 00:01:17 | 显示全部楼层 |阅读模式
问题描述:创建 spark时设置config("spark.serializer","org.apache.spark.serializer.JavaSerializer"),spark读取hbase没有任何问题。由于业务问题,必须设置为JavaSerilizer,这时候就会提示ERROR “had a not serializable result: org.apache.hbase.client.Result"
望大神指教
代码大致如下
val hbaseConf = connection.getConfiguration
hbaseConf.set(TableInputFormat.INPUT_TABLE, tableName)
sc.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat],
  classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
  classOf[org.apache.hadoop.hbase.client.Result]).map{case (_,result) =>{val objectkey = Bytes.toString(result.getValue("objects".getBytes, "object_key".getBytes))
***}}


补充内容 (2018-1-12 15:13):
不好意思
使用KryoSerilizer是正常的,但使用JavaSerilizer就提示序列化问题,由于业务场景问题,必须使用JavaSerilizer。

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
28
 楼主| 发表于 2018-1-12 14:11:04 | 显示全部楼层

76

主题

37

听众

20

收听

高级会员

Rank: 4

积分
3163

最佳新人活跃会员热心会员

发表于 2018-1-12 14:34:07 | 显示全部楼层

设置为这个值org.apache.spark.serializer.KryoSerializer,看看问题是否是同样的。

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
28
 楼主| 发表于 2018-1-12 15:14:50 | 显示全部楼层
nextuser 发表于 2018-1-12 14:34
设置为这个值org.apache.spark.serializer.KryoSerializer,看看问题是否是同样的。

使用Kryo是正常的,但业务需要,必须使用JavaSerilizer。

53

主题

12

听众

8

收听

高级会员

Rank: 4

积分
1709
发表于 2018-1-12 19:52:47 | 显示全部楼层
漠小帆 发表于 2018-1-12 15:14
使用Kryo是正常的,但业务需要,必须使用JavaSerilizer。

可以尝试下面方法:
val javaSerializer = new org.apache.spark.serializer.JavaSerializer(conf)  
    val serialInst = javaSerializer.newInstance()  
serialInst.serialize(objetc)  
object为org.apache.hadoop.hbase.client.Result的对象

1

主题

0

听众

0

收听

新手上路

Rank: 1

积分
28
 楼主| 发表于 2018-1-15 09:00:14 | 显示全部楼层
einhep 发表于 2018-1-12 19:52
可以尝试下面方法:
val javaSerializer = new org.apache.spark.serializer.JavaSerializer(conf)  
  ...

好的。我尝试下
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-10-20 16:35 , Processed in 0.390366 second(s), 36 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表