分享

storm-hive的测试例子从github上下载的,遇到点问题。

mjjian0 发表于 2015-3-24 11:12:13 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 9 59369
github上有个 storm-hive-streaming-example-master的例子,我就试着搭了环境测试下,但是就在要往hive中写数据的那个bolt总是链接hive元数据库失败。我看例子是以thrift作为元数据的,我也在hive配置文件里配置了。但是就是连不上,下面是我的程序报的异常信息:
}@)2FL9$YII1KJO2ICY$$[W.png 3.png 2.png

我的hive-site。xml的配置是:
4.png
程序中是这样配置的
5.png

已有(9)人评论

跳转到指定楼层
arsenduan 发表于 2015-3-24 12:02:16


这个值是如何配置的建议先不使用thrift
<property>  
  <name>javax.jdo.option.ConnectionURL</name>  
  <value>jdbc:mysql://127.0.0.1:3306/metastore_db?createDatabaseIfNotExist=true</value>  
  <description>JDBC connect string for a JDBC metastore</description>  
</property>  

回复

使用道具 举报

mjjian0 发表于 2015-3-24 12:04:20
arsenduan 发表于 2015-3-24 12:02
这个值是如何配置的建议先不使用thrift
  
  javax.jdo.option.ConnectionURL  

7.png

但是我程序中是用到thrift的链接的,这个能换吗?
回复

使用道具 举报

jixianqiuxue 发表于 2015-3-24 13:06:18
本帖最后由 jixianqiuxue 于 2015-3-24 13:24 编辑
mjjian0 发表于 2015-3-24 12:04
但是我程序中是用到thrift的链接的,这个能换吗?
internal error processing get_open_txns


hive是不允许写入的,
在hive-site.xml中添加下面的配置,生效即可:

  1. <property>  
  2. <name>hive.in.test</name>  
  3. <value>true</value>  
  4. </property>  
复制代码


回复

使用道具 举报

mjjian0 发表于 2015-3-24 17:24:40
jixianqiuxue 发表于 2015-3-24 13:06
hive是不允许写入的,
在hive-site.xml中添加下面的配置,生效即可:

按着你的加了配置,但是程序还是报错 这次异常信息和上次有点不一样
1.png 2.png
而且在hive服务端会一直提示:
3.png
高手在帮忙看看,这个东西我分析不出来
回复

使用道具 举报

s060403072 发表于 2015-3-24 17:35:07
mjjian0 发表于 2015-3-24 17:24
按着你的加了配置,但是程序还是报错 这次异常信息和上次有点不一样

而且在hive服务端会一直提示:


出现问题
  1. org.apache.thrift.transport.TTransportException:null
  2. org.apache.thrift.transport.TTransport.TIOStreamTransport.read
复制代码


尝试下面解决办法:

修改hivedb数据库编码:
  1. mysql> alter database hivedb character set latin1;
复制代码
然后重启hive metastore和hive server就可以了

mysql数据库的编码目前最好设置为latin1,否则使用hive会出现的问题

回复

使用道具 举报

mjjian0 发表于 2015-3-24 18:13:14

我配置了,也不行,还是那个错
回复

使用道具 举报

s060403072 发表于 2015-3-24 19:21:14
mjjian0 发表于 2015-3-24 18:13
我配置了,也不行,还是那个错



进入hive,执行下面命令看是否正常
  1. show databases;
复制代码


回复

使用道具 举报

s060403072 发表于 2015-3-24 20:09:06
mjjian0 发表于 2015-3-24 18:13
我配置了,也不行,还是那个错

修改log为debug,查看详细信息

回复

使用道具 举报

mjjian0 发表于 2015-3-26 11:52:28
jixianqiuxue 发表于 2015-3-24 13:06
hive是不允许写入的,
在hive-site.xml中添加下面的配置,生效即可:

谢谢你!你这个配置确实解决了我的那个问题,然后又报了个 null的那个问题是因为我环境是hive1.1.0版本的,而我程序中的jar包是0.14版本,后来换了版本就好了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条