分享

求助: 用spark拉数据到hbase

remarkzhao 发表于 2017-7-25 14:07:05 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 5068
求助各位大神:

     有没有可能用spark 把表从sqlserver拉到hbase并且自定义rowkey?或者工具。。多谢。。。

已有(4)人评论

跳转到指定楼层
remarkzhao 发表于 2017-7-25 14:46:39
要求:1.用spark  2.无需提前在hbase建表 3.指定sqlserver中拉出来的表的第三列为hbase rowkey   

PS:刚才看了一下phoenix,似乎可以满足我的要求,但是row key是自动的sqlserver里拉出来的表的第一列,我拉的表动不动就是几十个字段。


回复

使用道具 举报

desehawk 发表于 2017-7-25 16:23:46
sqoop专业的工具,可以了解下。相关资料

用SQOOP从SQLSERVER导入数据到(HDFS,HIVE,HBASE)

http://www.aboutyun.com/blog-1407-2773.html

回复

使用道具 举报

remarkzhao 发表于 2017-7-25 16:24:35
desehawk 发表于 2017-7-25 16:23
sqoop专业的工具,可以了解下。相关资料

用SQOOP从SQLSERVER导入数据到(HDFS,HIVE,HBASE)

用spark,亲!!!sqoop太慢才放弃的。
回复

使用道具 举报

desehawk 发表于 2017-7-25 16:28:52
remarkzhao 发表于 2017-7-25 16:24
用spark,亲!!!sqoop太慢才放弃的。

想自己写,那就自己都必须实现。应该没有现成。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条