分享

HBASE importtsv导入数据问题

小鱼 发表于 2014-10-13 14:25:08 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 17 37966
本帖最后由 小鱼 于 2014-10-13 14:27 编辑

使用HBASE importtsv导入数据问题.出现以下问题。求解决??????这里的18032端口不知道哪里设置的。
yarn-site.xml配置信息如下:
<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
                           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
       </property>
</configuration>


1.png

已有(17)人评论

跳转到指定楼层
desehawk 发表于 2014-10-13 15:35:50
配置没有错误,看看进程是否都在,条件允许,最好重启下集群
回复

使用道具 举报

小鱼 发表于 2014-10-13 15:38:10
desehawk 发表于 2014-10-13 15:35
配置没有错误,看看进程是否都在,条件允许,最好重启下集群

重启过了,还是一样。我是运行
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,cf hbase-tbl /user/input/test.cvs  这样的命令。难道是命令问题?

回复

使用道具 举报

desehawk 发表于 2014-10-13 15:57:52
小鱼 发表于 2014-10-13 15:38
重启过了,还是一样。我是运行
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separa ...


按照这种形式,下面根据自己的实际情况修改下。
  1. hadoop jar /usr/hadoop/hadoop/lib/hbase-0.94.20.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,CF:col1,CF:col2 -Dimporttsv.separator=, table2 /test1/test.txt  
复制代码



回复

使用道具 举报

小鱼 发表于 2014-10-13 15:59:27
desehawk 发表于 2014-10-13 15:57
按照这种形式,下面根据自己的实际情况修改下。
我hbase用的0.98.4的。这个版本里没有那个文件。除了0.94那个版本里有那个hbase-version.jar文件,其他版本的hbase貌似都没有。不知道在哪里了
回复

使用道具 举报

desehawk 发表于 2014-10-13 16:12:50
小鱼 发表于 2014-10-13 15:59
我hbase用的0.98.4的。这个版本里没有那个文件。除了0.94那个版本里有那个hbase-version.jar文件,其他版本 ...

刚查到这种形式,你试试

  1. $ bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=hdfs://storefile-outputdir <tablename> <hdfs-data-inputdir>
复制代码




回复

使用道具 举报

小鱼 发表于 2014-10-13 16:14:27
desehawk 发表于 2014-10-13 16:12
刚查到这种形式,你试试

我本来就是用这种方法运行的。。。。,可是不行。。
回复

使用道具 举报

desehawk 发表于 2014-10-13 16:22:58
你的那个是没有这个参数的Dimporttsv.bulk.output
并且在执行命令的时候,需要退出bin目录,而不是直接hbase,采用这样的命令形式

  1. bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=hdfs://storefile-outputdir <tablename> <hdfs-data-inputdir>
复制代码



回复

使用道具 举报

小鱼 发表于 2014-10-13 16:25:59
本帖最后由 小鱼 于 2014-10-13 16:27 编辑
desehawk 发表于 2014-10-13 16:22
你的那个是没有这个参数的Dimporttsv.bulk.output
并且在执行命令的时候,需要退出bin目录,而不是直接hba ...

/usr/hbase/bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,t:v01,t:v02,t:v03,t:v04,t:v05,t:v06,t:v07,t:v08,t:v09,t:v10,t:v11,t:v12,t:v13,t:v14,t:v15,t:v16,t:v17,t:v18,t:v19,t:v20,t:v21,t:v21,t:v22,t:v23,t:v24 -Dimporttsv.bulk.output=hdfs://10.1.1.30/user/output/1011 hly_temp /user/input/1011/
这是我的命令,刚那个是这个不行,网上找的简单的
回复

使用道具 举报

howtodown 发表于 2014-10-13 16:44:43
bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.bulk.output=hfile_tmp3 -Dimporttsv.columns=HBASE_ROW_KEY,cf hbase-tbl-003 /user/biadmin/simple1.cvs

还有这种形式,我看命令基本都试过了,不行的话,就是环境问题了
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条