分享

如何将数据放入cache层表中

pink_in_Paris 发表于 2016-5-28 10:48:32 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 8272
【新手求教】
hadoop中,将数据文档以TXT形式上传到hdfs中,然后要将数据根据接口放到cache表中,这个将数据放入表中的过程应该如何完成?

已有(4)人评论

跳转到指定楼层
pink_in_Paris 发表于 2016-5-28 10:52:18
发错版了,应该怎么删掉?
回复

使用道具 举报

starrycheng 发表于 2016-5-28 14:28:27
pink_in_Paris 发表于 2016-5-28 10:52
发错版了,应该怎么删掉?

描述的有点模糊
无论是本地,还是在hdfs上都是可以插入表中的。而这个表是什么表,比如hbase,mysql等。
他们都有相关的编程。
hbase有相关的hbase编程。mysql网上很多,相信楼主也会。这里提供下hbase的操作。

hbase开发环境搭建及运行hbase小实例(HBase 0.98.3新api)

hbase编程:Eclipse远程连接创建hbase表以及填充列与列数据

回复

使用道具 举报

pink_in_Paris 发表于 2016-5-28 16:03:56
starrycheng 发表于 2016-5-28 14:28
描述的有点模糊
无论是本地,还是在hdfs上都是可以插入表中的。而这个表是什么表,比如hbase,mysql等。 ...

是我描述不清。就是我的原始数据是以txt文件上传到hdfs中,然后希望将txt文件中的数据按字段对应的填入已经创建好的hive表中。我应该如何完成这个步骤?
回复

使用道具 举报

qcbb001 发表于 2016-5-29 06:40:08
pink_in_Paris 发表于 2016-5-28 16:03
是我描述不清。就是我的原始数据是以txt文件上传到hdfs中,然后希望将txt文件中的数据按字段对应的填入已 ...

下面是一个本地数据文件加载到hive表中的例子

1.在hxl数据库下创建表
hive> create table tb_emp_info
    > (id int,
    > name string,
    > age int,
    > tel string)
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY '|'
    > STORED AS TEXTFILE;
OK
Time taken: 0.296 seconds
hive> show tables in hxl;
OK
tb_emp_info
Time taken: 0.073 seconds
2.准备加载数据
[hadoop1@node1 hive]$ more tb_emp_info.txt
1|name1|25|13188888888888
2|name2|30|13888888888888
3|name3|3|147896221
4|name4|56|899314121
5|name5|12|899314121
6|name6|9|899314121
7|name7|32|899314121
8|name8|42|158964
9|name9|86|899314121
10|name10|45|789541
3.本地系统加载文件数据
进入到tb_emp_info.txt文件所在的目录,然后执行hive进入到hive模式
[hadoop1@node1 hive]$ hive
hive> use hxl;
OK
Time taken: 0.103 seconds
hive> load data local inpath 'tb_emp_info.txt' into table tb_emp_info;
Copying data from file:/home/hadoop1/file/hive/tb_emp_info.txt
Copying file: file:/home/hadoop1/file/hive/tb_emp_info.txt
Loading data to table hxl.tb_emp_info
OK
Time taken: 0.694 seconds

4.查看加载进去的数据
hive> select * from tb_emp_info;
OK
1       name1   25      13188888888888
2       name2   30      13888888888888
3       name3   3       147896221
4       name4   56      899314121
5       name5   12      899314121
6       name6   9       899314121
7       name7   32      899314121
8       name8   42      158964
9       name9   86      899314121
10      name10  45      789541

5.可以进入到hdfs目录下查看该表对应的文件
hive> dfs -ls /user/hive/warehouse/hxl.db/tb_emp_info;
Found 1 items
-rw-r--r--   3 hadoop1 supergroup        214 2014-10-28 17:31 /user/hive/warehouse/hxl.db/tb_emp_info/tb_emp_info.txt

-- The End --

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条