每天有多个几十G的数据文件入库，使用哪种入库方式来提高效率？

tianhao960 · 发表于 2014-12-28 09:52:24

不可以每天一个表,然后用 bulkload 吗?

helianthus · 发表于 2014-12-29 10:04:08

表示关注，希望有经验的大牛能给帮帮忙……

uu_snow · 发表于 2014-12-30 09:00:11

没人涉猎过这方面的问题吗？

zzuyao · 发表于 2015-1-7 09:53:23

uu_snow 发表于 2014-12-30 09:00
没人涉猎过这方面的问题吗？

最后怎么解决的，分析下呗

muyannian · 发表于 2015-1-7 17:23:00

zzuyao 发表于 2015-1-7 09:53
最后怎么解决的，分析下呗

使用blukload、预分区效率是最高的，无须分裂、移动数据等操作

uu_snow · 发表于 2015-1-27 11:12:17

zzuyao 发表于 2015-1-7 09:53
最后怎么解决的，分析下呗

各个论坛上都没有满意的答案，目前我的做法就是使用多线程的方式装载数据。在很差的3台机器的集群上，可以达到每秒2.5万行数据的装载效率。

uu_snow · 发表于 2015-1-27 11:13:21

muyannian 发表于 2015-1-7 17:23
使用blukload、预分区效率是最高的，无须分裂、移动数据等操作

我的数据每天都有增量，不是一次装载就结束了，这种方式能行吗？

YLV · 发表于 2015-3-11 15:11:28

关注下，楼主目前的方法，全部装载完成大概需要多久

ainubis · 发表于 2015-3-28 16:00:29

飘过，学习学习！

图文精华