分享

hive 脚本 GC overhead limit exceeded 求助

hive表1是两个文件 一个256.5M  另一个141.3M,  从表1插入动态分区表2(upt_time分区)


参数如下:
set mapreduce.map.memory.mb=16384;set mapreduce.map.java.opts=-Xmx13106M;   set mapred.map.child.java.opts=-Xmx13106M;set mapreduce.reduce.memory.mb=16384;set mapreduce.reduce.java.opts=-Xmx13106M;




sql语句
insert into table vass.cust_info_fi_fpartition (upd_time)select a.rowkey rowkey,a.cust_no part_id,a.name cust_name,a.sex gender,a.birthday ,'' is_vip,a.id_no ,a.id_type,'G' cust_type ,a.up_status,a.cust_lv cust_lv,a.cust_lv_date,a.cust_lv_pre,a.cust_lv_date_pre,a.premium cust_premium,a.premium cust_std_premium ,a.full_date cust_full_date,a.end_date cust_end_date,a.cust_status ,a.C_Bs013_Mobile mobile_phone ,a.C_Bs023_Email email ,a.C_Bs012_Address contact_addr ,a.C_Bs005_MG_Bran_Name branch_name,a.prov_code in_pro,a.out_pro,a.upd_time ,a.sale_no saler_code ,  a.sale_name saler_name ,    a.sale_tel saler_phone ,   a.servsrc saler_src ,     a.sys_sale_no saler_code_sys , a.sys_sale_name  saler_name_sys , a.sys_branch_no branch_code_sys,'' branch_name_sys,a.c_bs009_prov_code branch_pro ,a.C_Bs007_City_Code branch_city ,a.manage_code branch_codefrom vass.cust_info_tmp3 adistribute by upd_time;


-----------------------------------------------------
报错信息如下:

xiangxi.png




已有(2)人评论

跳转到指定楼层
s060403072 发表于 2018-7-27 19:20:28
mapred.yarnChild error running child java.lang.outofmemoryerror gc overhead limit exceeded


设置下 io.sort.mb 试试
0.25*mapred.child.java.opts < io.sort.mb < 0.5*mapred.child.java.opts  
回复

使用道具 举报

iori809 发表于 2018-8-1 11:01:10



       你设置的内存已经够大的了,对了你表2的分区数有多少啊?是不是很多呢?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条