分享

【求助】kafka继承spark streaming丢数据

唐运 发表于 2015-3-1 18:20:55 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 12478
本帖最后由 pig2 于 2015-3-1 18:32 编辑


QQ图片20150301182019.jpg
kafka继承spark streaming丢数据有朋友碰到过嘛?
我导入了5亿条数据,hbase库里统计少3万多条。求大神指点下  


已有(1)人评论

跳转到指定楼层
desehawk 发表于 2015-3-1 18:38:20
确实存在丢失数据的现象,不过不同场景,产生的原因不一样。
比如:确认 producer生产数据都完整pull到kafka里去了等。
可以先小数据量测试,然后不断增量,找出问题的原因。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条