Spark使用mllib进行机器学习执行时间较长

查看数: 4647 | 评论数: 1 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-12-28 19:03

正文摘要:

这个是因为我spark程序设置日志级别的问题么。

回复

qcbb001 发表于 2017-12-28 21:09:44
任务执行时间长短不一是正常的,因为可能有的是在本地读取数据,有的可能是需要远程读取数据。而且如果存在热点,也就是数据不均匀,机器就会很忙,所以会造成读取很慢。甚至会造成一些任务卡住等现象。

关闭

推荐上一条 /2 下一条