about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 634|回复: 4

[疑问解答] Cumulative cpu指的是什么意思?

[复制链接]

3

主题

5

听众

5

收听

中级会员

Rank: 3Rank: 3

积分
281
QQ
发表于 2019-1-9 21:02:41 | 显示全部楼层 |阅读模式
hive执行的时候会打印日志,请问Cumulative CPU 256.11 sec,打印的这个是什么意思呢?我百度了一下,没有什么资料,大神们,求解答一下,这个是什么单位?用来计量什么的?是怎么算出来的?
INFO  : Query ID = hive_20190109204444_13b4c9ac-0c24-4d22-afe5-2a3e60a795ed
INFO  : Total jobs = 1
INFO  : Launching Job 1 out of 1
INFO  : Starting task [Stage-1:MAPRED] in serial mode
INFO  : Number of reduce tasks not specified. Estimated from input data size: 40
INFO  : In order to change the average load for a reducer (in bytes):
INFO  :   set hive.exec.reducers.bytes.per.reducer=<number>
INFO  : In order to limit the maximum number of reducers:
INFO  :   set hive.exec.reducers.max=<number>
INFO  : In order to set a constant number of reducers:
INFO  :   set mapreduce.job.reduces=<number>
INFO  : Cannot run job locally: Input Size (= 2662102022) is larger than hive.exec.mode.local.auto.inputbytes.max (= 134217728)
INFO  : number of splits:8
INFO  : Submitting tokens for job: job_1534303666179_438922
INFO  : The url to track the job: http://ycf-big0.ycf.com:8088/pro ... 34303666179_438922/
INFO  : Starting Job = job_1534303666179_438922, Tracking URL = http://ycf-big0.ycf.com:8088/pro ... 34303666179_438922/
INFO  : Kill Command = /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hadoop/bin/hadoop job  -kill job_1534303666179_438922
INFO  : Hadoop job information for Stage-1: number of mappers: 8; number of reducers: 40
INFO  : 2019-01-09 20:45:37,362 Stage-1 map = 0%,  reduce = 0%
INFO  : 2019-01-09 20:45:54,763 Stage-1 map = 13%,  reduce = 0%, Cumulative CPU 6.35 sec
INFO  : 2019-01-09 20:45:56,810 Stage-1 map = 25%,  reduce = 0%, Cumulative CPU 12.94 sec
INFO  : 2019-01-09 20:46:02,951 Stage-1 map = 30%,  reduce = 0%, Cumulative CPU 56.62 sec
INFO  : 2019-01-09 20:46:06,022 Stage-1 map = 34%,  reduce = 0%, Cumulative CPU 62.49 sec
INFO  : 2019-01-09 20:46:10,115 Stage-1 map = 42%,  reduce = 0%, Cumulative CPU 66.11 sec
INFO  : 2019-01-09 20:46:14,211 Stage-1 map = 55%,  reduce = 0%, Cumulative CPU 73.04 sec
INFO  : 2019-01-09 20:46:30,619 Stage-1 map = 63%,  reduce = 0%, Cumulative CPU 80.26 sec
INFO  : 2019-01-09 20:46:37,789 Stage-1 map = 71%,  reduce = 0%, Cumulative CPU 83.53 sec
INFO  : 2019-01-09 20:46:49,034 Stage-1 map = 75%,  reduce = 0%, Cumulative CPU 87.42 sec
INFO  : 2019-01-09 20:47:04,408 Stage-1 map = 83%,  reduce = 0%, Cumulative CPU 90.86 sec
INFO  : 2019-01-09 20:47:06,470 Stage-1 map = 92%,  reduce = 0%, Cumulative CPU 93.32 sec
INFO  : 2019-01-09 20:47:18,729 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 96.2 sec
INFO  : 2019-01-09 20:47:19,753 Stage-1 map = 100%,  reduce = 5%, Cumulative CPU 103.56 sec
INFO  : 2019-01-09 20:47:20,772 Stage-1 map = 100%,  reduce = 15%, Cumulative CPU 119.87 sec
INFO  : 2019-01-09 20:47:21,804 Stage-1 map = 100%,  reduce = 23%, Cumulative CPU 133.2 sec
INFO  : 2019-01-09 20:47:23,868 Stage-1 map = 100%,  reduce = 28%, Cumulative CPU 141.33 sec
INFO  : 2019-01-09 20:47:24,896 Stage-1 map = 100%,  reduce = 35%, Cumulative CPU 153.4 sec
INFO  : 2019-01-09 20:47:26,941 Stage-1 map = 100%,  reduce = 43%, Cumulative CPU 163.77 sec
INFO  : 2019-01-09 20:47:27,964 Stage-1 map = 100%,  reduce = 50%, Cumulative CPU 176.22 sec
INFO  : 2019-01-09 20:47:28,985 Stage-1 map = 100%,  reduce = 55%, Cumulative CPU 183.6 sec
INFO  : 2019-01-09 20:47:30,007 Stage-1 map = 100%,  reduce = 58%, Cumulative CPU 188.34 sec
INFO  : 2019-01-09 20:47:31,031 Stage-1 map = 100%,  reduce = 65%, Cumulative CPU 200.89 sec
INFO  : 2019-01-09 20:47:33,074 Stage-1 map = 100%,  reduce = 73%, Cumulative CPU 212.01 sec
INFO  : 2019-01-09 20:47:35,118 Stage-1 map = 100%,  reduce = 83%, Cumulative CPU 226.6 sec
INFO  : 2019-01-09 20:47:36,141 Stage-1 map = 100%,  reduce = 88%, Cumulative CPU 234.8 sec
INFO  : 2019-01-09 20:47:37,162 Stage-1 map = 100%,  reduce = 93%, Cumulative CPU 244.14 sec
INFO  : 2019-01-09 20:47:38,197 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 256.11 sec
INFO  : MapReduce Total cumulative CPU time: 4 minutes 16 seconds 110 msec
INFO  : Ended Job = job_1534303666179_438922
INFO  : MapReduce Jobs Launched:
INFO  : Stage-Stage-1: Map: 8  Reduce: 40   Cumulative CPU: 256.11 sec   HDFS Read: 55713306 HDFS Write: 916 SUCCESS
INFO  : Total MapReduce CPU Time Spent: 4 minutes 16 seconds 110 msec
INFO  : Completed executing command(queryId=hive_20190109204444_13b4c9ac-0c24-4d22-afe5-2a3e60a795ed); Time taken: 164.408 seconds
INFO  : OK



48

主题

10

听众

6

收听

高级会员

Rank: 4

积分
2376
发表于 2019-1-10 06:03:57 | 显示全部楼层
首先摘出第一部分:
INFO  : 2019-01-09 20:46:02,951 Stage-1 map = 30%,  reduce = 0%, Cumulative CPU 56.62 sec
INFO  : 2019-01-09 20:46:06,022 Stage-1 map = 34%,  reduce = 0%, Cumulative CPU 62.49 sec
INFO  : 2019-01-09 20:46:10,115 Stage-1 map = 42%,  reduce = 0%, Cumulative CPU 66.11 sec

上面我们来看时间差
2019-01-09 20:46:02  
2019-01-09 20:46:06  差4秒
2019-01-09 20:46:10  差4秒

Cumulative CPU 56.62 sec
Cumulative CPU 62.49 sec 差4秒
Cumulative CPU 66.11 sec 差4秒

首先摘出第二部分:

INFO  : 2019-01-09 20:47:28,985 Stage-1 map = 100%,  reduce = 55%, Cumulative CPU 183.6 sec
INFO  : 2019-01-09 20:47:30,007 Stage-1 map = 100%,  reduce = 58%, Cumulative CPU 188.34 sec

上面我们来看时间差
2019-01-09 20:47:28
2019-01-09 20:47:30 差2秒

Cumulative CPU 183.6 sec

Cumulative CPU 188.34 sec 差5秒

我们看到有的时间相同,有的时间不同,
Cumulative CPU应该是统计的CPU总得时间,也就是快的时候,二者基本是一样的,如果慢的话,cpu会使用的时间更多一些。我们来看下面概念:

CPU时间(或处理时间)是中央处理单元(CPU)用于处理计算机程序或操作系统的指令的时间量,而不是经过的时间,包括例如等待输入/输出 (I / O)操作或进入低功耗(空闲)模式。 CPU时间以时钟周期或秒计算。

通过上面我们可以看到
Cumulative CPU是统计的cpu运行时间
更多参考
https://en.wikipedia.org/wiki/CPU_time




3

主题

5

听众

5

收听

中级会员

Rank: 3Rank: 3

积分
281
QQ
 楼主| 发表于 2019-1-10 10:30:50 | 显示全部楼层
s060403072 发表于 2019-1-10 06:03
首先摘出第一部分:
INFO  : 2019-01-09 20:46:02,951 Stage-1 map = 30%,  reduce = 0%, Cumulative CPU  ...

那么像hive这样的,是不是可以理解为多个进程,也就是map和reduce阶段(包含shffule)相关的指令在cpu上执行时间的累积?

通过这个指标,我们可以得出这个进程的运行快慢,以及cpu的繁忙程度?还有其他的功能?

48

主题

10

听众

6

收听

高级会员

Rank: 4

积分
2376
发表于 2019-1-10 12:53:46 | 显示全部楼层
[email protected] 发表于 2019-1-10 10:30
那么像hive这样的,是不是可以理解为多个进程,也就是map和reduce阶段(包含shffule)相关的指令在cpu上 ...

可以这么理解

3

主题

5

听众

5

收听

中级会员

Rank: 3Rank: 3

积分
281
QQ
 楼主| 发表于 2019-1-10 18:15:21 | 显示全部楼层

好的,感谢。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-2-18 08:10 , Processed in 0.371899 second(s), 33 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表