分享

大数据项目之电商数仓(用户行为数据采集)(二)

问题导读:
1、数据采集有哪些模块?
2、如何测试HDFS读性能?
3、如何进行Zookeeper安装?
4、如何日志生成处理?


上一篇:大数据项目之电商数仓(用户行为数据采集)(一)

第4章 数据采集模块

4.1 Hadoop安装
1)集群规划:
2020-11-24_202013.jpg

注意:尽量使用离线方式安装

4.1.1 项目经验之HDFS存储多目录
若HDFS存储空间紧张,需要对DataNode进行磁盘扩展。
1)在DataNode节点增加磁盘并进行挂载。

2020-11-24_202059.jpg
2)在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。
  1. <property>
  2.     <name>dfs.datanode.data.dir</name>
  3. <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
  4. </property>
复制代码

4.1.2 项目经验之支持LZO压缩配置
1)hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。

2)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
  1. [kgg@hadoop101 common]$ pwd
  2. /opt/module/hadoop-2.7.2/share/hadoop/common
  3. [kgg@hadoop101 common]$ ls
  4. hadoop-lzo-0.4.20.jar
复制代码

3)同步hadoop-lzo-0.4.20.jar到hadoop102、hadoop103
  1. [kgg@hadoop101 common]$ xsync hadoop-lzo-0.4.20.jar
复制代码

4)core-site.xml增加配置支持LZO压缩
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>io.compression.codecs</name>
  6. <value>
  7. org.apache.hadoop.io.compress.GzipCodec,
  8. org.apache.hadoop.io.compress.DefaultCodec,
  9. org.apache.hadoop.io.compress.BZip2Codec,
  10. org.apache.hadoop.io.compress.SnappyCodec,
  11. com.hadoop.compression.lzo.LzoCodec,
  12. com.hadoop.compression.lzo.LzopCodec
  13. </value>
  14. </property>
  15. <property>
  16.     <name>io.compression.codec.lzo.class</name>
  17.     <value>com.hadoop.compression.lzo.LzoCodec</value>
  18. </property>
  19. </configuration>
复制代码

5)同步core-site.xml到hadoop102、hadoop103
  1. [kgg@hadoop101 hadoop]$ xsync core-site.xml
复制代码

6)启动及查看集群
  1. [kgg@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh
  2. [kgg@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh
复制代码

7)测试
  1. yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount -Dmapreduce.output.fileoutputformat.compress=true -Dmapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec /input /output
复制代码

8)为lzo文件创建索引
  1. hadoop jar ./share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /output
复制代码

4.1.3 项目经验之基准测试
1) 测试HDFS写性能
    测试内容:向HDFS集群写10个128M的文件
  1. [kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
  2. 19/05/02 11:44:26 INFO fs.TestDFSIO: TestDFSIO.1.8
  3. 19/05/02 11:44:26 INFO fs.TestDFSIO: nrFiles = 10
  4. 19/05/02 11:44:26 INFO fs.TestDFSIO: nrBytes (MB) = 128.0
  5. 19/05/02 11:44:26 INFO fs.TestDFSIO: bufferSize = 1000000
  6. 19/05/02 11:44:26 INFO fs.TestDFSIO: baseDir = /benchmarks/TestDFSIO
  7. 19/05/02 11:44:28 INFO fs.TestDFSIO: creating control file: 134217728 bytes, 10 files
  8. 19/05/02 11:44:30 INFO fs.TestDFSIO: created control files for: 10 files
  9. 19/05/02 11:44:30 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.1.103:8032
  10. 19/05/02 11:44:31 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.1.103:8032
  11. 19/05/02 11:44:32 INFO mapred.FileInputFormat: Total input paths to process : 10
  12. 19/05/02 11:44:32 INFO mapreduce.JobSubmitter: number of splits:10
  13. 19/05/02 11:44:33 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1556766549220_0003
  14. 19/05/02 11:44:34 INFO impl.YarnClientImpl: Submitted application application_1556766549220_0003
  15. 19/05/02 11:44:34 INFO mapreduce.Job: The url to track the job: http://hadoop102:8088/proxy/application_1556766549220_0003/
  16. 19/05/02 11:44:34 INFO mapreduce.Job: Running job: job_1556766549220_0003
  17. 19/05/02 11:44:47 INFO mapreduce.Job: Job job_1556766549220_0003 running in uber mode : false
  18. 19/05/02 11:44:47 INFO mapreduce.Job:  map 0% reduce 0%
  19. 19/05/02 11:45:05 INFO mapreduce.Job:  map 13% reduce 0%
  20. 19/05/02 11:45:06 INFO mapreduce.Job:  map 27% reduce 0%
  21. 19/05/02 11:45:08 INFO mapreduce.Job:  map 43% reduce 0%
  22. 19/05/02 11:45:09 INFO mapreduce.Job:  map 60% reduce 0%
  23. 19/05/02 11:45:10 INFO mapreduce.Job:  map 73% reduce 0%
  24. 19/05/02 11:45:15 INFO mapreduce.Job:  map 77% reduce 0%
  25. 19/05/02 11:45:18 INFO mapreduce.Job:  map 87% reduce 0%
  26. 19/05/02 11:45:19 INFO mapreduce.Job:  map 100% reduce 0%
  27. 19/05/02 11:45:21 INFO mapreduce.Job:  map 100% reduce 100%
  28. 19/05/02 11:45:22 INFO mapreduce.Job: Job job_1556766549220_0003 completed successfully
  29. 19/05/02 11:45:22 INFO mapreduce.Job: Counters: 51
  30.         File System Counters
  31.                 FILE: Number of bytes read=856
  32.                 FILE: Number of bytes written=1304826
  33.                 FILE: Number of read operations=0
  34.                 FILE: Number of large read operations=0
  35.                 FILE: Number of write operations=0
  36.                 HDFS: Number of bytes read=2350
  37.                 HDFS: Number of bytes written=1342177359
  38.                 HDFS: Number of read operations=43
  39.                 HDFS: Number of large read operations=0
  40.                 HDFS: Number of write operations=12
  41.         Job Counters
  42.                 Killed map tasks=1
  43.                 Launched map tasks=10
  44.                 Launched reduce tasks=1
  45.                 Data-local map tasks=8
  46.                 Rack-local map tasks=2
  47.                 Total time spent by all maps in occupied slots (ms)=263635
  48.                 Total time spent by all reduces in occupied slots (ms)=9698
  49.                 Total time spent by all map tasks (ms)=263635
  50.                 Total time spent by all reduce tasks (ms)=9698
  51.                 Total vcore-milliseconds taken by all map tasks=263635
  52.                 Total vcore-milliseconds taken by all reduce tasks=9698
  53.                 Total megabyte-milliseconds taken by all map tasks=269962240
  54.                 Total megabyte-milliseconds taken by all reduce tasks=9930752
  55.         Map-Reduce Framework
  56.                 Map input records=10
  57.                 Map output records=50
  58.                 Map output bytes=750
  59.                 Map output materialized bytes=910
  60.                 Input split bytes=1230
  61.                 Combine input records=0
  62.                 Combine output records=0
  63.                 Reduce input groups=5
  64.                 Reduce shuffle bytes=910
  65.                 Reduce input records=50
  66.                 Reduce output records=5
  67.                 Spilled Records=100
  68.                 Shuffled Maps =10
  69.                 Failed Shuffles=0
  70.                 Merged Map outputs=10
  71.                 GC time elapsed (ms)=17343
  72.                 CPU time spent (ms)=96930
  73.                 Physical memory (bytes) snapshot=2821341184
  74.                 Virtual memory (bytes) snapshot=23273218048
  75.                 Total committed heap usage (bytes)=2075656192
  76.         Shuffle Errors
  77.                 BAD_ID=0
  78.                 CONNECTION=0
  79.                 IO_ERROR=0
  80.                 WRONG_LENGTH=0
  81.                 WRONG_MAP=0
  82.                 WRONG_REDUCE=0
  83.         File Input Format Counters
  84.                 Bytes Read=1120
  85.         File Output Format Counters
  86.                 Bytes Written=79
  87. 19/05/02 11:45:23 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
  88. 19/05/02 11:45:23 INFO fs.TestDFSIO:            Date & time: Thu May 02 11:45:23 CST 2019
  89. 19/05/02 11:45:23 INFO fs.TestDFSIO:        Number of files: 10
  90. 19/05/02 11:45:23 INFO fs.TestDFSIO: Total MBytes processed: 1280.0
  91. 19/05/02 11:45:23 INFO fs.TestDFSIO:      Throughput mb/sec: 10.69751115716984
  92. 19/05/02 11:45:23 INFO fs.TestDFSIO: Average IO rate mb/sec: 14.91699504852295
  93. 19/05/02 11:45:23 INFO fs.TestDFSIO:  IO rate std deviation: 11.160882132355928
  94. 19/05/02 11:45:23 INFO fs.TestDFSIO:     Test exec time sec: 52.315
复制代码


2)测试HDFS读性能
测试内容:读取HDFS集群10个128M的文件
  1. [kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB
  2. 19/05/02 11:55:42 INFO fs.TestDFSIO: TestDFSIO.1.8
  3. 19/05/02 11:55:42 INFO fs.TestDFSIO: nrFiles = 10
  4. 19/05/02 11:55:42 INFO fs.TestDFSIO: nrBytes (MB) = 128.0
  5. 19/05/02 11:55:42 INFO fs.TestDFSIO: bufferSize = 1000000
  6. 19/05/02 11:55:42 INFO fs.TestDFSIO: baseDir = /benchmarks/TestDFSIO
  7. 19/05/02 11:55:45 INFO fs.TestDFSIO: creating control file: 134217728 bytes, 10 files
  8. 19/05/02 11:55:47 INFO fs.TestDFSIO: created control files for: 10 files
  9. 19/05/02 11:55:47 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.1.103:8032
  10. 19/05/02 11:55:48 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.1.103:8032
  11. 19/05/02 11:55:49 INFO mapred.FileInputFormat: Total input paths to process : 10
  12. 19/05/02 11:55:49 INFO mapreduce.JobSubmitter: number of splits:10
  13. 19/05/02 11:55:49 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1556766549220_0004
  14. 19/05/02 11:55:50 INFO impl.YarnClientImpl: Submitted application application_1556766549220_0004
  15. 19/05/02 11:55:50 INFO mapreduce.Job: The url to track the job: http://hadoop102:8088/proxy/application_1556766549220_0004/
  16. 19/05/02 11:55:50 INFO mapreduce.Job: Running job: job_1556766549220_0004
  17. 19/05/02 11:56:04 INFO mapreduce.Job: Job job_1556766549220_0004 running in uber mode : false
  18. 19/05/02 11:56:04 INFO mapreduce.Job:  map 0% reduce 0%
  19. 19/05/02 11:56:24 INFO mapreduce.Job:  map 7% reduce 0%
  20. 19/05/02 11:56:27 INFO mapreduce.Job:  map 23% reduce 0%
  21. 19/05/02 11:56:28 INFO mapreduce.Job:  map 63% reduce 0%
  22. 19/05/02 11:56:29 INFO mapreduce.Job:  map 73% reduce 0%
  23. 19/05/02 11:56:30 INFO mapreduce.Job:  map 77% reduce 0%
  24. 19/05/02 11:56:31 INFO mapreduce.Job:  map 87% reduce 0%
  25. 19/05/02 11:56:32 INFO mapreduce.Job:  map 100% reduce 0%
  26. 19/05/02 11:56:35 INFO mapreduce.Job:  map 100% reduce 100%
  27. 19/05/02 11:56:36 INFO mapreduce.Job: Job job_1556766549220_0004 completed successfully
  28. 19/05/02 11:56:36 INFO mapreduce.Job: Counters: 51
  29.         File System Counters
  30.                 FILE: Number of bytes read=852
  31.                 FILE: Number of bytes written=1304796
  32.                 FILE: Number of read operations=0
  33.                 FILE: Number of large read operations=0
  34.                 FILE: Number of write operations=0
  35.                 HDFS: Number of bytes read=1342179630
  36.                 HDFS: Number of bytes written=78
  37.                 HDFS: Number of read operations=53
  38.                 HDFS: Number of large read operations=0
  39.                 HDFS: Number of write operations=2
  40.         Job Counters
  41.                 Killed map tasks=1
  42.                 Launched map tasks=10
  43.                 Launched reduce tasks=1
  44.                 Data-local map tasks=8
  45.                 Rack-local map tasks=2
  46.                 Total time spent by all maps in occupied slots (ms)=233690
  47.                 Total time spent by all reduces in occupied slots (ms)=7215
  48.                 Total time spent by all map tasks (ms)=233690
  49.                 Total time spent by all reduce tasks (ms)=7215
  50.                 Total vcore-milliseconds taken by all map tasks=233690
  51.                 Total vcore-milliseconds taken by all reduce tasks=7215
  52.                 Total megabyte-milliseconds taken by all map tasks=239298560
  53.                 Total megabyte-milliseconds taken by all reduce tasks=7388160
  54.         Map-Reduce Framework
  55.                 Map input records=10
  56.                 Map output records=50
  57.                 Map output bytes=746
  58.                 Map output materialized bytes=906
  59.                 Input split bytes=1230
  60.                 Combine input records=0
  61.                 Combine output records=0
  62.                 Reduce input groups=5
  63.                 Reduce shuffle bytes=906
  64.                 Reduce input records=50
  65.                 Reduce output records=5
  66.                 Spilled Records=100
  67.                 Shuffled Maps =10
  68.                 Failed Shuffles=0
  69.                 Merged Map outputs=10
  70.                 GC time elapsed (ms)=6473
  71.                 CPU time spent (ms)=57610
  72.                 Physical memory (bytes) snapshot=2841436160
  73.                 Virtual memory (bytes) snapshot=23226683392
  74.                 Total committed heap usage (bytes)=2070413312
  75.         Shuffle Errors
  76.                 BAD_ID=0
  77.                 CONNECTION=0
  78.                 IO_ERROR=0
  79.                 WRONG_LENGTH=0
  80.                 WRONG_MAP=0
  81.                 WRONG_REDUCE=0
  82.         File Input Format Counters
  83.                 Bytes Read=1120
  84.         File Output Format Counters
  85.                 Bytes Written=78
  86. 19/05/02 11:56:36 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
  87. 19/05/02 11:56:36 INFO fs.TestDFSIO:            Date & time: Thu May 02 11:56:36 CST 2019
  88. 19/05/02 11:56:36 INFO fs.TestDFSIO:        Number of files: 10
  89. 19/05/02 11:56:36 INFO fs.TestDFSIO: Total MBytes processed: 1280.0
  90. 19/05/02 11:56:36 INFO fs.TestDFSIO:      Throughput mb/sec: 16.001000062503905
  91. 19/05/02 11:56:36 INFO fs.TestDFSIO: Average IO rate mb/sec: 17.202795028686523
  92. 19/05/02 11:56:36 INFO fs.TestDFSIO:  IO rate std deviation: 4.881590515873911
  93. 19/05/02 11:56:36 INFO fs.TestDFSIO:     Test exec time sec: 49.116
  94. 19/05/02 11:56:36 INFO fs.TestDFSIO:
复制代码


3)删除测试生成数据
[kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -clean
4)使用Sort程序评测MapReduce
(1)使用RandomWriter来产生随机数,每个节点运行10个Map任务,每个Map产生大约1G大小的二进制随机数
[kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter random-data
(2)执行Sort程序
[kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar sort random-data sorted-data
(3)验证数据是否真正排好序了
[kgg@hadoop101 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar testmapredsort -sortInput random-data -sortOutput sorted-data

4.1.4 项目经验之Hadoop参数调优
1)HDFS参数调优hdfs-site.xml
(1)dfs.namenode.handler.count=20 * log2(Cluster Size),比如集群规模为8台时,此参数设置为60
The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池,用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说,通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20logN,N为集群大小。
(2)编辑日志存储路径dfs.namenode.edits.dir设置与镜像文件存储路径dfs.namenode.name.dir尽量分开,达到最低写入延迟
2)YARN参数调优yarn-site.xml
(1)情景描述:总共7台机器,每天几亿条数据,数据源->Flume->Kafka->HDFS->Hive
面临问题:数据统计主要用HiveSQL,没有数据倾斜,小文件已经做了合并处理,开启的JVM重用,而且IO没有阻塞,内存用了不到50%。但是还是跑的非常慢,而且数据量洪峰过来时,整个集群都会宕掉。基于这种情况有没有优化方案。
(2)解决办法:
内存利用率不够。这个一般是Yarn的2个配置造成的,单个任务可以申请的最大内存大小,和Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。
(a)yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。
(b)yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量,默认是8192(MB)。

3)Hadoop宕机
(1)如果MR造成系统宕机。此时要控制Yarn同时运行的任务数,和每个任务申请的最大内存。调整参数:yarn.scheduler.maximum-allocation-mb(单个任务可申请的最多物理内存量,默认是8192MB)
(2)如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小,控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存,高峰期过去数据同步会自动跟上。


4.2 Zookeeper安装
4.2.1 安装ZK
集群规划

2020-11-24_202402.jpg

4.2.2 ZK集群启动停止脚本
1)在hadoop101的/home/kgg/bin目录下创建脚本
  1. [kgg@hadoop101 bin]$ vim zk.sh
复制代码

    在脚本中编写如下内容
  1. #! /bin/bash
  2. case $1 in
  3. "start"){
  4.     for i in hadoop101 hadoop102 hadoop103
  5.     do
  6.         ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start"
  7.     done
  8. };;
  9. "stop"){
  10.     for i in hadoop101 hadoop102 hadoop103
  11.     do
  12.         ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop"
  13.     done
  14. };;
  15. "status"){
  16.     for i in hadoop101 hadoop102 hadoop103
  17.     do
  18.         ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh status"
  19.     done
  20. };;
  21. esac
复制代码

2)增加脚本执行权限
  1. [kgg@hadoop101 bin]$ chmod 777 zk.sh
复制代码

3)Zookeeper集群启动脚本
  1. [kgg@hadoop101 module]$ zk.sh start
复制代码

4)Zookeeper集群停止脚本
  1. [kgg@hadoop101 module]$ zk.sh stop
复制代码

4.2.3 项目经验之Linux环境变量
1)修改/etc/profile文件:用来设置系统环境参数,比如$PATH. 这里面的环境变量是对系统内所有用户生效。使用bash命令,需要source  /etc/profile一下。
2)修改~/.bashrc文件:针对某一个特定的用户,环境变量的设置只对该用户自己有效。使用bash命令,只要以该用户身份运行命令行就会读取该文件。
3)把/etc/profile里面的环境变量追加到~/.bashrc目录
  1. [kgg@hadoop101 ~]$ cat /etc/profile >> ~/.bashrc
  2. [kgg@hadoop102 ~]$ cat /etc/profile >> ~/.bashrc
  3. [kgg@hadoop103 ~]$ cat /etc/profile >> ~/.bashrc
复制代码

4.3 日志生成
4.3.1 日志启动
1)代码参数说明
  1. // 参数一:控制发送每条的延时时间,默认是0
  2. Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L;
  3. // 参数二:循环遍历次数
  4. int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000;
复制代码

2)将生成的jar包log-collector-0.0.1-SNAPSHOT-jar-with-dependencies.jar拷贝到hadoop101、服务器上,并同步到hadoop102的/opt/module路径下,
  1. [kgg@hadoop101 module]$ xsync log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar
复制代码

3)在hadoop101上执行jar程序
  1. [kgg@hadoop101 module]$ java -classpath log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.kgg.appclient.AppMain  >/opt/module/test.log
复制代码

4)在/tmp/logs路径下查看生成的日志文件
  1. [kgg@hadoop101 module]$ cd /tmp/logs/
  2. [kgg@hadoop101 logs]$ ls
  3. app-2019-02-10.log
复制代码


4.3.2 集群日志生成启动脚本
    1)在/home/kgg/bin目录下创建脚本lg.sh
  1. [kgg@hadoop101 bin]$ vim lg.sh
复制代码

    2)在脚本中编写如下内容
  1. #! /bin/bash
  2.     for i in hadoop101 hadoop102
  3.     do
  4.         ssh $i "java -classpath /opt/module/gmall/logcollector-1.0-SNAPSHOT-jar-with-dependencies.jar com.kgg.appclient.AppMain $1 $2 > /opt/module/test.log &"
  5.     done
复制代码

3)修改脚本执行权限
  1. [kgg@hadoop101 bin]$ chmod 777 lg.sh
复制代码

4)启动脚本
  1. [kgg@hadoop101 module]$ lg.sh
复制代码

5)分别在hadoop101、hadoop102的/tmp/logs目录上查看生成的数据
  1. [kgg@hadoop101 logs]$ ls
  2. app-2019-02-10.log
  3. [kgg@hadoop102 logs]$ ls
  4. app-2019-02-10.log
复制代码

4.3.3 集群时间同步修改脚本
    1)在/home/kgg/bin目录下创建脚本dt.sh
  1. [kgg@hadoop101 bin]$ vim dt.sh
复制代码

    2)在脚本中编写如下内容
  1. #!/bin/bash
  2. for i in hadoop101 hadoop102 hadoop103
  3. do
  4.         echo "========== $i =========="
  5.         ssh -t $i "sudo date -s $1"
  6. done
复制代码

3)修改脚本执行权限
  1. [kgg@hadoop101 bin]$ chmod 777 dt.sh
复制代码

4)启动脚本
  1. [kgg@hadoop101 bin]$ dt.sh 2019-2-10
复制代码

4.3.4 集群所有进程查看脚本
    1)在/home/kgg/bin目录下创建脚本xcall.sh
  1. [kgg@hadoop101 bin]$ vim xcall.sh
复制代码

    2)在脚本中编写如下内容
  1. #! /bin/bash
  2. for i in hadoop101 hadoop102 hadoop103
  3. do
  4.         echo --------- $i ----------
  5.         ssh $i "$*"
  6. done
复制代码

3)修改脚本执行权限
  1. [kgg@hadoop101 bin]$ chmod 777 xcall.sh
复制代码

4)启动脚本
  1. [kgg@hadoop101 bin]$ xcall.sh jps
复制代码


最新经典文章,欢迎关注公众号



本帖被以下淘专辑推荐:

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条