图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › 数据湖 › 实操演练› Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件 ...
分享

Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件过多的问题

fc013 2022-10-14 19:06:20 发表于 实操演练 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 1486
About云VIP帮助找工作和提升



问题导读：

1、怎样配置清理策略？
2、怎样指定 Clustering 计划？
3、怎样进行文件聚合？



Hudi测试：批处理后文件据类再接流

本文详细阐述了在 “批处理后，流处理之前” 进行文件 Clustering 操作的方法。该方法可以将众多小文件合并成数量极少的大文件，从而防止过多小文件的产生。

在批处理结束后进行 Clustering 主要涉及如下几个步骤，它们主要都是通过 spark-submit 命令完成的：

  • 制定 Clustering 计划，找到

批处理数据结束

首先用 bulk_insert 方式运行批处理任务。注意下面的操作都是在批处理任务完成后，接流之前进行。

查看表相关的 hdfs，可以发现由于使用了 bulk_insert 的方式写入数据，导致文件数量非常多，而每个文件的 Size 非常小。我们希望将每个分区的1000多个小文件聚合成几个大文件，以免造成不必要的查询和系统维护开销。

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -count /flk_hudi/chdrpf_hudi_test03/*

  2.            7            7           32637997 /flk_hudi/chdrpf_hudi_test03/.hoodie

  3.            1         1067          571117942 /flk_hudi/chdrpf_hudi_test03/1

  4.            1         1071          716513820 /flk_hudi/chdrpf_hudi_test03/2

  5.            1         1072          644997032 /flk_hudi/chdrpf_hudi_test03/3

  6.            1         1072          507397985 /flk_hudi/chdrpf_hudi_test03/4

  7.            1         1069          730774472 /flk_hudi/chdrpf_hudi_test03/5

  8.            1         1067          586561261 /flk_hudi/chdrpf_hudi_test03/6

  9.            1         1063          557377359 /flk_hudi/chdrpf_hudi_test03/7

  10.            1         1070          483416155 /flk_hudi/chdrpf_hudi_test03/8

  11.            1         1071          587965407 /flk_hudi/chdrpf_hudi_test03/A

  12.            1         1071          570651877 /flk_hudi/chdrpf_hudi_test03/B

  13.            1         1068          796163049 /flk_hudi/chdrpf_hudi_test03/C

  14.            1         1064          732633320 /flk_hudi/chdrpf_hudi_test03/D

  15.            1         1067          524777141 /flk_hudi/chdrpf_hudi_test03/E

  16.            1         1070          550302848 /flk_hudi/chdrpf_hudi_test03/F

  17.            1         1076          540059544 /flk_hudi/chdrpf_hudi_test03/G

  18.            1         1071          590094172 /flk_hudi/chdrpf_hudi_test03/H

  19.            1         1076          505755100 /flk_hudi/chdrpf_hudi_test03/I

  20.            1         1068          606771875 /flk_hudi/chdrpf_hudi_test03/J

  21.            1         1068          495261290 /flk_hudi/chdrpf_hudi_test03/K

  22.            1         1067          516964732 /flk_hudi/chdrpf_hudi_test03/L

  23.            1         1060          482056347 /flk_hudi/chdrpf_hudi_test03/M

  24.            1         1054          607625266 /flk_hudi/chdrpf_hudi_test03/N

  25.            1         1077          551989638 /flk_hudi/chdrpf_hudi_test03/O

  26.            1         1076          590537140 /flk_hudi/chdrpf_hudi_test03/P

  27.            1         1069          536362956 /flk_hudi/chdrpf_hudi_test03/Q

  28.            1         1072          559723804 /flk_hudi/chdrpf_hudi_test03/R

  29.            1         1067          546042696 /flk_hudi/chdrpf_hudi_test03/S

  30.            1         1059          528438508 /flk_hudi/chdrpf_hudi_test03/T

  31.            1         1063          518288413 /flk_hudi/chdrpf_hudi_test03/U

  32.            1         1070          543146873 /flk_hudi/chdrpf_hudi_test03/V

  33.            1         1066          532588113 /flk_hudi/chdrpf_hudi_test03/W

  34.            1         1069          494606809 /flk_hudi/chdrpf_hudi_test03/X

  35.            1         1079          527128056 /flk_hudi/chdrpf_hudi_test03/Y

  36.            1         1068          477378497 /flk_hudi/chdrpf_hudi_test03/Z

  37.            1         1075          471848267 /flk_hudi/chdrpf_hudi_test03/a

复制代码

查看当前 hdfs 路径下的文件个数。可以发现由于 bulk_insert 导致小文件非常之多，这会显著影响查询的性能 (一次查询可能要做几千个 IO 操作)。

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -count /flk_hudi/chdrpf_hudi_test03/

  2.           43        37452        22269590565 /flk_hudi/chdrpf_hudi_test03
复制代码

Clustering

配置清理策略

使用最简配置方法如下

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ cat /home/hadoop/hudi_clustering/clusteringjob.properties

  2. hoodie.clustering.inline.max.commits=2

  3. hoodie.clustering.plan.strategy.max.num.groups=40
复制代码

添加高级配置项

  1. [hadoop@p0-tklfrna-tklrna-device02 ~]$ cat /home/hadoop/hudi_clustering/clusteringjob.properties

  2. hoodie.clustering.inline=true

  3. hoodie.clustering.inline.max.commits=2

  4. hoodie.clustering.plan.strategy.max.num.groups=40

  5. hoodie.clustering.plan.strategy.target.file.max.bytes=1073741824

  6. hoodie.clustering.plan.strategy.max.bytes.per.group=2147483648

  7. hoodie.clustering.plan.strategy.small.file.limit=629145600
复制代码

Schedule

指定 Clustering 计划。计划制定完毕后 Hudi 对应 hdfs 的 Timeline 中会出现相应时间戳，以供执行计划。

  1. spark-submit \

  2. --master yarn \

  3. --class org.apache.hudi.utilities.HoodieClusteringJob \

  4. hdfs://nameservice1/utility_jars/hudi-utilities-bundle_2.12-0.10.0.jar \

  5. --schedule \

  6. --base-path hdfs://nameservice1/flk_hudi/chdrpf_hudi_test03 \

  7. --table-name chdrpf_hudi_test03 \

  8. --props file:///home/hadoop/hudi_clustering/clusteringjob.properties \

  9. --spark-memory 16g \

  10. > /home/hadoop/hudi_clustering/clusteringjob.log 2>&1
复制代码

查看 Hdfs 中的 Hudi 的 Timeline 获取时间戳。文件后缀为 replacecommit.requested 的时间戳即为我们需要的时间戳。复制我们需要的 20220826105913373，以便下一步粘贴。

  1. [hadoop@p0-tklfrna-tklrna-device02 ~]$ hdfs dfs -ls /flk_hudi/chdrpf_hudi_test03/.hoodie/

  2. Found 407 items

  3. drwxr-xr-x   - hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/.aux

  4. drwxr-xr-x   - hadoop supergroup          0 2022-08-26 14:53 /flk_hudi/chdrpf_hudi_test03/.hoodie/.temp

  5. -rw-r--r--   3 hadoop supergroup   18596070 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.commit

  6. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.commit.requested

  7. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.inflight

  8. -rw-r--r--   3 hadoop supergroup   14041389 2022-08-26 10:16 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.commit

  9. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.commit.requested

  10. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.inflight

  11. ...

  12. -rw-r--r--   3 hadoop supergroup    5685565 2022-08-26 10:59 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826105913373.replacecommit.requested

  13. ...
复制代码

Execute

Clustering 执行需要使用刚才的时间戳配置 --instant-time 20220826105913373 于命令中即可执行。

  1. spark-submit \

  2. --master yarn \

  3. --class org.apache.hudi.utilities.HoodieClusteringJob \

  4. hdfs://nameservice1/utility_jars/hudi-utilities-bundle_2.12-0.10.0.jar \

  5. --instant-time 20220826105913373 \

  6. --base-path hdfs://nameservice1/flk_hudi/chdrpf_hudi_test03 \

  7. --table-name chdrpf_hudi_test03 \

  8. --props file:///home/hadoop/hudi_clustering/clusteringjob.properties \

  9. --spark-memory 16g \

  10. > /home/hadoop/hudi_clustering/clusteringjob_execution.log 2>&1
复制代码

文件聚类完毕后

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -count /flk_hudi/chdrpf_hudi_test03/*

  2.            7           10           39759457 /flk_hudi/chdrpf_hudi_test03/.hoodie

  3.            1         1068          644693330 /flk_hudi/chdrpf_hudi_test03/1

  4.            1         1072          912384991 /flk_hudi/chdrpf_hudi_test03/2

  5.            1         1073          783040567 /flk_hudi/chdrpf_hudi_test03/3

  6.            1         1073          535431665 /flk_hudi/chdrpf_hudi_test03/4

  7.            1         1070          938545286 /flk_hudi/chdrpf_hudi_test03/5

  8.            1         1068          676230669 /flk_hudi/chdrpf_hudi_test03/6

  9.            1         1064          625387487 /flk_hudi/chdrpf_hudi_test03/7

  10.            1         1071          494572949 /flk_hudi/chdrpf_hudi_test03/8

  11.            1         1072          675599389 /flk_hudi/chdrpf_hudi_test03/A

  12.            1         1072          643710911 /flk_hudi/chdrpf_hudi_test03/B

  13.            1         1069         1056860522 /flk_hudi/chdrpf_hudi_test03/C

  14.            1         1065          940690081 /flk_hudi/chdrpf_hudi_test03/D

  15.            1         1068          563929957 /flk_hudi/chdrpf_hudi_test03/E

  16.            1         1071          606406555 /flk_hudi/chdrpf_hudi_test03/F

  17.            1         1077          589463777 /flk_hudi/chdrpf_hudi_test03/G

  18.            1         1072          682564783 /flk_hudi/chdrpf_hudi_test03/H

  19.            1         1077          529816271 /flk_hudi/chdrpf_hudi_test03/I

  20.            1         1069          712917512 /flk_hudi/chdrpf_hudi_test03/J

  21.            1         1069          514668751 /flk_hudi/chdrpf_hudi_test03/K

  22.            1         1068          550874973 /flk_hudi/chdrpf_hudi_test03/L

  23.            1         1061          495250431 /flk_hudi/chdrpf_hudi_test03/M

  24.            1         1055          716887761 /flk_hudi/chdrpf_hudi_test03/N

  25.            1         1078          612144859 /flk_hudi/chdrpf_hudi_test03/O

  26.            1         1077          679350316 /flk_hudi/chdrpf_hudi_test03/P

  27.            1         1070          586176818 /flk_hudi/chdrpf_hudi_test03/Q

  28.            1         1073          625760986 /flk_hudi/chdrpf_hudi_test03/R

  29.            1         1068          603042997 /flk_hudi/chdrpf_hudi_test03/S

  30.            1         1060          576062292 /flk_hudi/chdrpf_hudi_test03/T

  31.            1         1064          555764103 /flk_hudi/chdrpf_hudi_test03/U

  32.            1         1071          598050377 /flk_hudi/chdrpf_hudi_test03/V

  33.            1         1066          532588113 /flk_hudi/chdrpf_hudi_test03/W

  34.            1         1069          494606809 /flk_hudi/chdrpf_hudi_test03/X

  35.            1         1079          527128056 /flk_hudi/chdrpf_hudi_test03/Y

  36.            1         1068          477378497 /flk_hudi/chdrpf_hudi_test03/Z

  37.            1         1075          471848267 /flk_hudi/chdrpf_hudi_test03/a

复制代码

运行清理

在进行完 Clustering 操作后，很多小文件都被合并进大文件了。由于 Hudi 不会主动删除过期和不必要的文件，因此需要利用手动清理策略来对过期文件进行清理删除。

清理策略的配置文件

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ cat /home/hadoop/hudi_clustering/hudi_cleaning.properties 

  2. # hudi_cleaning.properties

  3. 

  4. # When enabled, the cleaner table service is invoked immediately after each commit, to delete older file slices

  5. hoodie.clean.automatic=true

  6. 

  7. # Only applies when hoodie.clean.automatic is turned on. 

  8. # When turned on runs cleaner async with writing, which can speed up overall write performance.

  9. hoodie.clean.async=true

  10. 

  11. # # This policy has the effect of keeping N number of file versions irrespective of time. 

  12. # # This policy is useful when it is known how many MAX versions of the file does one want to keep at any given time.

  13. # # hoodie.cleaner.policy=KEEP_LATEST_COMMITS

  14. hoodie.cleaner.policy=KEEP_LATEST_COMMITS

  15. 

  16. # # Number of commits to retain, without cleaning.

  17. # # This will be retained for num_of_commits * time_between_commits (scheduled).

  18. # # hoodie.cleaner.commits.retained=3

  19. # When KEEP_LATEST_FILE_VERSIONS cleaning policy is used, 

  20. # the minimum number of file slices to retain in each file group, during cleaning.

  21. hoodie.cleaner.commits.retained=1

  22. 

  23. # When set to true, cleaner also deletes the bootstrap base file when it's skeleton base file is cleaned.

  24. hoodie.cleaner.delete.bootstrap.base.file=false

  25. # Only if the log file size is greater than the threshold in bytes, the file group will be compacted.

  26. 

  27. hoodie.commits.archival.batch=60

  28. 

  29. hoodie.archive.merge.small.file.limit.bytes=104857600

  30. # When set to true, compaction service is triggered after each write. 

  31. # While being simpler operationally, this adds extra latency on the write path.

  32. hoodie.compact.inline=false

  33. 

  34. hoodie.parquet.small.file.limit=124857600

  35. 

  36. hoodie.cleaner.parallelism=800

  37. 

  38. hoodie.cleaner.incremental.mode=true

  39. 

  40. # Archiving service moves older entries from timeline into an archived log after each write, 

  41. # to keep the metadata overhead constant, even as the table size grows

  42. hoodie.keep.max.commits=3

  43. hoodie.keep.min.commits=2

复制代码

利用命令执行清理策略

  1. spark-submit \

  2. --class org.apache.hudi.utilities.HoodieCleaner \

  3. hdfs://nameservice1/utility_jars/hudi-utilities-bundle_2.12-0.10.0.jar \

  4. --props file:///home/hadoop/hudi_clustering/hudi_cleaning.properties \

  5. --target-base-path hdfs://nameservice1/flk_hudi/chdrpf_hudi_test03 \

  6. > /home/hadoop/hudi_clustering/clusteringjob_cleaning.log 2>&1
复制代码

接流处理任务

此时，可以将流处理任务接至该 Hudi 表中。文件清理的效果会在 Hudi 接流后显现。

清理后文件个数

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -count /flk_hudi/chdrpf_hudi_test03/*          39         2818           61047630 /flk_hudi/chdrpf_hudi_test03/.hoodie

  2.            1            5          295730057 /flk_hudi/chdrpf_hudi_test03/1

  3.            1            5          581449403 /flk_hudi/chdrpf_hudi_test03/2

  4.            1            5          541564433 /flk_hudi/chdrpf_hudi_test03/3

  5.            1            5          113526185 /flk_hudi/chdrpf_hudi_test03/4

  6.            1            5          819123981 /flk_hudi/chdrpf_hudi_test03/5

  7.            1            5          361258893 /flk_hudi/chdrpf_hudi_test03/6

  8.            1            4          205559110 /flk_hudi/chdrpf_hudi_test03/7

  9.            1            4           33721101 /flk_hudi/chdrpf_hudi_test03/8

  10.            1            5          352884732 /flk_hudi/chdrpf_hudi_test03/A

  11.            1            5          294248033 /flk_hudi/chdrpf_hudi_test03/B

  12.            1            5          771533591 /flk_hudi/chdrpf_hudi_test03/C

  13.            1            5          614827884 /flk_hudi/chdrpf_hudi_test03/D

  14.            1            5          157676833 /flk_hudi/chdrpf_hudi_test03/E

  15.            1            5          226004511 /flk_hudi/chdrpf_hudi_test03/F

  16.            1            5          198656601 /flk_hudi/chdrpf_hudi_test03/G

  17.            1            5          372307018 /flk_hudi/chdrpf_hudi_test03/H

  18.            1            5           97041611 /flk_hudi/chdrpf_hudi_test03/I

  19.            1            5          427390894 /flk_hudi/chdrpf_hudi_test03/J

  20.            1            5           78296341 /flk_hudi/chdrpf_hudi_test03/K

  21.            1            5          136428423 /flk_hudi/chdrpf_hudi_test03/L

  22.            1            5           53218521 /flk_hudi/chdrpf_hudi_test03/M

  23.            1            5          439899957 /flk_hudi/chdrpf_hudi_test03/N

  24.            1            5          242278011 /flk_hudi/chdrpf_hudi_test03/O

  25.            1            5          357549763 /flk_hudi/chdrpf_hudi_test03/P

  26.            1            5          200702230 /flk_hudi/chdrpf_hudi_test03/Q

  27.            1            5          265952714 /flk_hudi/chdrpf_hudi_test03/R

  28.            1            5          229783530 /flk_hudi/chdrpf_hudi_test03/S

  29.            1            5          191817537 /flk_hudi/chdrpf_hudi_test03/T

  30.            1            5          151138760 /flk_hudi/chdrpf_hudi_test03/U

  31.            1            5          221236895 /flk_hudi/chdrpf_hudi_test03/V

  32.            1         4112         2060894265 /flk_hudi/chdrpf_hudi_test03/W

  33.            1         4117         1910706738 /flk_hudi/chdrpf_hudi_test03/X

  34.            1         4169         2042792364 /flk_hudi/chdrpf_hudi_test03/Y

  35.            1         2221          995253322 /flk_hudi/chdrpf_hudi_test03/Z

  36.            1         1075          472877437 /flk_hudi/chdrpf_hudi_test03/a

复制代码

可以看到每个分区内的小文件已经被聚合成大文件，并随着流数据的进入，文件数量的增长速度也在合理范围内。

Ps: 我们把后几个分区作为对照组没有进行文件聚合。可以通过在 Clustering 的配置文件中调大 hoodie.clustering.plan.strategy.max.num.groups=30 的值来增加 SparkJob 的 parallelism 从而把所有分区涵盖进行，进行文件聚合。

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -count /flk_hudi/chdrpf_hudi_test03/

  2.           76        19050        17396389394 /flk_hudi/chdrpf_hudi_test03
复制代码

Timeline 观察

20220826105913373.replacecommit表示进行完毕聚类操作的时刻

20220826114108591.clean表示进行完毕清理操作的时刻

20220826114317026.commit表示进行完毕新数据写入操作的时刻

  1. [hadoop@p0-tklfrna-tklrna-device02 hudi_clustering]$ hdfs dfs -ls /flk_hudi/chdrpf_hudi_test03/.hoodie

  2. Found 30 items

  3. drwxr-xr-x   - hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/.aux

  4. drwxr-xr-x   - hadoop supergroup          0 2022-08-26 11:46 /flk_hudi/chdrpf_hudi_test03/.hoodie/.temp

  5. -rw-r--r--   3 hadoop supergroup   18596070 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.commit

  6. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.commit.requested

  7. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:10 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101036547.inflight

  8. -rw-r--r--   3 hadoop supergroup   14041389 2022-08-26 10:16 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.commit

  9. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.commit.requested

  10. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 10:14 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826101404432.inflight

  11. -rw-r--r--   3 hadoop supergroup    1435895 2022-08-26 11:09 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826105913373.replacecommit

  12. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:03 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826105913373.replacecommit.inflight

  13. -rw-r--r--   3 hadoop supergroup    5685565 2022-08-26 10:59 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826105913373.replacecommit.requested

  14. -rw-r--r--   3 hadoop supergroup    1009885 2022-08-26 11:37 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113342082.commit

  15. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:33 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113342082.commit.requested

  16. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:33 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113342082.inflight

  17. -rw-r--r--   3 hadoop supergroup    3811303 2022-08-26 11:40 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113740364.commit

  18. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:37 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113740364.commit.requested

  19. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:37 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826113740364.inflight

  20. -rw-r--r--   3 hadoop supergroup    2940587 2022-08-26 11:43 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114026452.commit

  21. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:40 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114026452.commit.requested

  22. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:40 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114026452.inflight

  23. -rw-r--r--   3 hadoop supergroup    5005100 2022-08-26 11:41 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114108591.clean

  24. -rw-r--r--   3 hadoop supergroup    4260649 2022-08-26 11:41 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114108591.clean.inflight

  25. -rw-r--r--   3 hadoop supergroup    4260649 2022-08-26 11:41 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114108591.clean.requested

  26. -rw-r--r--   3 hadoop supergroup    2867542 2022-08-26 11:46 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114317026.commit

  27. -rw-r--r--   3 hadoop supergroup          0 2022-08-26 11:43 /flk_hudi/chdrpf_hudi_test03/.hoodie/20220826114317026.commit.requested

复制代码





最新经典文章，欢迎关注公众号



---------------------

作者：大数据技术与架构
来源：weixin
原文：Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件过多的问题

回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
fc013

超级版主

关注

  • 558

    主题

  • 560

    帖子

  • 76

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000