分享

Hadoop3.3新版本发布【整合了腾讯云】

pig2 发表于 2020-7-29 09:03:46 [显示全部楼层] 回帖奖励 倒序浏览 阅读模式 关闭右栏 4 2544
本帖最后由 pig2 于 2020-7-29 09:05 编辑

问题导读

1.Hadoop3.3支持JDK哪个版本?
2.SCM是什么?
3.YARN应用程序做了哪些改进?
4.整合腾讯云实现了什么文件系统?

1.支持ARM
这是第一个支持ARM的版本。

2.Protobuf从2.5.0升级到新版本
Protobuf从2.5.0升级到3.7.1

3.支持Java11
支持Java11

4.支持模拟AuthenticationFilter过滤器
外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。 最好在AuthenticationFilter或类似的扩展中支持模拟机制。

不推荐使用httpfs.authentication.*配置,在HttpFS中使用hadoop.http.authentication.*配置。 如果同时设置了两个配置,则httpfs.authentication.*配置对兼容有效。
更详细可查看
https://issues.apache.org/jira/browse/HDFS-14845

5.s3A增强功能
S3A代码的很多增强功能,包括支持委托令牌,对404缓存的更好处理,S3guard性能,弹性改进

6.ABFS增强功能
调整需要调整的内容,并在适当的地方添加更多测试。 改善文档,尤其是故障排除。
比如修复支持Server Name Indication (SNI).
ABFS FileStatus.getModificationTime返回本地化时间而不是UTC


7.HDFS RBF稳定化
HDFS Router现在支持安全性。 还包含许多错误修复和改进。

RBF是基于路由的联邦方案简称

8.在HDFS缓存指令中支持非易失性存储类内存(SCM)。
旨在首先在读取缓存中启用存储类内存。 尽管存储类内存具有非易失性特征,但是为了保持与当前只读缓存相同的行为,我们目前不使用其持久性特征。

SCM一种新型内存

9.YARN应用程序的应用程序目录
应用程序目录系统,为YARN应用程序提供编辑和搜索界面。 这提高了YARN在管理应用程序生命周期中的可用性。

10.整合腾讯云COS文件系统
腾讯云是中国市场上排名第二的云供应商,对象存储COS已在中国云用户中广泛使用。 该任务实现了一个COSN文件系统,以在Hadoop中原生支持腾讯云COS。

11.opportunistic容器的调度
opportunistic容器调度是通过中央RM(YARN-5220),分布式调度(YARN-2877)以及基于实际节点利用率(YARN-1011)和容器提升/降级(YARN-5085)的容器调度来调度 。


更多详细内容可查看官网
http://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-common/release/3.3.0/RELEASENOTES.3.3.0.html




获取更多资源:
领取100本书+1T资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26480

大数据5个项目视频
http://www.aboutyun.com/forum.php?mod=viewthread&tid=25235

名企资源、名企面试题、最新BAT面试题、专题面试题等资源汇总
https://www.aboutyun.com/forum.php?mod=viewthread&tid=27732


名企资源、名企面试题、最新BAT面试题、专题面试题等资源汇总
https://www.aboutyun.com/forum.php?mod=viewthread&tid=27732


本帖被以下淘专辑推荐:

已有(5)人评论

跳转到指定楼层
林下焚火 发表于 2020-8-21 09:37:37
可以,支持腾讯云cos了

点评

顶一下,谢谢楼主分享!  发表于 2020-11-24 19:06
回复

使用道具 举报

joyray 发表于 2020-11-24 19:07:36
顶一下,谢谢楼主分享!
回复

使用道具 举报

joyray 发表于 2020-11-27 10:14:01
不错不错,下载一个试有一下。
回复

使用道具 举报

wendylanbest 发表于 2021-1-16 19:45:17

顶一下,谢谢楼主分享!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /5 下一条