分享

Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA

问题导读


1.Yarn Service是用来做什么的?
2.YARN 是否支持基于 GPU 的调度和隔离?
3.对于资源的配置如内存数量、vcore 核数、GPU等,做了什么改变?






Hadoop 3.1.0 版本带来的重大变化简要介绍如下:
1.jpg

  • Yarn Service 服务框架为在 YARN 上长期运行的服务提供支持,作为一个容器编配平台来管理运行在 YARN 上那些被容器化的服务,支持 Docker 容器和传统容器。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/yarn-service/Overview.html
  • YARN 支持基于 GPU 的调度和隔离(Docker 和非 Docker 容器)。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingGpus.html
  • YARN 支持基于 FPGA 的调度和隔离(Docker 和非 Docker 容器)。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingFPGA.html
  • 在 YARN 中支持更多的配置约束。这些约束对于应用程序的性能和弹性至关重要,尤其是那些包含长期运行容器的应用程序,如服务、机器学习和流式工作负载。在同一机架上调度有关联的任务(相似性约束)可以降低网络成本,在机器之间分配任务(反亲和约束)以便降低资源干扰,或者限定特定节点组的任务数量(基数约束)以在两者之间取得平衡。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/PlacementConstraints.html
  • 支持管理员为队列指定具体数目的资源(比如具体的内存数量、vcore 核数、GPU 等),而不是提供基于百分比的值,这让管理员能够更好地控制给定队列配置所需的资源。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
  • 3.1.0 提供的存储允许将存储在 HDFS 之外的数据映射到 HDFS,并从 HDFS 进行寻址。这是一种异构存储,通过向 DataNode 中引入新的存储类型 PROVIDED 来实现。

    详情参见:
    http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-hdfs/HdfsProvidedStorage.html




其它更新

3.1.0 版本中,Hadoop 社区修复了 768 个在 JIRA 记录的问题(https://s.apache.org/apache-hadoop-3.1.0-all-tickets),包括:

  • 与 Hadoop Common 有关的 141 个 ,其中包括 S3/S3A/S3Guard 相关改进

  • 与 HDFS 有关的 266 个

  • 与 YARN 有关的 329 个

  • 与 MapReduce 有关的 32 个


更多改动参见官方 Release Notes:

http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/RELEASENOTES.3.1.0.html

Hadoop 老矣?

1.png

Gartner 在 2017 年 9 月发布的一份关于数据管理的技术成熟度曲线显示,由于整个 Hadoop 堆栈的复杂性和可用性问题,许多组织已经开始重新考虑其在信息基础架构中的角色。Gartner 认为,Hadoop 已发行版本已经被淘汰出局,未能进入实质生产的高峰期 (Plateau of Productivity)。与此相对,企业正在寻求其他更有竞争力、更加便捷的基于云的产品。

Hadoop 是否真的老矣?此次 3.1.0 版本发布的几项重大改进,能否给这个老牌大数据平台带来新的活力?你怎么看?

原文链接:

https://lists.apache.org/thread.html/8313e605c0ed0012f134cce9cc6adca738eea81feccea99c8de87cd9@%3Cgeneral.hadoop.apache.org%3E

http://hadoop.apache.org/docs/r3.1.0/index.html

https://www.gartner.com/newsroom/id/3809163

http://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247489653&idx=1&sn=d35f5726ccfda6d4eaedc4cab2192063&chksm=fbe9a1bacc9e28acc44f0102287cf9ff39e2488c6196fc40db3b048c7a8b099979710fcfe1de&mpshare=1&scene=23&srcid=0408LFQiqXaOVQ3i9MdQWLpY#rd




已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条