设为首页 - 加入收藏 巴彦淖尔网 (http://www.0478zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 代码 苹果 倍投怎么金额怎么算 三星
当前位置: 首页 > 大数据 > 正文

时隔两周,Hadoop 3.1版本发布支持GPU和FPGA

发布时间:2019-03-21 01:49 所属栏目:[大数据] 来源:赵钰莹
导读:【资讯】3月25日,Hadoop 3.0.1版本正式发布,这也让Hadoop正式迈入3.0时代。时隔两周,Apache Hadoop 3.1.0正式发布。与之前的版本(hadoop-3.0)相比,新版本具有许多重要的增强功能,比如支持GPU和FPGA。 不过,新版本暂不推荐在正式生产环境中使用。如果

  【资讯】3月25日,Hadoop 3.0.1版本正式发布,这也让Hadoop正式迈入3.0时代。时隔两周,Apache Hadoop 3.1.0正式发布。与之前的版本(hadoop-3.0)相比,新版本具有许多重要的增强功能,比如支持GPU和FPGA。

  不过,新版本暂不推荐在正式生产环境中使用。如果需要,请等待更稳定的3.1.1或者3.1.2版本。

时隔两周,Hadoop 3.1版本发布支持GPU和FPGA

  以下简要介绍主要功能和改进:

  ·Yarn Service框架提供一流的支持和API来长期运行在YARN中的原生托管服务。简而言之,它作为一个容器管理平台管理YARN上的集装箱化服务,支持YARN中的容器集装箱和传统的基于容器的过程。

  ·YARN上的一流GPU调度和隔离(适用于docker和non-docker containers)。

  ·YARN上的一流FPGA调度和隔离(适用于docker和non-docker containers)。

  ·在YARN中支持更多布局约束。这些约束对于应用程序的性能和弹性至关重要,尤其是那些包含长期运行容器的应用程序,,如服务,机器学习和流式工作负载。

  例如,将同一机器上的任务分配(相似性约束)以降低网络成本,扩展机器之间的分配(非相似性约束)以最小化资源干扰,或者允许达到特定节点组的分配数量(基数约束)以在两者之间取得平衡。放置的位置也会决定弹性。例如,放置在同一可用区域内的集群将同时脱机。

  ·支持管理员为队列指定绝对资源(X内存,Y VCores,Z GPU等),而不是提供基于百分比的值。这让管理员可以更好控制给定队列配置所需的资源量。

  ·提供的存储允许将存储在HDFS之外的数据映射到HDFS并从HDFS进行寻址。它通过向DataNode中的媒体集引入新的存储类型PROVIDED,构建异构存储。

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章