AWS基于自行开发的晶片技术推出更多Arm架构及用于推论处理的执行个体服务
原标题:AWS基于自行开发的晶片技术推出更多Arm架构及用于推论处理的执行个体服务
【美国拉斯维加斯现场报导】以云端服务起家的AWS,近年来开始投入硬体晶片的开发,并且以此推出执行个体服务(instance)。
例如,他们在去年的re:Invent大会宣布推出Graviton处理器,就是他们所设计的Arm架构晶片,并且基于这颗处理器,在EC2旗下发展出执行个体服务A1,今年他们再接再厉,运用自行设计的第二代Arm架构处理器Graviton2,发展出三套执行个体服务,分别是M6g、C6g、R6g。相较于採用x86处理器架构的M5、R5、C5等执行个体,新推出的三套执行个体的性价比可高出4成。
在硬体架构上,Graviton2处理器包含了64位元的Arm Neoverse核心,以及AWS设计的硅晶片,使用了7奈米製程,每颗核心在科学与高效能运算的工作负载上,可提供2倍的浮点运算效能、额外的记忆体通道、两倍容量的每核心快取,能将记忆体存取速度提升至5倍,整体效能增长至7倍。针对机器学习的推论,这颗处理器也提供最佳化指令集,面对压缩工作负载,它也提供可自定的硬体加速机制。
安全性的部份,Graviton2支援DDR4记忆体全程加密,而在每颗核心加密效能上,可提升50%。
而基于AWS Graviton2的执行个体,在规格上有那些特性?最高可配备64颗 vCPU、25Gb网路,以及18Gbps频宽的EBS云端储存服务,用户可搭配不同的NVMe SSD作为执行个体(例如M6gd、C6gd、R6gd,加上d字表示搭配NVMe本机储存),或选择裸机型态的执行个体。相较于第一代Graviton刚推出时的A1执行个体(16颗vCPU、10Gb网路、3.5 Gbps频宽的EBS),这批新採用Graviton2的执行个体,运算核心提升至4倍,而记忆体存取速度与整体效能的增长,也同于上述Graviton2高于Graviton的幅度。
另一个例子,则是AWS设计的高效能机器学习推论专用晶片Inferentia,在今年的re:Invent大会上,AWS宣布推出基于这个晶片的执行个体Inf1。Inferentia能够针对一些需要极度成本效益的即时与批次推论应用,提供高吞吐量、低延迟性与持久的效能。
一般而言,在面对多个机器学习的框架与多种资料类型时,Inferentia可提供的运算力是128 TOPS,而每个Inf1的执行个体当中,最高可达到2,000 TOPS。若相较于EC2旗下同样可执行推论处理的GPU执行个体G4,Inf1在进行推论作业时,可得到较低的延迟度,吞吐量能达到3倍之高,更重要的是,单位推论成本(cost-per-inference)也少了4成,AWS认为,综观目前提供机器学习推论的云端服务项目当中,Inf1可说是成本最低的执行个体。
-
Google将推出为计算密集工作最佳化的C2 VM
2023-03-02 -
个体怎么申报(注册个体营业执照)
2023-02-16 -
怎么查营业执照(个人营业执照办理)
2022-12-06 -
Google更新App EngineRuntime记忆体容量再加倍
2022-11-03 -
如何发展经济(如何发展当地经济面试)
2022-07-26 -
微软推出不具暂时储存仅使用远端磁碟的Azure虚拟机器
2022-07-10 -
Redis Labs完成6,000万美元E轮融资
2022-06-25 -
AWS发表搭载Nvidia A100 GPU的P4执行个体
2022-06-16 -
基于GPU运算平台RAPIDS的查询引擎BlazingSQL现对外开源
2022-06-10 -
无店铺怎么上美团外卖(在家做外卖怎么办理营业执照)
2022-05-18 -
IBM释出Power10晶片内建矩阵数学运算加速器可提升AI深度学习处理效能
2022-05-11 -
AWS释出使用Graviton2处理器的EC2爆量效能执行个体T4g
2022-04-25 -
MemSQL记忆体关联资料库开放免费使用最高可至128GB记忆体
2022-04-20 -
Realme C3s推出迫在眉睫,因为它袋子NBTC认证
2021-12-01