您的位置:首页 >创新 >

AWS基于自行开发的晶片技术推出更多Arm架构及用于推论处理的执行个体服务

时间:2023-04-01 15:31:15 来源:[db:来源]

原标题:AWS基于自行开发的晶片技术推出更多Arm架构及用于推论处理的执行个体服务

【美国拉斯维加斯现场报导】以云端服务起家的AWS,近年来开始投入硬体晶片的开发,并且以此推出执行个体服务(instance)。

例如,他们在去年的re:Invent大会宣布推出Graviton处理器,就是他们所设计的Arm架构晶片,并且基于这颗处理器,在EC2旗下发展出执行个体服务A1,今年他们再接再厉,运用自行设计的第二代Arm架构处理器Graviton2,发展出三套执行个体服务,分别是M6g、C6g、R6g。相较于採用x86处理器架构的M5、R5、C5等执行个体,新推出的三套执行个体的性价比可高出4成。

在硬体架构上,Graviton2处理器包含了64位元的Arm Neoverse核心,以及AWS设计的硅晶片,使用了7奈米製程,每颗核心在科学与高效能运算的工作负载上,可提供2倍的浮点运算效能、额外的记忆体通道、两倍容量的每核心快取,能将记忆体存取速度提升至5倍,整体效能增长至7倍。针对机器学习的推论,这颗处理器也提供最佳化指令集,面对压缩工作负载,它也提供可自定的硬体加速机制。

安全性的部份,Graviton2支援DDR4记忆体全程加密,而在每颗核心加密效能上,可提升50%。

而基于AWS Graviton2的执行个体,在规格上有那些特性?最高可配备64颗 vCPU、25Gb网路,以及18Gbps频宽的EBS云端储存服务,用户可搭配不同的NVMe SSD作为执行个体(例如M6gd、C6gd、R6gd,加上d字表示搭配NVMe本机储存),或选择裸机型态的执行个体。相较于第一代Graviton刚推出时的A1执行个体(16颗vCPU、10Gb网路、3.5 Gbps频宽的EBS),这批新採用Graviton2的执行个体,运算核心提升至4倍,而记忆体存取速度与整体效能的增长,也同于上述Graviton2高于Graviton的幅度。

另一个例子,则是AWS设计的高效能机器学习推论专用晶片Inferentia,在今年的re:Invent大会上,AWS宣布推出基于这个晶片的执行个体Inf1。Inferentia能够针对一些需要极度成本效益的即时与批次推论应用,提供高吞吐量、低延迟性与持久的效能。

一般而言,在面对多个机器学习的框架与多种资料类型时,Inferentia可提供的运算力是128 TOPS,而每个Inf1的执行个体当中,最高可达到2,000 TOPS。若相较于EC2旗下同样可执行推论处理的GPU执行个体G4,Inf1在进行推论作业时,可得到较低的延迟度,吞吐量能达到3倍之高,更重要的是,单位推论成本(cost-per-inference)也少了4成,AWS认为,综观目前提供机器学习推论的云端服务项目当中,Inf1可说是成本最低的执行个体。

 


郑重声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。