您的位置:首页 >创新 >

AWS推出採用Nvidia T4 GPU的EC2实例加速AI应用及图形运算

时间:2022-11-28 12:32:12 来源:[db:来源]

原标题:AWS推出採用Nvidia T4 GPU的EC2实例加速AI应用及图形运算

AWS现在更新EC2的G系列实例,新推出採用Nvidia T4 Tensor Core GPU的6个规格G4实例,以及裸机实例,这些实例是专为机器学习的训练和推理、影片转码、游戏串流以及远端绘图工作站应用程式设计,G4目前已经可在全球9个AWS地区开始使用。

G4实例最多能够配置4个Nvidia T4 Tensor Core GPU,每个GPU具有320个Turing Tensor核心、2,560个CUDA核心和16 GB记忆体。T4 GPU除了可以处理机器学习推理、电脑视觉、影片处理和即时自然语言处理外,而且因为拥有RT核心,所以可高效率的进行硬体加速光线追蹤,使用者可以从AWS市集中下载Nvidia Quadro虚拟工作站,执行即时光线追蹤渲染,加快多媒体娱乐和建筑等领域的应用。

G4实例使用由AWS订製的第二代英特尔Xeon可扩展处理器,提供最多64个vCPU,并且建构于AWS Nitro系统之上,Nitro本地端NVMe储存建构区块提供最高达1.8TB容量,而Nitro网路建构模块则支援高速ENA网路。官方提到,英特尔AVX512深度学习增强功能,透过增加一组新的向量神经网路指令(VNNI)扩充了AVX-512,而这些指令加速了推理演算法中,内部迴圈低精度的乘法与加法运算。

最新的AWS Deep Learning AMI(Amazon Machine Image)也已经支援G4实例,官方将g3.16xlarge实例与g4dn.12xlarge实例进行了基準测试,比较两实例使用可扩展深度学习框架MxNet进行推理和训练工作负载的速度,G4速度快了约2倍,而机器学习函式库Tensorflow推理和训练的速度,也快了2倍。基準测试使用FP32数值精度进行运算,官方提到,如果用户使用混合精度FP16以及低精度INT8,则会获得更多的效能加速。

目前G4可以于美东、美西、欧洲和亚太等9个区域使用,AWS提到,他们也将在Amazon SageMaker和Amazon EKS丛集中提供G4。


郑重声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。