出品｜搜狐科技

作家｜常博硕

裁剪｜杨锦

近日，亚马逊云科技（AWS）精良推出了新一代自研AI芯片Trainium 3。动作亚马逊首款3nm制程的AI芯片，Trainium 3由台积电代工坐褥，提供2.52 PFLOPs FP8算力，内存容量较前代加多1.5倍、带宽栽植1.7倍，搭载它的Trn3 UltraServer系统能效较前代提高40%。

据亚马逊AWS首席实行官马特·加曼（Matt Garman）示意，Trainium 3的筹划才智较Trainium 2有了大幅栽植。

挑战英伟达AI芯片的最强一击

近十年来，跟着生成式东谈主工智能和以Transformer架构为中枢的大言语模子的爆发，算力需求也在不断增长。在这种配景下，芯片渐渐成为云服务商竞争的要害。

伸开剩余82%

Trainium 3动作AWS首款继承3纳米工艺制造的AI芯片，它在性能密度、能效比和互联带宽上比拟前代齐达成了质的飞跃。

据AWS官方数据，搭载Trainium 3芯片的Trn3 UltraServer系统在磨练和推感性能上齐达成了显贵栽植。比拟第二代居品，新系统速率栽植跳跃4倍，内存容量加多4倍。

每颗Trainium 3芯片提供2.52千万亿次浮点运算(PFLOPs)的FP8算力，内存容量较上代加多1.5倍至144GB HBM3e，内存带宽栽植1.7倍至4.9TB/s。单台完好竖立的Trn3 UltraServer可容纳144颗芯片，总算力达362 PFLOPS，并提供高达20.7TB的HBM3e内存和706TB/s的团员内存带宽。

在能效方面，Trn3 UltraServer的能效比前代居品提高40%，性能功耗比栽植4倍。在Amazon Bedrock平台上，Trainium 3性能较Trainium 2栽植了3倍，每兆瓦输出token数目加多跳跃5倍，且蔓延水平尽头。

关于亚马逊来说，显著他们但愿进一步招引寻求性价比的公司。公司声称，Trainium芯片能以比英伟达阛阓首先的图形贬责单位（GPU）更便宜和高效的表情为AI模子背后的密集筹划提供能源。AWS的副总裁戴夫布朗（Dave Brown）也示意：“咱们对Trainium达成正确的价钱性能比的才智感到尽头随和。”

细数一下，亚马逊的造芯之路其实也曾长达十年。

2015年，亚马逊收购了以色列芯片蓄意公司Annapurna Labs。此次收购是亚马逊精良具备高端芯片自研才智的要害，Annapurna Labs 随后成为了AWS所有自研芯片的中枢研发团队。

Annapurna 的首个要紧孝敬等于AWS Nitro系统。在传统的服务器架构中，诬捏化功能由CPU上的软件达成。而Nitro系统的核热情念是将这些功能“卸载”到专用的硬件卡上。Nitro系统本色上不错看作是一个通用的底座，岂论是Intel或AMD的x86贬责器，照旧自后AWS自研的Graviton贬责器齐不错像乐高积木相同插在Nitro底座上运行。

在Nitro取得全面得胜后，2018年AWS发布了基于Arm架构的Graviton贬责器。通过剔除x86架构中好多云场景不常用的提醒集服务，Graviton1、2、3乃至最新的Graviton4，在Web服务、数据库等典型云服务负载中，齐提供了比同代x86贬责器更高的性价比。

亦然2018年，亚马逊运转进犯AI规模，AWS推出了首款AI芯片Inferentia。Inferentia1并不追求极致的单卡性能，而是专注于低蔓延和低资本，特殊顺应贬责Batch Size较小的及时申请。

Trainium 系列芯片是AWS在AI磨练芯片上的重心。2020年，AWS精良干涉AI磨练规模发布Trainium 1，固然在统统性能上无法匹敌其时的Nvidia A100，但在性价比上提供了有劲的竞争选项，特殊是在NLP模子的微调上。

自后，跟着生成式AI的爆发，2023年芯片进一步升级，Anthropic等中枢客户也运转大限制继承Trainium2进行模子磨练。

到2025年，Trainium3算是AWS造芯策略的集大成者，在制程上追平了业界最顶尖水平，也在系统架构上展现了与英伟达全面抗衡的无餍。

Trainium3的中枢筹划单位是第四代NeuronCore（NeuronCore-v4）。与NVIDIA GPU中的Streaming Multiprocessor访佛，每个NeuronCore里面继承异构实行单位蓄意，有益针对深度学习尤其是Transformer架构优化。由于无需撑捏图形渲染功能，其芯片资源也不错更连合地用于矩阵运算与模子磨练。

新AI芯片的音信公布后，今日亚马逊股价濒临239好意思元刷新日高，日内涨幅扩大到快要2.2%，而盘初曾涨3.2%的英伟达股价进一步收窄涨幅，好意思股早盘尾声时刷新日低，险些抹平所有涨幅。其竞争敌手AMD的股价日内跌近1.7%。

亦敌亦友

亚马逊近日也预报了正在成立中的Trainium 4芯片。据了解，这款下一代居品将带来性能的要紧跃升，并将撑捏英伟达的NVLink Fusion高速芯片互联时期。

这项时期大要达成不同类型芯片之间的高速联贯，以及不同服务器之间的快速通讯，现在已知英特尔、高通齐是该时期的使用者。

通过引入NVLink Fusion，AWS得以构建限制更大、适用性更强的AI服务器，进一步提高互联互通才智，再次推高部署才智的上限，匡助客户更好地磨练大模子。

在无法快速达成芯片替代的情况下，关于AWS来说，引入英伟达时期大要匡助那些依赖英伟达服务负载的企业更唐突地缓缓搬动到Trainium基础顺序中。

英伟达CEO黄仁勋则示意，英伟达和AWS将联袂打造AI产业翻新的筹划架构，加快宇宙迈向智能化的谈路。

尽管硬件性能强劲，但与英伟达比拟，AWS芯片零落匡助客户快速部署的深度软件库。现在Anthropic是AWS芯片的主要客户， AWS本年早些时分示意，已将跳跃50万颗芯片串联起来匡助Anthropic磨练最新模子，并规划在年底前为这家OpenAI的头号竞争敌手提供100万颗芯片。

不外，据外媒报谈Anthropic同期也在使用谷歌的TPU（张量贬责单位），并在本年早些时分与谷歌达成条约，取得了价值数百亿好意思元的筹划资源。

除Anthropic外，亚马逊并未公布其他如Anthropic这么限制的客户。无人不晓，在半导体规模硬件仅仅入场券，软件生态才是护城河。英伟达之是以难以撼动，也主要归功于CUDA及基于其上的弘大软件库。

针对这少量甲级职业联赛竞猜，AWS也在悉力追平，同意通过AWS Neuron SDK和原生PyTorch集成，让成立者无需改革任何模子代码即可进行磨练和部署，试图以此削弱与英伟达的软件生态差距。

发布于：北京市