華為首次展出“算力核彈”！昇騰384超節(jié)點(diǎn)獲評WAIC 2025鎮(zhèn)館之寶

  ICC訊 7月28日消息，日前，2025世界人工智能大會(WAIC)在上海開幕，華為首次展出被稱為“算力核彈”的昇騰384超節(jié)點(diǎn)真機(jī)，即Atlas 900 A3 SuperPoD。

  華為表示，昇騰384超節(jié)點(diǎn)被評選為本次WAIC 2025鎮(zhèn)館之寶。昇騰384超節(jié)點(diǎn)通過高速互聯(lián)總線，突破互聯(lián)瓶頸，讓超節(jié)點(diǎn)像一臺計(jì)算機(jī)一樣工作。

  相比傳統(tǒng)集群，主要有以下3大優(yōu)勢：

  超大帶寬

  超節(jié)點(diǎn)內(nèi)任意兩個AI處理器之間通信帶寬，相較于傳統(tǒng)架構(gòu)提升15倍，超節(jié)點(diǎn)內(nèi)單跳時(shí)延降低10倍。

  超低時(shí)延

  昇騰超節(jié)點(diǎn)支持全局內(nèi)存統(tǒng)一編址，具備更高效的內(nèi)存語義通信能力。通過更低時(shí)延指令級內(nèi)存語義通信，可滿足大模型訓(xùn)練/推理中的小包通信需求，提升專家網(wǎng)絡(luò)小包數(shù)據(jù)傳輸及離散隨機(jī)訪存通信效率。

  昇騰384超節(jié)點(diǎn)是業(yè)界唯一突破Decode時(shí)延15ms的方案，滿足實(shí)時(shí)深度思考下的用戶體驗(yàn)需求。

  超強(qiáng)性能

  經(jīng)過實(shí)際測試，在昇騰超節(jié)點(diǎn)集群上，LLaMA3等千億稠密模型訓(xùn)練性能可達(dá)傳統(tǒng)集群的2.5倍以上。

  在通信占比更高的Qwen、DeepSeek等多模態(tài)、MoE模型上，可以達(dá)到3倍以上的提升。

  據(jù)了解，昇騰384超節(jié)點(diǎn)首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡(luò)MatrixLink全對等互聯(lián)，形成一臺超級“AI服務(wù)器”，其算力總規(guī)模達(dá)300Pflops，是英偉達(dá)NVL72的1.7倍。

  網(wǎng)絡(luò)互聯(lián)總帶寬達(dá)269TB/s，比英偉達(dá)NVL72提升107%;內(nèi)存總帶寬達(dá)1229TB/s，比英偉達(dá)NVL72提升113%;單卡推理吞吐量躍升到2300 Tokens/s。