《電子技術應用》
您所在的位置:首頁 > 人工智能 > 解決方案 > 華為展示CloudMatrix 384超級AI服務器

華為展示CloudMatrix 384超級AI服務器

推理效率超NV H100! 384顆昇騰NPU+192顆鯤鵬CPU全對等互聯
2025-07-01
來源:快科技

7月1日消息,前不久,華為創始人任正非接受《人民日報》采訪時為中國芯片指路——芯片問題其實沒必要擔心,用疊加和集群等方法,計算結果上與最先進水平是相當的。

他坦言,我們單芯片還是落后美國一代,我們用數學補物理、非摩爾補摩爾,用群計算補單芯片,在結果上也能達到實用狀況。

任正非認為,中國在中低端芯片上是可以有機會的,中國數十、上百家芯片公司都很努力。特別是化合物半導體機會更大。硅基芯片,我們用數學補物理、非摩爾補摩爾,利用集群計算的原理,可以達到滿足我們現在的需求。

那華為是怎么做的呢?

1.jpg

日前,華為云官微通過一段視頻展示了CloudMatrix 384超節點算力集群的威力——

384顆昇騰NPU(昇騰910C)+192顆鯤鵬CPU全對等互聯,形成一臺“超級AI服務器”;

業界最大單卡推理吞吐量——2300Tokens/s;

業界最大集群算力——16萬卡,萬卡線性度高達95%;

云上確定性運維-40天長穩訓練、10分鐘快速恢復。

華為云表示,新一代昇騰AI云服務,是最適合大模型應用的算力服務。

2.jpg

3.jpg

4.jpg

此前,華為還發布了一一篇60頁的重磅論文,提出了他們的下一代AI數據中心架構設計構想——Huawei CloudMatrix,以及該構想的第一代產品化的實現CloudMatrix384。

簡單來說,華為CloudMatrix并非簡單的“堆卡”,而是通過高帶寬全對等互聯(Peer-to-Peer)來設計,這也是CloudMatrix 384硬件架構的一大創新。

傳統的AI集群中,CPU相當于公司領導的角色,NPU等其它硬件更像是下屬,數據傳輸的過程中就需要CPU審批和簽字,效率就會大打折扣。

但在CloudMatrix384中,CPU和NPU等硬件更像是一個扁平化管理的團隊,它們之間的地位比較平等,直接通過UB網絡通信直接對話,效率自然就上來了。

另外,論文還介紹了基于CloudMatrix384進行DeepSeek推理的最佳實踐方案——CloudMatrix-Infer。

5.jpg

6.jpg

從官方給出的案例來看,CloudMatrix384預填充吞吐量達6688 token/s/NPU,解碼階段1943 token/s/NPU;計算效率方面,預填充達4.45 token/s/TFLOPS,解碼階段1.29 token/s/TFLOPS,均超過NVIDIA H100/H800上實現的性能。


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 亚洲精品国产品国语在线| 国产成人精品实拍在线| 中文字幕视频在线播放| 欧美精品videosex极品| 同学麻麻下面好紧第一次| 日本a免费观看| 在线观看高嫁肉柳1一4集中文| 久久人人爽人人爽大片aw | 五月婷婷伊人网| 特级毛片爽www免费版| 宅宅午夜亚洲精品| 么公又大又硬又粗又爽视频 | 精品伊人久久大香线蕉网站| 国产成人8X视频网站入口| 91精品欧美一区二区综合在线| 性满足久久久久久久久| 久久国产精品免费一区二区三区| 欧美日韩国产在线播放| 免费特黄一区二区三区视频一 | 成人毛片在线观看| 久久精品中文字幕无码| 欧美巨大xxxx做受中文字幕| 免费v片在线观看视频网站| 老阿姨哔哩哔哩b站肉片茄子芒果| 国产日韩精品一区二区在线观看 | 苍井苍空A免费井线在线观看| 国产精品va在线观看手机版| 99人中文字幕亚洲区| 成人中文字幕在线观看| 久久久久波多野结衣高潮| 朋友把我玩成喷泉状| 亚洲欧美日韩中文字幕一区二区三区| 精品久久久噜噜噜久久久| 国产一区二区精品久久91| 黄色毛片一级片| 国产精品久久自在自线观看| 99久久免费国产精品特黄| 宅男lu66国产在线播放| 中文字幕人妻无码一夲道| 日本福利片国产午夜久久| 亚洲av日韩av欧v在线天堂|