阿里云為LLM自研以太網(wǎng)網(wǎng)絡架構，替換NVLink

阿里云近期宣布了一項重大技術創(chuàng)新，展示了其為大型語言模型（LLM）訓練設計的數(shù)據(jù)中心網(wǎng)絡架構，該架構基于以太網(wǎng)技術，已在生產(chǎn)環(huán)境中穩(wěn)定運行長達8個月，標志著AI基礎設施領域的一大突破。這一設計旨在優(yōu)化數(shù)據(jù)傳輸效率，解決傳統(tǒng)網(wǎng)絡在處理大規(guī)模AI模型訓練時面臨的諸多挑戰(zhàn)，特別是針對突發(fā)流量處理和網(wǎng)絡負載均衡的問題。

專為GPU同步設計，應對LLM訓練流量挑戰(zhàn)

阿里云的高級工程師及網(wǎng)絡研究科學家翟恩南通過GitHub公布了題為《Alibaba HPN: A Data Center Network for Large Language Model Training》的研究論文，該論文將在8月舉辦的SIGCOMM會議上發(fā)表。（SIGCOMM是計算機協(xié)會數(shù)據(jù)通信特別興趣小組的年度聚會）

論文揭示，傳統(tǒng)云計算流量通常涉及數(shù)百萬個小規(guī)模流（小于10Gbps），而LLM訓練則會在每個主機上產(chǎn)生周期性的突發(fā)流，流量高達400Gbps。這種特性導致了等價多路徑路由（ECMP）技術中常見的哈希極化問題，影響了負載均衡和帶寬的有效利用。

因此，阿里云自主研發(fā)了“高性能網(wǎng)絡”（HPN），通過減少ECMP的使用，有效避免了哈希極化，同時精確選擇網(wǎng)絡路徑以適應大規(guī)模流量需求。

考慮到GPU在LLM訓練時需要高度同步工作，阿里云的網(wǎng)絡設計特別考慮到了單點故障問題，使用了一款51.2 Tb/sec的以太網(wǎng)單芯片ToR（Top of Rack，ToR）交換機。每個用于訓練的主機配備了8個GPU和9個網(wǎng)絡接口卡（NIC），其中每個NIC有兩個200GB/s的端口，確保了即使在單個交換機故障的情況下也能維持通信。

通過“軌道”設計，每個NIC對應一個GPU，實現(xiàn)了每個加速器享有400Gb/s的RDMA網(wǎng)絡吞吐量，整體帶寬達到了3.2Tb/s，最大化了GPU的PCIe Gen5 x16接口潛力。

以太網(wǎng)聯(lián)盟與開放標準的勝利

有媒體認為，阿里云選擇以太網(wǎng)是為了避免過度依賴特定供應商，并利用整個以太網(wǎng)聯(lián)盟的力量實現(xiàn)更快的發(fā)展。這一決策與越來越多廠商開始支持以太網(wǎng)，逃離英偉達（NVIDIA）NVlink在云端AI互聯(lián)上的壟斷趨勢相吻合。

盡管放棄了用于主機間通信的NVlink，阿里云仍然在主機內(nèi)網(wǎng)絡中使用了Nvidia的專有技術，因為主機內(nèi)GPU之間的通信需要更大的帶寬。然而，由于通道之間的通信速度較慢，每個主機提供的“專用400 Gbps RDMA網(wǎng)絡吞吐量，總帶寬達到3.2 Tbps”，足以最大化PCIe Gen5x16顯卡的帶寬。

阿里云選擇以太網(wǎng)作為基礎，還因為以太網(wǎng)聯(lián)盟的支持和開放標準的長期優(yōu)勢。這一決策得到了AMD、Broadcom、Cisco、Google、HPE、Intel、Meta和Microsoft等科技巨頭的廣泛歡迎，這些公司正通過Ultra Accelerator Link聯(lián)盟等倡議，共同推動開放標準網(wǎng)絡技術的發(fā)展，以期對抗NVIDIA在AI網(wǎng)絡領域的主導地位。

數(shù)據(jù)中心的獨特設計

阿里云的數(shù)據(jù)中心采用“Pod”模式，每個Pod可容納15,000個GPU，與HPN結合，完美匹配了18MW建筑的功率限制。光纖長度的優(yōu)化設計允許使用成本更低的多模光收發(fā)器。盡管HPN的引入增加了布線復雜度，但阿里云已經(jīng)在探索更高效的設計，如下一代網(wǎng)絡架構，預計將配備更高容量的單芯片交換機。

此外，阿里云在數(shù)據(jù)中心還采用了51.2Tb/s的以太網(wǎng)單芯片交換機，顯著提升了網(wǎng)絡吞吐量和穩(wěn)定性，同時降低了能耗。然而，單芯片交換機在運行過程中面臨高溫難題，市場上缺乏有效散熱解決方案。

為此，阿里云自主研發(fā)了以更多支柱為中心的均熱板散熱器，通過優(yōu)化結構設計，有效控制了芯片溫度，確保了交換機的穩(wěn)定運行。

然而，HPN仍存在一些缺點，最大的缺點是其復雜的布線結構。每個主機有九個NIC，每個NIC連接到兩個不同的ToR交換機，這增加了插孔和端口混淆的可能性。盡管如此，這項技術據(jù)稱比NVlink更經(jīng)濟，從而使任何建立數(shù)據(jù)中心的機構都能在設置成本上節(jié)省大量資金（甚至可能使其避免使用Nvidia技術，特別是在中美芯片戰(zhàn)中受到制裁的公司）。