微軟緊跟英偉達(dá)發(fā)布AI芯片，直接對(duì)抗還是聯(lián)手合作？

英偉達(dá)（Nvidia）于當(dāng)?shù)貢r(shí)間13日上午在 “Supercomputing 23”會(huì)議上正式發(fā)布了全新的H200 GPU，以及更新后的GH200 產(chǎn)品線。

其中，H200依然是建立在現(xiàn)有的 Hopper H100 架構(gòu)之上，但增加了更多高帶寬內(nèi)存（HBM3e），從而更好地處理開發(fā)和實(shí)施人工智能所需的大型數(shù)據(jù)集，使得運(yùn)行大模型的綜合性能相比前代H100提升了60%到90%。而更新后的GH200，也將為下一代 AI 超級(jí)計(jì)算機(jī)提供動(dòng)力。2024 年將會(huì)有超過(guò) 200 exaflops 的 AI 計(jì)算能力上線。


H200：HBM容量提升76%，大模型性能提升90%

具體來(lái)說(shuō)，全新的H200提供了總共高達(dá)141GB 的 HBM3e 內(nèi)存，有效運(yùn)行速度約為 6.25 Gbps，六個(gè) HBM3e 堆棧中每個(gè) GPU 的總帶寬為 4.8 TB/s。與上一代的H100（具有 80GB HBM3 和 3.35 TB/s 帶寬）相比，這是一個(gè)巨大的改進(jìn)，HBM容量提升了超過(guò)76%。官方提供的數(shù)據(jù)顯示，在運(yùn)行大模型時(shí)，H200相比H100將帶來(lái)60%（GPT3 175B）到90%（Llama 2 70B）的提升。

雖然H100 的某些配置確實(shí)提供了更多內(nèi)存，例如 H100 NVL 將兩塊板配對(duì)，并提供總計(jì) 188GB 內(nèi)存（每個(gè) GPU 94GB），但即便是與 H100 SXM 變體相比，新的 H200 SXM 也提供了 76% 以上的內(nèi)存容量和 43 % 更多帶寬。

需要指出的是，H200原始計(jì)算性能似乎沒(méi)有太大變化。英偉達(dá)展示的唯一體現(xiàn)計(jì)算性能的幻燈片是基于使用了 8 個(gè) GPU的HGX 200 配置，總性能為“32 PFLOPS FP8”。而最初的H100提供了3,958 teraflops 的 FP8算力，因此八個(gè)這樣的 GPU 也提供了大約32 PFLOPS 的 FP8算力。

那么更多的高帶寬內(nèi)存究竟帶來(lái)了哪些提升呢？這將取決于工作量。對(duì)于像 GPT-3 這樣的大模型（LLM）來(lái)說(shuō)，將會(huì)大大受益于HBM內(nèi)存容量增加。英偉達(dá)表示，H200在運(yùn)行GPT-3時(shí)的性能，將比原始 A100 高出 18 倍，同時(shí)也比H100快11倍左右。還有即將推出的 Blackwell B100 的預(yù)告片，不過(guò)目前它只包含一個(gè)逐漸變黑的更高條，大約達(dá)到了H200的兩倍最右。

不僅如此，H200和H100是互相兼容的。也就是說(shuō)，使用H100訓(xùn)練/推理模型的AI企業(yè)，可以無(wú)縫更換成最新的H200芯片。云端服務(wù)商將H200新增到產(chǎn)品組合時(shí)也不需要進(jìn)行任何修改。

11月15日，微軟董事長(zhǎng)兼CEO薩提亞·納德拉（Satya Nadella）在微軟Ignite全球技術(shù)大會(huì)發(fā)表了將近一個(gè)小時(shí)的開幕演講。正如此前的預(yù)告，納德拉的演講幾乎完全圍繞AI展開，在硬件方面推出了由微軟設(shè)計(jì)的首款CPU（中央處理器）Azure Cobalt 100，以及首款專門用于云端訓(xùn)練和推理的AI芯片Azure Maia 100。兩者都將優(yōu)先用于支持微軟自己的云服務(wù)。

當(dāng)日，微軟股價(jià)波動(dòng)不大，漲0.04%收于369.67美元，續(xù)創(chuàng)收盤新高。目前，微軟總市值已經(jīng)達(dá)到2.75萬(wàn)億美元。

據(jù)納德拉介紹，Cobalt 100基于Arm架構(gòu)，具有128個(gè)核心，被稱為“所有云計(jì)算供應(yīng)商中速度最快的CPU”，已經(jīng)在微軟的部分業(yè)務(wù)中得到了應(yīng)用并將于明年上市。備受期待的微軟自研AI芯片Azure Maia也在大會(huì)上進(jìn)行了首秀，Maia 100采用5nm制程，晶體管數(shù)量達(dá)到1050億個(gè)。納德拉表示，Maia 100旨在運(yùn)行大語(yǔ)言模型、幫助AI系統(tǒng)更快地處理大量數(shù)據(jù)，將首先為微軟自己的AI應(yīng)用程序提供支持，之后再向合作伙伴和客戶開放。

據(jù)外媒分析，微軟的Maia 100和Cobalt 100將分別對(duì)英偉達(dá)和英特爾在AI芯片和CPU行業(yè)中的龍頭地位帶來(lái)挑戰(zhàn)。面對(duì)頂級(jí)AI芯片供應(yīng)不足的挑戰(zhàn)，微軟也終于加入了其他互聯(lián)網(wǎng)巨頭的自研行列。此前，谷歌從2016年起開始推出自研AI張量處理單元（TPU），到今年9月已經(jīng)發(fā)展到第五代，而亞馬遜云科技（AWS）則在2020年宣布推出用于訓(xùn)練AI模型的自研芯片Trainium。


微軟挑戰(zhàn)英偉達(dá)AI芯片地位

11月15日，微軟董事長(zhǎng)兼CEO薩提亞·納德拉（Satya Nadella）在微軟Ignite全球技術(shù)大會(huì)發(fā)表了將近一個(gè)小時(shí)的開幕演講。正如此前的預(yù)告，納德拉的演講幾乎完全圍繞AI展開，在硬件方面推出了由微軟設(shè)計(jì)的首款CPU（中央處理器）Azure Cobalt 100，以及首款專門用于云端訓(xùn)練和推理的AI芯片Azure Maia 100。兩者都將優(yōu)先用于支持微軟自己的云服務(wù)。

據(jù)納德拉介紹，Cobalt 100基于Arm架構(gòu)，具有128個(gè)核心，被稱為“所有云計(jì)算供應(yīng)商中速度最快的CPU”，已經(jīng)在微軟的部分業(yè)務(wù)中得到了應(yīng)用并將于明年上市。備受期待的微軟自研AI芯片Azure Maia也在大會(huì)上進(jìn)行了首秀，Maia 100采用5nm制程，晶體管數(shù)量達(dá)到1050億個(gè)。納德拉表示，Maia 100旨在運(yùn)行大語(yǔ)言模型、幫助AI系統(tǒng)更快地處理大量數(shù)據(jù)，將首先為微軟自己的AI應(yīng)用程序提供支持，之后再向合作伙伴和客戶開放。

據(jù)外媒分析，微軟的Maia 100和Cobalt 100將分別對(duì)英偉達(dá)和英特爾在AI芯片和CPU行業(yè)中的龍頭地位帶來(lái)挑戰(zhàn)。面對(duì)頂級(jí)AI芯片供應(yīng)不足的挑戰(zhàn)，微軟也終于加入了其他互聯(lián)網(wǎng)巨頭的自研行列。此前，谷歌從2016年起開始推出自研AI張量處理單元（TPU），到今年9月已經(jīng)發(fā)展到第五代，而亞馬遜云科技（AWS）則在2020年宣布推出用于訓(xùn)練AI模型的自研芯片Trainium。


自研芯片，微軟蓄謀已久

在微軟看來(lái)，芯片是云的主力。它們控制著數(shù)十億個(gè)晶體管，處理流經(jīng)數(shù)據(jù)中心的大量 1 和 0。這項(xiàng)工作最終允許您在屏幕上執(zhí)行幾乎所有操作，從發(fā)送電子郵件到用簡(jiǎn)單的句子在 Bing 中生成圖像。

就像建造房屋可以讓你控制每一個(gè)設(shè)計(jì)選擇和細(xì)節(jié)一樣，微軟將添加自研芯片視為確保每個(gè)元素都是針對(duì)微軟云和人工智能工作負(fù)載量身定制的一種方式。這些芯片將安裝在定制服務(wù)器主板上，放置在定制的機(jī)架內(nèi)，可以輕松安裝到現(xiàn)有的微軟數(shù)據(jù)中心內(nèi)。硬件將與軟件攜手合作，共同設(shè)計(jì)以釋放新的功能和機(jī)遇。

Azure 硬件系統(tǒng)和基礎(chǔ)設(shè)施 (AHSI) 公司副總裁 Rani Borkar 表示，公司的最終目標(biāo)是 讓Azure 硬件系統(tǒng)能夠提供最大的靈活性，并且還可以針對(duì)功耗、性能、可持續(xù)性或成本進(jìn)行優(yōu)化。

“軟件是我們的核心優(yōu)勢(shì)，但坦白說(shuō)，我們是一家系統(tǒng)公司。在微軟，我們正在共同設(shè)計(jì)和優(yōu)化硬件和軟件，以便一加一大于二，”Borkar說(shuō)?！拔覀兛梢钥吹秸麄€(gè)堆棧，而硅只是其中的成分之一。”

領(lǐng)導(dǎo) Azure Maia 團(tuán)隊(duì)的微軟技術(shù)研究員 Brian Harry 表示，Maia 100 AI 加速器是專為 Azure 硬件堆棧設(shè)計(jì)的。他表示，這種垂直整合——芯片設(shè)計(jì)與考慮到微軟工作負(fù)載而設(shè)計(jì)的更大的人工智能基礎(chǔ)設(shè)施的結(jié)合——可以在性能和效率方面帶來(lái)巨大的收益。

AHSI 團(tuán)隊(duì)合作伙伴項(xiàng)目經(jīng)理 Pat Stemen 則表示，2016 年之前，微軟云的大部分層都是現(xiàn)成購(gòu)買的。然后微軟開始定制自己的服務(wù)器和機(jī)架，降低成本并為客戶提供更一致的體驗(yàn)。隨著時(shí)間的推移，硅成為主要的缺失部分。

在微軟看來(lái)，構(gòu)建自己的定制芯片的能力使微軟能夠瞄準(zhǔn)某些品質(zhì)并確保芯片在其最重要的工作負(fù)載上發(fā)揮最佳性能。其測(cè)試過(guò)程包括確定每個(gè)芯片在不同頻率、溫度和功率條件下的性能以獲得最佳性能，更重要的是，在與現(xiàn)實(shí)世界的微軟數(shù)據(jù)中心相同的條件和配置下測(cè)試每個(gè)芯片。微軟強(qiáng)調(diào)，公司今天推出的芯片架構(gòu)不僅可以提高冷卻效率，還可以優(yōu)化其當(dāng)前數(shù)據(jù)中心資產(chǎn)的使用，并在現(xiàn)有占地面積內(nèi)最大限度地提高服務(wù)器容量。

未來(lái)核心技術(shù)與創(chuàng)新

芯片設(shè)計(jì)創(chuàng)新

在AI芯片的設(shè)計(jì)領(lǐng)域，創(chuàng)新主要體現(xiàn)在提高運(yùn)算能力與減少能耗上。當(dāng)前，市場(chǎng)上領(lǐng)先的AI芯片如英偉達(dá)的A100 Tensor Core GPU擁有19.5 TeraFLOPS的單精度計(jì)算能力，功耗為400瓦特。設(shè)計(jì)創(chuàng)新還體現(xiàn)在采用了新的架構(gòu)，如使用張量核心專門針對(duì)AI計(jì)算進(jìn)行優(yōu)化，相較于傳統(tǒng)的GPU，在相同的功耗下提高了6倍以上的AI計(jì)算效率。


制造工藝進(jìn)步

在制造工藝上，先進(jìn)的7納米和5納米制程技術(shù)已成為市場(chǎng)標(biāo)配。比如，臺(tái)積電（TSMC）的5納米工藝相比上一代10納米工藝，在性能上提升了15%，功耗降低了30%，同時(shí)邏輯區(qū)域密度提高了80%。這意味著在同等面積的芯片上可以集成更多的功能單元，大大提高了芯片的整體性能。


材料科學(xué)的突破

材料科學(xué)的進(jìn)展為AI芯片的性能提升提供了基礎(chǔ)。例如，碳納米管和石墨烯等新材料因其超常的導(dǎo)電性和強(qiáng)度，被研究用于下一代芯片，理論上可以極大地降低芯片的功耗并提升傳輸速度。盡管當(dāng)前這些材料還未大規(guī)模商用，但已在實(shí)驗(yàn)室中展現(xiàn)出相較于傳統(tǒng)硅材料數(shù)倍甚至數(shù)十倍的性能提升潛力。


能效優(yōu)化

能效是AI芯片領(lǐng)域一直在追求的關(guān)鍵指標(biāo)。以谷歌的TPU（Tensor Processing Unit）為例，其第四代TPU在AI推理任務(wù)上的能效比達(dá)到了2倍每瓦特每秒的計(jì)算速度，這一數(shù)據(jù)是其第一代產(chǎn)品的近8倍提升。能效的優(yōu)化不僅減少了運(yùn)營(yíng)成本，同時(shí)也降低了數(shù)據(jù)中心的環(huán)境影響。