從小眾到主流，HBM內存為何能成為AI芯片最佳“搭檔”？
TrendForce集邦咨詢指出，為提升整體AI服務器的系統運算效能，以及存儲器傳輸帶寬等，NVIDIA、AMD、Intel等高端AI芯片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達192GB，提升了50%。同時預期Google將于2023年下半年積極擴大與Broadcom合作開發AISC AI加速芯片TPU亦采搭載HBM存儲器，以擴建AI基礎設施。
TrendForce集邦咨詢預估，2023年市場上主要搭載HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總容量將達2.9億GB，成長率近6成，2024年將持續成長3成以上。
此外，AI及HPC等芯片對先進封裝技術的需求日益提升，其中，以TSMC的CoWoS為目前AI 服務器芯片主力采用者。CoWoS封裝技術主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM存儲器等，另外，oS部分則將上述CoW以凸塊（Solder Bump）等接合，封裝在基板上，最后再整合到PCBA，成為服務器主機板的主要運算單元，與其他零部件如網絡、儲存、電源供應單元(PSU)及其他I/O等組成完整的AI 服務器系統。
TrendForce集邦咨詢觀察，估計在高端AI芯片及HBM強烈需求下，TSMC于2023年底CoWoS月產能有望達12K，其中，NVIDIA在A100及H100等相關AI Server需求帶動下，對CoWoS產能較年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成長下，將使下半年CoWoS產能較為緊迫，而此強勁需求將延續至2024年，預估若在相關設備齊備下，先進封裝產能將再成長3-4成。
ChatGPT爆紅提升HBM需求
作為一款自然語言類AI應用，ChatGPT不僅對芯片算力有著巨大需求，對內存技術的需求也極高，比如ChatGPT上線應用以來，擁有高速數據傳輸速度的HBM內存芯片幾乎成為ChatGPT的必備配置，市場需求激增。有消息稱，2023年開年以來三星、SK海力士HBM訂單就快速增加，價格也水漲船高。
有市場人士透露英偉達已經將SK海力士的HBM3安裝到其高性能GPU H100上，而H100已開始供應ChatGPT服務器所需。近期最新一代高帶寬內存HBM3的價格上漲了5倍。
SK海力士HBM設計團隊項目負責人樸明宰撰文介紹，HBM是一種可以實現高帶寬的高附加值DRAM產品，適用于超級計算機、AI加速器等對性能要求較高的計算系統。隨著計算技術的發展，機器學習的應用日漸廣泛，而機器學習的基礎是自20世紀80年代以來一直作為研究熱點的神經網絡模型。作為速度最快的DRAM產品，HBM在克服計算技術的局限性方面發揮著關鍵的作用。
此前，盡管HBM具有出色的性能，但與一般DRAM相比，其應用較少。這是因為HBM需要復雜的生產過程，平均售價至少是DRAM的三倍。但AI服務的擴展正在扭轉這樣的局面。據悉，目前已經有超過25000塊英偉達計算卡加入到了深度學習的訓練中。未來，隨著不斷接入ChatGPT等生成式AI需求大增，HBM的需求也將呈現出暴增的態勢。三星內存副總裁Kim Jae-joon便指出，ChatGPT等基于自然語言技術的交互式AI應用的發展有利于提升內存需求。高效且大量的運算能力、高容量的內存，是AI學習與推論模型的根基。
存儲巨頭齊爭高性能市場
去年以來，受消費電子產品需求下滑等多種因素影響，存儲行業進入了下行周期。SK海力士全年的凈利潤降至2.4萬億韓元，同比下滑75%。三星電子存儲業務的營收與營業利潤，在去年第三季度和第四季度也是同比環比雙雙下滑。TrendForce集邦咨詢預估2023年第一季度DRAM價格仍將持續下探。其中，PC及服務器用DRAM跌幅仍是近兩成。HBM的需求火爆不啻于一劑“強心針”。這種情況下，SK海力士、三星電子、美光等內存廠商均表示將致力于HBM的開發。企業之間的產品開發競爭也隨之升溫。
2013年SK海力士將TSV技術應用于DRAM，在業界首次成功研發出第一代HBM芯片。此后，SK海力士相繼推出HBM2、HBM2E、HBM3數代產品。據悉，SK海力士正在研發HBM4，預計新一代產品將能夠更廣泛地應用于高性能數據中心、超級計算機和AI等領域。SK海力士CFO金祐賢表示，公司正關注著市場上出現以AI為基礎的新服務器替換存儲器需求的積極信號。公司計劃持續投資DDR5/LPDDR5、HBM3等主力產品的量產和未來高成長領域。
三星電子雖然在HBM的開發上落后一步，但也在尋找新的突破口。據悉，三星電子正在開發集成AI處理器新一代存內計算芯片HBM-PIM。北京大學信息科學技術學院微納電子學系副教授葉樂表示，存內計算芯片是將AI引擎引入存儲庫，將處理操作轉移到HBM本身，將有效加大數據傳輸帶寬，提高內存的處理速度。存內計算技術正在實現產品化。目前基于SRAM的存內計算，已經進入到產品化的前夜，DRAM存內計算適用于大算力AI芯片，因此還需要解決其他一系列的技術難題。
HBM國產替代成大趨勢
HBM的作用類似于數據的“中轉站”，就是將使用的每一幀，每一幅圖像等圖像數據保存到幀緩存區中，等待GPU調用。因此，與傳統內存技術相比，HBM具有更高帶寬、更多I/O數量、更低功耗、更小尺寸，能夠讓AI服務器在數據處理量和傳輸速率有大幅提升。
當下，隨著ChatGPT的AI大模型問世，百度、阿里、科大訊飛、商湯、華為等科技巨頭紛紛要訓練自己的AI大模型，AI服務器的需求大幅度激增。
由于短時間內處理大量數據 ，AIAI服務器對帶寬提出了更高的要求，HBM則成為AI服務器的標配。隨著高端GPU需求的逐步提升，TrendForce集邦咨詢預估2023年HBM需求量將年增58%，2024年有望再成長約30%。可見，HBM憑借AI的爆發，也跟著站上了風口。
目前，HBM的市場被三分天下。SK海力士、三星、海光的市占率分別為50%、40%、10%。雖然，HBM的市場基本被海外巨頭所占據；但是，芯片儲存的自主可控仍是當下產業發展的重要方向。因此，HBM國產化也將成為大的發展趨勢。這里我們根據公開信息，將HBM的相關公司整理如下：
國芯科技：目前正在研究規劃合封多HBM內存的2.5D的芯片封裝技術，積極推進Chiplet技術的研發和應用。
通富微電：公司2.5D/3D生產線建成后，將實現國內在HBM(高帶寬內存)高性能封裝技術領域的突破。
佰維存儲：已推出高性能內存芯片和內存模組，將保持對HBM技術的持續關注。
瀾起科技：PCIe 5.0/CXL 2.0 Retimer芯片實現量產，該芯片是瀾起科技PCIe 4.0 Retimer產品的關鍵升級，可為業界提供穩定可靠的高帶寬、低延遲PCIe 5.0/ CXL 2.0互連解決方案。
