一年一度的Nvidia GTC大會盛大展開，吸引全球超過25萬人報名參加，AI話題再度成為市場矚目焦點，帶動高效能運算結構性需求成長。
文／莊家源
隨著近期聊天機器人ChatGPT帶動的ＡＩ風潮席捲全球，微軟（Microsoft）、Google、亞馬遜（Amazon）、Meta、阿里巴巴、百度等各科技大廠都積極打造生成式ＡＩ應用。
ＡＩ是今年ＧＴＣ主軸
就在OpenAI正式宣布推出全新GPT-4大型語言模型之後，微軟也在近期宣布新版Bing搜尋服務也已經接入此大型語言模型，將能對應更複雜的搜尋互動行為，甚至也能更流暢識別圖像內容，甚至以涵蓋文本、圖像內容進行搜尋。另外，也發表Office AI助手Copilot，如同ChatGPT一樣，使用者可以以文字或口頭在聊天介面輸入想要做的事，指示Copilot在Word、Excel、Powerpoint、Outlook等完成基本作業，並可再修正、編輯或強化，提升工作效率。
繪圖處理器（ＧＰＵ）大廠輝達（Nvidia）在三月二十日～二十三日舉辦今年度ＧＰＵ技術大會（ＧＴＣ），吸引全球超過二五萬人報名參加，執行長黃仁勳先前在加州大學伯克利分校哈斯商學院的演講中，以人工智慧的「iPhone時刻」來誇讚ChatGPT，並指出新的ＡＩ技術和應用正在改變科學和產業界，並成為各大企業積極開闢的新領域。
雖然目前各大雲端服務商受限產業景氣下行、消費性電子需求降溫、利率處於高檔等影響，導致資本支出下修，使資料中心建置速度放緩。不過Nvidia認為，為了有效運用算力達成ＡＩ應用目標，大規模資料中心勢必要增加資本支出以擴大雲端運算效能，同時也會帶動邊緣裝置銷售。
此外，工業自動化在後疫情時代已成為主流，工業與機器人應用亦需要加入ＡＩ運算機制。市場同步看好，ＧＰＵ需求將提前進入成長循環，除了Nvidia將調整生產計畫提高資料中心ＧＰＵ出貨，超微（AMD）及英特爾（Intel）今年內亦有推出專為生成式ＡＩ打造的ＧＰＵ。
目前被廣泛運用於資料中心進行機器學習、訓練及推論的ＧＰＵ是Nvidia在二○二○年推出的Ampere架構A100，採用台積電七奈米製程，內含五四二億顆電晶體，而去年再推出新一代Hopper架構H100，採用台積電四奈米製程，內含八○○億顆電晶體，並配備最新的第四代NVLink互連技術，能夠支撐巨型ＡＩ語言模型、深層推薦系統、基因體學運算、及複雜的數位孿生等運算。
先進封裝扮演要角
根據麥格理證券研究顯示，在ＡＩ伺服器當中，半導體價值比普通伺服器高了九～十八倍，其中推論伺服器（inference server）約三．三萬美元，訓練伺服器（training server）約六．五萬美元，企業伺服器約三．六萬美元。由於ＧＰＵ運用在ＡＩ運算的關鍵在於其記憶體頻寬，在訓練數以百億、千億的參數需要很高的運算能力，ＤＲＡＭ因此受限於低頻寬的問題而無法負荷，業界目前都是採用先進封裝技術將ＧＰＵ及高頻寬記憶體（High Bandwidth Memory; HBM）整合在一起封裝，是Nvidia的GPU、Google的張量處理器（TPU）與各種ASIC加速器的唯一選擇。
為處裡龐大資料量，過去主流使用的HBM2最高每接腳三．六Gbps的資料傳輸速度已不敷使用，國內業者創意運用其矽智財技術，搭配ＳＫ海力士（SK Hynix）的HBM3樣本，以及台積電七奈米先進製程和CoWoS（Chip On Wafer On Substrate）的封裝技術，打造此頻寬最高可達七．二Gbps的HBM3 CoWoS平台。（全文未完）
全文及圖表請見《先探投資週刊2240期精彩當期內文轉載》
讀者迴響