叫陣NVIDIA!英特爾推Gaudi 3 AI加速器 比H100強

▲▼英特爾宣布推出Intel Gaudi 3 AI加速器。(圖/英特爾提供)

▲英特爾宣布推出Intel Gaudi 3 AI加速器。(圖/英特爾提供)

記者高兆麟/綜合報導

英特爾在Vision 2024大會上,宣布推出Intel Gaudi 3 AI加速器,與前代產品相比,Gaudi 3為BF16提供4倍AI運算能力、1.5倍記憶體頻寬以及2倍網路頻寬,可擴充大規模系統,將有助大型語言模型(LLM)和多模態模型的AI訓練和推理,大幅提升效能和生產力,英特爾更表示,Gaudi 3加速器平均訓練時間將比Nvidia H100縮短50%,推理處理量預計將比H100 平均高出 50%,推理效能平均高出40%。

Intel Gaudi 2 AI加速器是市場上唯一通過MLPerf基準測試的LLM解決方案,效能和效率皆通過驗證。英特爾透過開源社群軟體和符合業界標準的乙太網絡,為客戶提供可靈活擴充系統的新選擇。
 
英特爾執行副總裁暨資料中心與AI解決方案總經理Justin Hotard表示:「AI市場瞬息萬變,但產品間仍存在巨大差距。不論是來自客戶還是更廣泛市場的回饋,皆反映對更多選擇的渴望。企業須權衡可用性、可擴充性、效能、成本和能源效率等因素。Intel Gaudi 3作為生成式AI的新選擇,憑藉性價比、系統可擴充性和時間成本優勢的完美結合脫穎而出。」
 
金融、製造和醫療保健等關鍵領域的企業,目前正快速提升AI的普及化,並積極將生成式AI計畫從試驗階段轉為全面實施。為了因應轉型、推動創新並達成營收成長目標,企業需要開放、符合成本效益且更節能的解決方案和產品,以符合投資報酬率(ROI)和營運效率需求。
 
Intel Gaudi 3加速器將滿足這些需求,並透過開放社群軟體和開放標準的乙太網路,協助企業靈活擴充AI系統和應用。
 
客製化基礎架構如何提升生成式AI效能和效率:Intel Gaudi 3加速器專為高效的大規模AI運算打造,採用相較前一代產品更先進的5奈米製程。其設計允許同時啟動所有引擎以提升速度,包括矩陣乘法引擎(MME)、張量處理器核心(TPC) 和網路介面卡(NIC),進而實現更高速、高效的深度學習運算和規模擴充。

[廣告]請繼續往下閱讀...

Intel Gaudi 3加速器將為領先生成式AI模型的訓練和推理,帶來顯著的效能提升。與Nvidia H100相比,Gaudi 3加速器在具有70億和130億參數的Llama2模型及1750億參數的GPT-3模型上,預計Intel Gaudi 3的平均訓練時間將比Nvidia H100縮短50%。此外,在Llama 70億、700億參數以及Falcon 1800億參數模型中,Intel Gaudi 3加速器的推理處理量,預計將比H100 平均高出 50%,推理效能平均高出40%。

Intel Gaudi 3加速器將於2024年第二季,向OEM提供通用基板和開放加速器模型(Open accelerator module, OAM)的業界標準配置。包含戴爾科技、慧與科技(HPE)、聯想和美超微等知名OEM,都將採用Gaudi 3。Intel Gaudi 3加速器預計於2024年第三季全面上市,Intel Gaudi 3 PCIe附加卡預計於2024年第四季上市。
 
Intel Gaudi 3加速器也將支援多個高成本效益LLM基礎架構,協助訓練和推理,並為包括NAVER在內的組織提供性價比優勢和選擇。
 
開發者從今日起即可存取Intel Developer Cloud上以Intel Gaudi 2為基礎的實例,以學習、建立原型、測試和執行應用程式與工作負載。

關鍵字: 英特爾NVIDIA

分享給朋友:

※本文版權所有,非經授權,不得轉載。[ETtoday著作權聲明]

推薦閱讀

外資賣台股451億今年第3大 重砍群創、新光金、台積電

外資賣台股451億今年第3大 重砍群創、新光金、台積電

台股今(24)日殺聲震天終場重挫440點失守23100、23000點與22900點3大整數防線,盤後交易所公告外資賣超451億元創今年第3大、史上第13高,賣超最多的上市公司包括群創(3481)、新光金(2888)與台積電(2330)。

2024-06-24 16:57

台股今年第3慘!指數殺440點收22814點 台積電跌30元收940

台股今年第3慘!指數殺440點收22814點 台積電跌30元收940

台股今(24日)在權值股熄火下開低走低,終場大跌440點,為今年第3大跌點,指數終場來到22813.70點,跌幅1.89%,成交量4992.67億元。台積電(2330)單日跌30元至940元,市值蒸發7780億元。

2024-06-24 13:37

高價股慘跌 信驊持有一張就賠22.5萬元

高價股慘跌 信驊持有一張就賠22.5萬元

高價股今日傷勢慘重,其中股王信驊(5274)今日終場下跌4.53%,重挫225元,收在4740元,等於持有一張就賠22.5萬元。

2024-06-24 14:55

陽明看7月運價仍維持高檔 Q3初客戶需求較去年增加

陽明看7月運價仍維持高檔 Q3初客戶需求較去年增加

陽明海運(2609)今(24)日舉行線上法說會,經營團隊指出,目前來看7月運價還是維持高檔,價量7月可以維持,Q3初客戶需求比去年增加,但地緣政治影響還要再觀察。

2024-06-24 14:28

美媒問重啟核電 經長郭智輝「目前法令沒辦法採用」

美媒問重啟核電 經長郭智輝「目前法令沒辦法採用」

經濟部長郭智輝率團前往美國,參加美國商務部舉辦的「選擇美國投資高峰會」(SelectUSA Investment Summit),他在接受媒體訪問時談到重啟核電議題,指出因為台灣法令的關係,目前暫時沒辦法使用。

2024-06-24 13:47

輝達供應AI技術至中東 突破美國封鎖

輝達供應AI技術至中東 突破美國封鎖

根據外媒路透社報導,卡達電信商Ooredoo執行長表示,已和NVIDIA簽署一項協議,將在卡達電信集團Ooredoo擁有的五個中東國家的資料中心部署其人工智慧技術。

2024-06-24 13:50

台積電今又砸近2.79億元買回庫藏股 均價948.12元

台積電今又砸近2.79億元買回庫藏股 均價948.12元

台積電今日公告,買回自家股票295張,總金額2.79億元,平均買回價格948.12元。

2024-06-24 22:38

證交所公布20檔注意股 祥碩兩日價差160元被列入

證交所公布20檔注意股 祥碩兩日價差160元被列入

證交所今日公布20檔注意股,其中祥碩因六個營業日起迄兩個營業日收盤價價差達160.00元,且當日收盤價為最近六個營業日收盤價最低者,因此被列入。

2024-06-24 22:33

首例! 證交所撤銷KKBOX母公司科科科技上市案

首例! 證交所撤銷KKBOX母公司科科科技上市案

證交所今日公告,KKBOX母公司科科科技(6950)申請股票第一上市案,前經證交所112年12月19日董事會通過,惟未依規定期限辦理上市買賣事宜,核有證交所「有價證券上市審查準則」第28條之11規定之情事,其上市契約業經證交所撤銷。

2024-06-24 18:48

熱爆!今日尖鋒用電量達4054萬千瓦 達史上第4高

熱爆!今日尖鋒用電量達4054萬千瓦 達史上第4高

中央氣象署今(24日)一早針對11縣市發布高溫資訊,上看36度,各地高溫炎熱下,用電量也續創波段新高。台電表示,今日尖鋒用電量達4054萬千瓦,達史上第4高,由於上周五(21日)用電量已來到史上第3高,加上氣象署預計本周還會再飆高溫,台電也進入備戰狀態,密切注意供電情形。

2024-06-24 18:11

讀者迴響