Hakkaloha

2023/8/8

AI Server主流規格

整理一下最近很紅的GPU Utils文章, 覺得很有幫助的地方是該文章從需求面出發, 剛好補足台灣市場用硬體來看的觀點.

規格面

HGX 8顆H100為目前主流
"訓練"階段仍以H100為主, 而且InfiniBand 很重要.
之後"推論"階段效能需求似乎較小, 例如可以用舊的就好, V100, 或是A100.
H100綜合效能成本效益上依然划算.
AMD比較上有風險, 主要也是時程落後大家不敢冒險.

AI應用面

主要還是Chat GPT, LLM相關的模型應用
依然有新創公司再重新創造訓練新模型

零件交易面

缺貨潮中期待有新創倒閉就可以釋出A100, 西台灣礦卡商人又有事情做了嗎?
買家的說法倒是沒有聽過的, 說大家囤貨FOMO
討論的是缺貨時的分配方法, 提到疑似NVDA獨厚Oracle, 這真的很美國人的說法, 通篇充滿能做但不能說, 政確的態度.

時程表

3/13, Azure宣布H100s已經進入預購階段.
3/21, Oracle宣布H100s已經限量提供預購.
3/21, Lambda Labs宣布H100s將於4月初加入預購.
3/21, AWS宣布H100s將在未來幾週內開始提供預購.
5/10, Google Cloud宣布開始進行H100s的私人預購.
緯穎表示A100伺服器預計今(2023)年底至明年出貨, 出乎意料地晚耶奇怪.

目前各大公司H100在手的量約在千到萬顆之間

[Companies] [Units] [Model]
Meta 21,000 A100s GPT-4
Tesla 7,000 A100s GPT-4
Stability AI 5,000 A100s GPT-4
Hugging Face 384 A100s Falcon-40B
Inflection AI 3.5k H100s GPT-3.5 Equiv.
GCP 25k H100s Various models
Azure 10k-40k H100s Various models
Oracle 10k-40k H100s Various models
CoreWeave 35k-40k H100s Various models, base on order

source: 1 2

2023/5/30

在加上思考的部份, 跟圖一起

介紹一款重量輕、搭載NVDA GPU的14英寸筆記型電腦。
配備RTX 4060Ti遊戲顯卡。

由於搭載了RTX GPU，渲染時間從幾個小時縮短到15秒。
支持光線追蹤技術。
搭載AI Tensor GPU。
新的argo技術。
通過AI計算，一次輸出七個結果。
生成式AI使計算機成為數據中心。
軟件使每個人受益，生命周期優化，兼容所有產品。
生成式AI達到了轉折點，並實現了計算加速。
計算加速，五年內提升1000倍（相當於摩爾定律的2倍）。

文本轉視頻。
圖像轉3D。
文本轉演員。
語音模式，文本轉音樂。
現在每個人都是程序員，只需說出某些話語。

AI服務器的功耗和性能：
傳統服務器：10百萬/960個CPU服務器/11千瓦時/1倍LLM（能源效能）
現在使用GPU：
10百萬，48個GPU服務器，3.2千瓦時，44倍LLM
34百萬，172個GPU服務器，11千瓦時，150倍LLM
40萬，2個GPU服務器，0.13千瓦時，1倍LLM

H100已全面投產。
該系統板有35000個元件。
HGX H100，8個Hopper GPU，售價20萬美元。
DGX，一款巨型GPU計算機。
Hopper於2022年8月開始投產。
Hopper next於2024年推出。
Quanta Next計劃於2024年或2025年推出。

發表Nvidia Ace遊戲服務。
修改您自己的頭像。

Grace Hopper已全面投產。
4PetaFLOPS TE，72個Arm CPU，96GB HBM3，576GB GPU記憶體。
600GB。GPU可以引用記憶體，CPU也可以引用記憶體。
使用低功耗DDR記憶體。
速度高達每秒900GB。
Grace Hopper的記憶體超過HGX。
與Cadence合作。

推出DGX GH200，用於生成式AI的AI超級計算機。

搭載256個Grace-Hopper超級芯片，連接144TB存儲空間。搭載1 ExaFLOPS Tansformer引擎。

DGX GH200，Grace Hopper超級計算機。

Google Cloud Meta和微軟是首批獲得訪問權限的合作伙伴。

軟件定義的5G，所有內容都將被軟件定義。與Softbank合作。

介紹MGX，模塊化的加速計算服務器設計。

兼容多個世代。

2U機架高度，搭載Grace芯片，10個L4，BF-3，11個PCIE接口。

全球1萬億美元的數據中心基礎設施正在轉向加速計算和生成式AI。

發表Spectrum X，超大規模以太網平台。

巨大的晶片尺寸，90×90平方毫米，採用TSMC N4工藝。

一個Spectrum 4對連接兩個Bluefield-3，端到端優化。