矽光子思考

概念股

訊芯-KY, 破新高, 圖形很漂亮

眾達, 高點大量, 兩個頭, 又往下, 感覺無力. 相對好一點.

上詮, 線型很強勢.

光聖, 線型很強

聯鈞, 線型非常好

前鼎, 線型很強

智邦, 第二個頭, 線型怎麼會那麼奇怪

明泰, 線型很弱.

波若威, 線波動很大

聯亞, 普通

穎威, 普通, 之前9xx NVDA概念, 感覺上面一堆冤魂, 矽光子題材對他感覺不夠強.

旺矽, 感覺google放棄AVGO合作, 沒有什麼大影響.

光環, 很弱

日月光, 線型很弱.

台星科, 第一頭成形, 很不穩

矽格, 第一頭成形, 很不穩

華星光, 線型很弱.

明泰, 很弱, 第二個頭.

全新, 普通.

誰受害?

看法人動向

看財務報表

成本我覺得才是最大的動力, 效能變好一點, 但能整合且成本下降威力就很大.

我的筆記

用途

光波導(就是電路/ 電線)傳輸訊號

拉進去2.5D封裝建大樓在旁邊, 跟CoWoS很像的圖

省電, 降低訊號耗損

通訊模組規格將從目前正逐步拉高滲透率的400G提升至800G, 採用以矽光子, CPO打造的800G光通訊模組

foundry

與一般矽晶片相同, 技術成熟, 便宜量產

CMOS相關

直接看CAGR就好根本沒人搞的清楚TAM

次合作旨在生產下一代矽光子晶片，相關製程技術涵蓋45nm至7nm，預計最快將於2024年下半年開始迎來大單。台積電不僅正在積極推進矽光子技術，還在與博通（Broadcom）和輝達（Nvidia）等大客戶進行談判，共同開發以該技術為中心的應用.

各家終端廠商

矽光子及CPO商機爆發性可期，Meta、輝達、博通等全球科技巨擘都已投入相關研發，除了晶圓製造的台積電可望搶下大筆訂單之外，為封測、測試介面，以及光通訊等相關領域帶來的商機也備受期待。

Intel也做

Apple做的是血糖感測晶片

封測大廠日月光投控及旗下矽品都已經投入矽光子、CPO封裝技術研發，其中，日月光已經透過VIPack先進封裝平台卡位市場，目前雖然訂單量能仍占整體比重相當低，業界仍樂觀預期2024下半年相關業務量可望開始逐步攀升，2025年接單動能會明顯升溫，逐步成為日月光投控成長的新動能。

台星科、矽格及訊芯-KY等中小型封測廠也規劃跨入矽光子市場，隨著AI、高速運算崛起，矽格可望攜手台星科大啖矽光子封裝商機；訊芯-KY目前在矽光、CPO市場正在研發階段，樣品邁入交付客戶驗證階段，預期2025年接單動能將大增。

國外初創

lightmatter

Optelligence

Ayar Labs

Lightelligence

LightOn

矽光子挑戰

目前矽光子技術在元件整合上面臨挑戰，由於光子元件效能為溫度和路徑相當敏感，製成中的線寬與線距對光訊號影響大，欲開發更高效能的光子元件結構和製成，必須擁有一個溝通平台，提供光電廠商設計規格、材料、參數等資訊整合。其次短期內矽光子主要仍應用於利基市場，目前多屬於客製化服務，缺乏統一平台將阻礙矽光子技術發展，且封裝製程與材料標準仍處在待建立階段，若未有統一規格，難以大量導入資料中心等廣大市場。

光通訊領導廠商華星光於 9/14 召開法說會，說明目前市場主流仍為 400G、800G 產品，可插拔式模組在 1.6T、3.2T 產品中仍不會被 CPO 取代，華星光預估 2026 年 CPO 應用市場規模達3億美元，表示 CPO 等矽光子技術在 2026 年以後才會開始普及。代表目前矽光子技術難以對營收有顯著貢獻，此狀況在其他矽光子與 CPO 概念股也是如此，觀察該產業類股的營收表現，目前矽光子技術對營收的貢獻微乎其微。

出貨量預估

---

忽然看懂他在說什麼, 因為之前寫CoWoS的東西的關係, 完全看懂substrate的東西

推薦大家閱讀清單/ source, 看完再看我的筆記:

https://www.ntdtv.com.tw/b5/20230906/video/372797.html?%E5%9C%8B%E9%9A%9B%E5%8D%8A%E5%B0%8E%E9%AB%94%E5%B1%95%E4%BB%8A%E7%99%BB%E5%A0%B4%20%E5%A4%A7%E5%BB%A0%E8%AB%87%E7%9F%BD%E5%85%89%E5%AD%90%E6%8A%80%E8%A1%93

https://www.sinotrade.com.tw/richclub/industry/-64fff3c91f22e70794cf4156?utm_source=CS

https://money.udn.com/money/story/5612/7430267

https://tw.news.yahoo.com/%E5%8F%B0%E7%A9%8D%E9%9B%BB%E6%8A%BC%E6%B3%A8%E7%9F%BD%E5%85%89%E5%AD%90%E6%99%B6%E7%89%87-%E5%B0%87%E6%88%90%E4%B8%8B-%E6%B3%A2ai%E9%A2%A8%E6%BD%AE-031436899.html

https://dop.nycu.edu.tw/ch/page.html?tID=162

https://www.stockfeel.com.tw/%E7%9F%BD%E5%85%89%E5%AD%90-%E7%9F%BD%E5%85%89%E5%AD%90%E6%A6%82%E5%BF%B5%E8%82%A1-%E7%9F%BD%E5%85%89%E5%AD%90%E4%BE%9B%E6%87%89%E9%8F%88/

https://pdf.dfcfw.com/pdf/H3_AP202302131583074603_1.pdf?1676285160000.pdf

HBM 2Q23想法

• 結論
• HBM不會缺貨
• Foundry端可能更是瓶頸, 加工流程複雜甚至不透明.
• 有沒HBM的人, 跟沒HBM的人的差別, 是否拉開? 南亞科是否沒戲唱

                        

• HBM不同一般DRAM
• 封裝就是收納, 斷捨離, less is more.
• 3D堆疊就是建捷運共構宅.
• 比GDDR速度更快, 頻寬更大例如1TB以上.
• 效能更好, 更省電.
• density一開始是8Gb, 後來大量提高到24GB. 
• MPGA封裝(microbump=ubump, 見圖2)
• FPGA也要用HBM

• TSV製程一個layer約5000道TSV, 高度會調到CPU一致,
• 一組CPU配四個HBM(A100配6個), 與foundry的CoWoS配合.
• SONY CIS之前就用TSV用很兇.
• 新技術量產時間短, 設備數量有限, 長期的可靠性問題
• 可以foundry(via middle)做也可以OSAT做(via last)
• 主要玩家是Hynix, 主要拿到NVDA大客戶.
• 最底下用interposer連接CPU, 最下面是封裝基板.
• RDL是interposer上面的布線, HBM沒人管這個.
• TSV是穿過interposer來往DRAM與CPU, 或往下到封裝基板(圖2-1).
• interposer用矽, 可能演變使用樹脂.
• 2.5D 就是建在CPU旁邊, 3D是跟CPU捷運共構
• 貴且工序複雜
• 堆疊的熱處理

圖1, 社區大樓的建置, source: Micron

圖2, 社區大樓的下水管道建置, 注意TSV通道最上層的DRAM不用經過, source: Micron

圖2-1, 社區大樓的下水管道建置, interposer就是管道間, source: PC Watch

圖2-3, 下水管道的PHY層, 就是連接2F interposer下水管道轉彎處, source: Hynix

圖3: 記憶體廠跟晶圓代工廠的分工流程, source: researchgate

圖3-1: 分工流程, 本流程疑似貼好記憶體之後才切邏輯晶片 source: Hynix

圖4: 什麼是3D封裝, 什麼是2.5D封裝, source: PC Watch

• Hynix HBM summary, (2Q23法說)
• 繪圖DRAM(HBM) 營收比例由10%(4Q22)拉高到20%(2Q23).
• 24GB HBM3, 12L目前最大的容量, 之前都是8L.
• 2023 sales of (DDR5 128GB+ high-density modules + HBM) 銷售額增加兩倍(2x).
• 2H24 HBM3E量產, 每一世代大約走兩年, 預計HBM4於2026年推出. 之前是HBM2>3>3E.
• HBM（High Bandwidth Memory）與現在一般的通用的標準化的現成產品不同, 根據客戶的需求度量身訂做, 每年談合約一次, 可以說HBM沒有所謂的庫存問題
• 2021搶先發布HBM3才超越三星

• Samsung HBM summary, (2Q23法說)
• 三星目前量產HBM2 and HBM 2E. 而HMB3目前正在客戶端驗證, 等於落後Hynix一整個世代, 規格為8L 16Gb, 12L 24GB.
• 投資繼續增加, 明年需求倍增, 在未來5年內，預計將實現中高3x%的年複合增長率.
• New NCF film for HBM3. HBM PIM製程增加AI效能40%.

• Micron
• HBM3 Gen2 (HBM3E), 主打是1 beta製程HBM3 8L 24Gb 3Q23 sample out.
• HBM3 12L 36GB 1Q24 sample out.
• 與台積合作.

• HBM產能幾乎不會不足
• 量還很小, 只有個位數的占比, 提升空間很容易.
• 根據歷史, 韓廠在各種DRAM類型之間轉換相對迅速, 例如從PC DRAM轉向移動Mobile Ram, 可能僅需兩個禮拜到一個月的時間就能完成轉換.
• 之前DRAM價格急劇上漲的問題, 很大一部分歸咎於下游的模組製造廠, 交易商, 代理商, 或是各個終端硬體製造商參與炒作. 然而HBM才剛推出, 主要還是由記憶體原廠控制, 出貨量有限且晶片供應相對集中, 因此價格波動較小, 炒作空間有限.
• DRAM的行情開年來相對低迷, 其他應用需求差, 產能相對寬鬆.
• 感覺瓶頸不會在這邊, 更可能還是在foundry那一端.

• 接下來要解決的問題, 與股價有什麼相關
• HBM對於記憶體公司無直接相關, 量很小.
• 南亞科無受益, 或許以後會有產能排擠需求外溢到南亞科.
• 對於設備商或是週邊人的股價, 感覺會受益但不透明.
• 對於NVDA的股價, AI股災後目前已經不是重點.
• Capex問題, 有需要特殊製程特殊設備嗎? Towa, Tazmo等, 新設備出來, 沒看到有深度分析.
• 封裝問題, 也是號稱量身訂做很麻煩
• diesize記得很小, 研發基礎是DDR5.
• 大洞40um以上用CO2雷射, 小洞用UV雷射.
• 三星的HBM-PIM (記憶體內處理器，Processor In Memory)號稱能提升AI晶片效能.

source: 

https://en.wikipedia.org/wiki/High_Bandwidth_Memory

https://www.eetimes.eu/memory-bottlenecks-overcoming-a-common-ai-problem/

https://investors.micron.com/news-releases/news-release-details/meiguangfabusudurongliangaoshiyejiedegaopinkuanjiyitihbm

https://pc.watch.impress.co.jp/docs/column/kaigai/646660.html

https://www.researchgate.net/publication/291280306_3D_technology_with_application_to_high_bandwidth_and_processor-memory_modules 17頁討論TSV

https://www.formfactor.com/wp-content/uploads/S01_02_Loranger_SWTW2016-2.pdf SK Hynix的演講擷圖

https://www.inrevium.com/pickup/hbm/

https://www.inrevium.com/pickup/3d-integration-package/  應該就是InFO

AI Server主流規格

整理一下最近很紅的GPU Utils文章, 覺得很有幫助的地方是該文章從需求面出發, 剛好補足台灣市場用硬體來看的觀點.

• 規格面
• HGX 8顆H100為目前主流
• "訓練"階段仍以H100為主, 而且InfiniBand 很重要.
• 之後"推論"階段效能需求似乎較小, 例如可以用舊的就好, V100, 或是A100.
• H100綜合效能成本效益上依然划算.
• AMD比較上有風險, 主要也是時程落後大家不敢冒險.

• AI應用面
• 主要還是Chat GPT, LLM相關的模型應用
• 依然有新創公司再重新創造訓練新模型

• 零件交易面
• 缺貨潮中期待有新創倒閉就可以釋出A100, 西台灣礦卡商人又有事情做了嗎?
• 買家的說法倒是沒有聽過的, 說大家囤貨FOMO
• 討論的是缺貨時的分配方法, 提到疑似NVDA獨厚Oracle, 這真的很美國人的說法, 通篇充滿能做但不能說, 政確的態度.

• 時程表
• 3/13, Azure宣布H100s已經進入預購階段.
• 3/21, Oracle宣布H100s已經限量提供預購.
• 3/21, Lambda Labs宣布H100s將於4月初加入預購.
• 3/21, AWS宣布H100s將在未來幾週內開始提供預購.
• 5/10, Google Cloud宣布開始進行H100s的私人預購.
• 緯穎表示A100伺服器預計今(2023)年底至明年出貨, 出乎意料地晚耶奇怪.

• 目前各大公司H100在手的量約在千到萬顆之間
• [Companies]         [Units]                [Model]
• Meta           21,000 A100s GPT-4
• Tesla             7,000 A100s GPT-4
• Stability AI     5,000 A100s GPT-4
• Hugging Face        384 A100s Falcon-40B
• Inflection AI           3.5k H100s        GPT-3.5 Equiv.
• GCP               25k H100s Various models
• Azure         10k-40k H100s Various models
• Oracle         10k-40k H100s Various models
• CoreWeave 35k-40k H100s     Various models, base on order

source: 1 2