紅杉資本談AI演變階段

• 最大的核心問題是
• 不知道要幹嘛
• 應用很快, 速度很快, 一下就變換一下就淘汰
• 紅杉資本談演化的階段與預測review, 台灣主要討論硬體, 從創投的觀點看AI, 反而相對新鮮. 優點在於歸納總結了現象, 缺點是還是無法預測AI的終點在哪裡, 應用在哪裡? 

• AI發展得比想像中更快
• 市場一直搞不清楚什麼東西發展得很快, 什麼東西發展得很慢. 無法預估, 預估也沒意義. 股票反應就是反映了. 想出兩種可能性, 就是發展得很快, 不然就是發展得很慢. 例如所有人說半導體市場復甦, 會是在2H23, 結果到現在九月底都還沒有復甦.
• 大家覺得救星會到, 救星一定會遲到, 原因是如果真的有錢賺, 大家就會無限提早賺, 搞到最後就是提前到當下, 現在不賺, 預測也沒辦法, 如果預測的準, 那為什麼現在還會景氣差.
• 大家覺得災難(AI取代人類)不會來, 災難一定提早來, 只要有錢賺, 大家就會提早讓他實現. 所以當下就有蛛絲馬跡, 例如ChatGPT的盛行.

• 瓶頸在供應端在GPU
• 知道美國人習慣投資網路或是軟體, 台灣供應鏈擅長的是硬體. 但我錯估的是, 不知道美國供應鏈甚至創投, 跟我們的硬體認知會是如此分岐. 
• 這個分岐會持續下去, 還是會漸漸彌合呢? 我猜持續下去. 
• 有沒有套利空間呢? 下一個套利空間, 是不是oversupply, 或是意外斷供呢?
• 關於缺貨或是overbooking或是砍單(per艦長)
• 是否掌握最終需求在哪裡, 最終消費者在哪裡
• 市況已經成熟, 大家知道要多少量了嗎
• 徵兆
• 忽然不缺貨, 或被要求塞貨
• 台積砍單(但要是台積砍單), 謠言是否無處驗證?
• 新應用上線後, 用戶數狀況.
• 目前狀況
• 訂單仍然不滿足
• 新應用還沒上線

• 模型提供者尚未獨立出來成為一家公司
• 發現通常是應用端的公司, 自己養科學家弄AI, 自己養機器人, 而不是從外面請機器人來幫忙. 也就是說, 模型提供者獨立一家軟體公司或是平台, 目前還相對少見.
• 小公司可能需要外購AI的原因
• 便宜
• 買不起GPU, 不想花硬體錢, 跟之前租用雲端server的原因差不多, 但是還是要花錢養一批工程師團隊隨時幫忙修改.
• 不是科技業, 不想花錢養工程師.

• 小公司可能自己研發AI的原因
• 便宜
• 需求很難定義, 很難有功能量身訂做
• 商業機密不想要外流
• 花錢養一批工程師團隊隨時幫忙修改, 乾脆自己研發.

• 大公司可能需要外購AI的原因
• 便宜
• 內部鬥爭, 對目標不一致, 不想花硬體錢, 跟之前租用雲端server的原因差不多
• 不是科技業
• 大公司可能自己研發AI的原因
• 便宜, 規模經濟
• 需求很難定義, 很難有功能量身訂做
• 商業機密不想要外流
• 競爭環境殘酷且速度很快, 生長的速度快, 對手們投資速度也很快, 新功能發表也快. 戰國時代.

• 護城河不在於, 比其他人多出什麼數據
• 這一段看原文, 覺得還是有點看不懂.
• 大意是, 比別人擁有更多的數據, 並不會更有優勢. 只要有新的模型, 或是新科技就可以顛覆.
• 反而用戶網路(user network)跟工作流(workflow)才是更持久的競爭優勢.
• 另外一篇文章討論的是, 數據其實最後也可以買賣.
• 自給自足, 自己生產食材(數據), 自己機器人煮(AI料理)
• 自己的食材跟找代客料理的機器人.
• 外面買數據食材, 回來請自家機器人煮.
• 團購交換數據食材, 或是去數據potluck每個人貢獻一點, 請一位機器人大廚煮好再分給大家.

• 版權問題與監管問題, 最終我猜應該還是抵不過科技的浪潮

source: 1 2 3

矽光子思考

概念股

訊芯-KY, 破新高, 圖形很漂亮

眾達, 高點大量, 兩個頭, 又往下, 感覺無力. 相對好一點.

上詮, 線型很強勢.

光聖, 線型很強

聯鈞, 線型非常好

前鼎, 線型很強

智邦, 第二個頭, 線型怎麼會那麼奇怪

明泰, 線型很弱.

波若威, 線波動很大

聯亞, 普通

穎威, 普通, 之前9xx NVDA概念, 感覺上面一堆冤魂, 矽光子題材對他感覺不夠強.

旺矽, 感覺google放棄AVGO合作, 沒有什麼大影響.

光環, 很弱

日月光, 線型很弱.

台星科, 第一頭成形, 很不穩

矽格, 第一頭成形, 很不穩

華星光, 線型很弱.

明泰, 很弱, 第二個頭.

全新, 普通.

誰受害?

看法人動向

看財務報表

成本我覺得才是最大的動力, 效能變好一點, 但能整合且成本下降威力就很大.

我的筆記

用途

光波導(就是電路/ 電線)傳輸訊號

拉進去2.5D封裝建大樓在旁邊, 跟CoWoS很像的圖

省電, 降低訊號耗損

通訊模組規格將從目前正逐步拉高滲透率的400G提升至800G, 採用以矽光子, CPO打造的800G光通訊模組

foundry

與一般矽晶片相同, 技術成熟, 便宜量產

CMOS相關

直接看CAGR就好根本沒人搞的清楚TAM

次合作旨在生產下一代矽光子晶片，相關製程技術涵蓋45nm至7nm，預計最快將於2024年下半年開始迎來大單。台積電不僅正在積極推進矽光子技術，還在與博通（Broadcom）和輝達（Nvidia）等大客戶進行談判，共同開發以該技術為中心的應用.

各家終端廠商

矽光子及CPO商機爆發性可期，Meta、輝達、博通等全球科技巨擘都已投入相關研發，除了晶圓製造的台積電可望搶下大筆訂單之外，為封測、測試介面，以及光通訊等相關領域帶來的商機也備受期待。

Intel也做

Apple做的是血糖感測晶片

封測大廠日月光投控及旗下矽品都已經投入矽光子、CPO封裝技術研發，其中，日月光已經透過VIPack先進封裝平台卡位市場，目前雖然訂單量能仍占整體比重相當低，業界仍樂觀預期2024下半年相關業務量可望開始逐步攀升，2025年接單動能會明顯升溫，逐步成為日月光投控成長的新動能。

台星科、矽格及訊芯-KY等中小型封測廠也規劃跨入矽光子市場，隨著AI、高速運算崛起，矽格可望攜手台星科大啖矽光子封裝商機；訊芯-KY目前在矽光、CPO市場正在研發階段，樣品邁入交付客戶驗證階段，預期2025年接單動能將大增。

國外初創

lightmatter

Optelligence

Ayar Labs

Lightelligence

LightOn

矽光子挑戰

目前矽光子技術在元件整合上面臨挑戰，由於光子元件效能為溫度和路徑相當敏感，製成中的線寬與線距對光訊號影響大，欲開發更高效能的光子元件結構和製成，必須擁有一個溝通平台，提供光電廠商設計規格、材料、參數等資訊整合。其次短期內矽光子主要仍應用於利基市場，目前多屬於客製化服務，缺乏統一平台將阻礙矽光子技術發展，且封裝製程與材料標準仍處在待建立階段，若未有統一規格，難以大量導入資料中心等廣大市場。

光通訊領導廠商華星光於 9/14 召開法說會，說明目前市場主流仍為 400G、800G 產品，可插拔式模組在 1.6T、3.2T 產品中仍不會被 CPO 取代，華星光預估 2026 年 CPO 應用市場規模達3億美元，表示 CPO 等矽光子技術在 2026 年以後才會開始普及。代表目前矽光子技術難以對營收有顯著貢獻，此狀況在其他矽光子與 CPO 概念股也是如此，觀察該產業類股的營收表現，目前矽光子技術對營收的貢獻微乎其微。

出貨量預估

---

忽然看懂他在說什麼, 因為之前寫CoWoS的東西的關係, 完全看懂substrate的東西

推薦大家閱讀清單/ source, 看完再看我的筆記:

https://www.ntdtv.com.tw/b5/20230906/video/372797.html?%E5%9C%8B%E9%9A%9B%E5%8D%8A%E5%B0%8E%E9%AB%94%E5%B1%95%E4%BB%8A%E7%99%BB%E5%A0%B4%20%E5%A4%A7%E5%BB%A0%E8%AB%87%E7%9F%BD%E5%85%89%E5%AD%90%E6%8A%80%E8%A1%93

https://www.sinotrade.com.tw/richclub/industry/-64fff3c91f22e70794cf4156?utm_source=CS

https://money.udn.com/money/story/5612/7430267

https://tw.news.yahoo.com/%E5%8F%B0%E7%A9%8D%E9%9B%BB%E6%8A%BC%E6%B3%A8%E7%9F%BD%E5%85%89%E5%AD%90%E6%99%B6%E7%89%87-%E5%B0%87%E6%88%90%E4%B8%8B-%E6%B3%A2ai%E9%A2%A8%E6%BD%AE-031436899.html

https://dop.nycu.edu.tw/ch/page.html?tID=162

https://www.stockfeel.com.tw/%E7%9F%BD%E5%85%89%E5%AD%90-%E7%9F%BD%E5%85%89%E5%AD%90%E6%A6%82%E5%BF%B5%E8%82%A1-%E7%9F%BD%E5%85%89%E5%AD%90%E4%BE%9B%E6%87%89%E9%8F%88/

https://pdf.dfcfw.com/pdf/H3_AP202302131583074603_1.pdf?1676285160000.pdf

HBM 2Q23想法

• 結論
• HBM不會缺貨
• Foundry端可能更是瓶頸, 加工流程複雜甚至不透明.
• 有沒HBM的人, 跟沒HBM的人的差別, 是否拉開? 南亞科是否沒戲唱

                        

• HBM不同一般DRAM
• 封裝就是收納, 斷捨離, less is more.
• 3D堆疊就是建捷運共構宅.
• 比GDDR速度更快, 頻寬更大例如1TB以上.
• 效能更好, 更省電.
• density一開始是8Gb, 後來大量提高到24GB. 
• MPGA封裝(microbump=ubump, 見圖2)
• FPGA也要用HBM

• TSV製程一個layer約5000道TSV, 高度會調到CPU一致,
• 一組CPU配四個HBM(A100配6個), 與foundry的CoWoS配合.
• SONY CIS之前就用TSV用很兇.
• 新技術量產時間短, 設備數量有限, 長期的可靠性問題
• 可以foundry(via middle)做也可以OSAT做(via last)
• 主要玩家是Hynix, 主要拿到NVDA大客戶.
• 最底下用interposer連接CPU, 最下面是封裝基板.
• RDL是interposer上面的布線, HBM沒人管這個.
• TSV是穿過interposer來往DRAM與CPU, 或往下到封裝基板(圖2-1).
• interposer用矽, 可能演變使用樹脂.
• 2.5D 就是建在CPU旁邊, 3D是跟CPU捷運共構
• 貴且工序複雜
• 堆疊的熱處理

圖1, 社區大樓的建置, source: Micron

圖2, 社區大樓的下水管道建置, 注意TSV通道最上層的DRAM不用經過, source: Micron

圖2-1, 社區大樓的下水管道建置, interposer就是管道間, source: PC Watch

圖2-3, 下水管道的PHY層, 就是連接2F interposer下水管道轉彎處, source: Hynix

圖3: 記憶體廠跟晶圓代工廠的分工流程, source: researchgate

圖3-1: 分工流程, 本流程疑似貼好記憶體之後才切邏輯晶片 source: Hynix

圖4: 什麼是3D封裝, 什麼是2.5D封裝, source: PC Watch

• Hynix HBM summary, (2Q23法說)
• 繪圖DRAM(HBM) 營收比例由10%(4Q22)拉高到20%(2Q23).
• 24GB HBM3, 12L目前最大的容量, 之前都是8L.
• 2023 sales of (DDR5 128GB+ high-density modules + HBM) 銷售額增加兩倍(2x).
• 2H24 HBM3E量產, 每一世代大約走兩年, 預計HBM4於2026年推出. 之前是HBM2>3>3E.
• HBM（High Bandwidth Memory）與現在一般的通用的標準化的現成產品不同, 根據客戶的需求度量身訂做, 每年談合約一次, 可以說HBM沒有所謂的庫存問題
• 2021搶先發布HBM3才超越三星

• Samsung HBM summary, (2Q23法說)
• 三星目前量產HBM2 and HBM 2E. 而HMB3目前正在客戶端驗證, 等於落後Hynix一整個世代, 規格為8L 16Gb, 12L 24GB.
• 投資繼續增加, 明年需求倍增, 在未來5年內，預計將實現中高3x%的年複合增長率.
• New NCF film for HBM3. HBM PIM製程增加AI效能40%.

• Micron
• HBM3 Gen2 (HBM3E), 主打是1 beta製程HBM3 8L 24Gb 3Q23 sample out.
• HBM3 12L 36GB 1Q24 sample out.
• 與台積合作.

• HBM產能幾乎不會不足
• 量還很小, 只有個位數的占比, 提升空間很容易.
• 根據歷史, 韓廠在各種DRAM類型之間轉換相對迅速, 例如從PC DRAM轉向移動Mobile Ram, 可能僅需兩個禮拜到一個月的時間就能完成轉換.
• 之前DRAM價格急劇上漲的問題, 很大一部分歸咎於下游的模組製造廠, 交易商, 代理商, 或是各個終端硬體製造商參與炒作. 然而HBM才剛推出, 主要還是由記憶體原廠控制, 出貨量有限且晶片供應相對集中, 因此價格波動較小, 炒作空間有限.
• DRAM的行情開年來相對低迷, 其他應用需求差, 產能相對寬鬆.
• 感覺瓶頸不會在這邊, 更可能還是在foundry那一端.

• 接下來要解決的問題, 與股價有什麼相關
• HBM對於記憶體公司無直接相關, 量很小.
• 南亞科無受益, 或許以後會有產能排擠需求外溢到南亞科.
• 對於設備商或是週邊人的股價, 感覺會受益但不透明.
• 對於NVDA的股價, AI股災後目前已經不是重點.
• Capex問題, 有需要特殊製程特殊設備嗎? Towa, Tazmo等, 新設備出來, 沒看到有深度分析.
• 封裝問題, 也是號稱量身訂做很麻煩
• diesize記得很小, 研發基礎是DDR5.
• 大洞40um以上用CO2雷射, 小洞用UV雷射.
• 三星的HBM-PIM (記憶體內處理器，Processor In Memory)號稱能提升AI晶片效能.

source: 

https://en.wikipedia.org/wiki/High_Bandwidth_Memory

https://www.eetimes.eu/memory-bottlenecks-overcoming-a-common-ai-problem/

https://investors.micron.com/news-releases/news-release-details/meiguangfabusudurongliangaoshiyejiedegaopinkuanjiyitihbm

https://pc.watch.impress.co.jp/docs/column/kaigai/646660.html

https://www.researchgate.net/publication/291280306_3D_technology_with_application_to_high_bandwidth_and_processor-memory_modules 17頁討論TSV

https://www.formfactor.com/wp-content/uploads/S01_02_Loranger_SWTW2016-2.pdf SK Hynix的演講擷圖

https://www.inrevium.com/pickup/hbm/

https://www.inrevium.com/pickup/3d-integration-package/  應該就是InFO