AI 晶片三層技術堆疊

核心框架

AI 晶片三層技術堆疊將 AI accelerator 的瓶頸分成三類:

  1. Compute / 邏輯運算層:先進製程、Nanosheet、GPU、CPU、XPU、AI accelerator。
  2. 3D Integration / 先進封裝層CoWoSSoIC、TSV、2.5D/3D integration、HBM integration。
  3. Photonics / 高速連接層矽光子Co-packaged Optics、CPO switch、光學收發器、1.6T / 200G-per-lane interconnect。

這個框架補強 AI基礎設施五層堆疊:AI 五層看 demand / capex 如何從應用傳到能源;AI 三層看晶片層如何在物理上繼續 scaling。

分層公司地圖

需求傳導

模型更大 / 推論更多 / 叢集更大

更多 GPU/XPU + HBM

CoWoS / SoIC / TSV / thermal management 瓶頸

更高頻寬、更低功耗互連需求

矽光子 / CPO / 1.6T optical network

主要張力

  • 先進製程提高電晶體密度,但 memory wall 與 interconnect wall 需要封裝與光互連解決。
  • HBM 需求增加時,CoWoS / SoIC / OSAT / 設備供應鏈可能成為瓶頸。
  • CPO / silicon photonics 可能降低每 bit 能耗,但導入需要平台標準、良率、可維修性與客戶採用。
  • 台積電處於技術中樞,但美股供應鏈收益會分散到 GPU、ASIC、OSAT、equipment、optical components 與 networking equipment。

需要觀察的證據

  • 台積電法說 / 技術論壇對 AI 三層、CoWoS、SoIC、silicon photonics / COUPE 的正式說明。
  • CoWoS capacity、良率、ASP、客戶分配與擴產速度。
  • AI ASIC / XPU 客製化案量是否從 NVIDIA GPU 之外分流。
  • CPO switch、silicon photonics engine、200G / 1.6T optical interconnect 的實際部署。

張曉強來源補充的策略含義

新來源把 AI 三層技術堆疊從「技術分類」推進為台積電的 platform strategy:台積電不只是代工先進邏輯晶片,而是用 2nm/Nanosheet、CoWoS/SoIC、矽光子/COUPE 把 AI accelerator 從平面晶片推向立體整合與光學互聯。此來源也把推論需求與 Token Economics Flywheel 連接,說明為何 inference adoption 可能持續拉動三層供應鏈。

COUPE 將 Photonics 層具體化

新來源讓 Photonics 層從抽象的「矽光子 / CPO」具體化為 COUPE:一個來源主張由台積電主導、結合 SoIC-X、EIC/PIC、MRM、CPO 與 CoWoS 的 photonic engine platform。此更新使 AI 晶片三層堆疊的第三層可追蹤具體催化因素:200Gbps MRM 量產、BER、客戶採用、CPO switch 產品與供應鏈分工。

CoWoS vs COUPE 比較補充

新來源把 AI 晶片三層技術堆疊中第二、第三層的差異具體化:第二層的 CoWoS 解決 package-level memory wall;第三層的 COUPE 解決 cluster-level interconnect wall。新增 CoWoS與COUPE技術比較 作為 reusable synthesis。

COUPE 美股生態系補充

新來源把第三層 Photonics 的供應鏈拆開:TSM 掌握 platform / manufacturing,NVDA/AVGO 可能是 system adopters,COHR/LITE 提供 optical components,SNPS/ANSS/CDNS 支援 design enablement。這強化了光互連不是單一零件,而是 platform ecosystem。

Compute 放緩、CoWoS/HBM 與 COUPE 放大器

新來源把三層堆疊具體化為投資/技術分工:Compute layer 仍有 N2/N2P/A16 等 roadmap,但 High-NA EUV 的成本使微縮 ROI 更需審慎;3D Integration layer 的重點是 HBM堆疊CoWoS 的互補;Photonics layer 則由 COUPE / CPO 處理資料中心級互連。

技術重要性與當前利潤池不同

新來源提醒:三層的技術重要性不等同於目前利潤貢獻。Compute layer 仍是台積電主要現金流來源;advanced packaging / CoWoS 可能改善 margin mix;photonics / COUPE 目前更偏向 long-duration optionality。

CAGR 與絕對貢獻的差異

新來源提醒:三層 scaling 的 CAGR 不能直接轉換成台積電收入或利潤貢獻。第二層可能擴張最快,但第一層仍可能創造最大絕對增量;第三層的市場 CAGR 不能等同於 COUPE revenue CAGR。