LLM 推論解決方案生態系有哪些參與者?

簡短答案

LLM 推論生態不只包含 NVIDIA、Google、OpenAI、Anthropic、Meta 這類最常被提到的公司。完整地圖至少要看六層:

1. GPU / accelerator:NVIDIA、AMD、Intel
2. 雲端自研 ASIC:AWS、Google、Microsoft
3. 客製 ASIC / 互連:Broadcom
4. 專用推論加速器:Cerebras、SambaNova、Tenstorrent、Groq 等
5. 製造與元件:TSMC、SK hynix、Samsung、Micron、ASML
6. 系統整合與軟體:Dell、HPE、Supermicro、Lenovo、vLLM、TensorRT-LLM、SGLang

這些參與者分別處理 記憶體頻寬瓶頸KV Cache 成長、自迴歸解碼順序性、供應鏈產能、資料中心部署與 serving software 效率。

Caveat

來源提供的是研究筆記而非已附 citation 的產業資料。公司產品規格、併購事件、2026 年時點與 benchmark 都需核驗;目前本頁保存的是分類框架,不把每個規格視為已確認事實。

相關頁面