Groq

摘要

Groq 是來源中提到的 LPU / Language Processing Unit 公司。來源主張其以大量 on-chip SRAM 與可預測執行模型改善 LLM 自迴歸 decode latency。

來源主張 / 待核驗

• LPU 架構在 production LLM serving 中的 throughput、latency 與成本。
• 晶片內 SRAM 對 KV Cache、權重讀取與 decode path 的實際限制。
• 來源稱 Groq 於 2025 年底被 NVIDIA 收購；此為高影響事件，必須以併購公告或監管文件核驗後才能視為事實。

相關頁面

• AI推論硬體生態系
• LLM推論優化技術堆疊