LPDDR
定義
LPDDR(Low Power DDR)是低功耗 DRAM 變體,原多用於行動裝置。來源把 LPDDR 視為 AI 推論中低功耗、空間效率較高的容量擴展選項,可作為 HBM 外的較冷或較暖記憶體層。
AI 推論角色
來源主張 LPDDR 可用於 KV cache offload、低功耗容量擴展、邊緣 AI 或能耗敏感的資料中心推論。它的定位不是取代 HBM,而是以較低功耗承接部分容量需求。
來源主張(待核驗)
- Micron LPDDR5X 可達 1.5TB/CPU。
- LPDDR 與 HBM 結合可能降低 time-to-first-token(TTFT)並提高 batch size。
- 功耗低於標準 DDR5,但頻寬低於 HBM。
主要限制
- 頻寬與延遲不一定適合最熱資料。
- 資料中心平台支援、容量形態與軟體 placement 仍需核驗。
相關頁面
來源
資料中心化與量產彈性
來源主張 LPDDR 是 RAM 短缺下最易規模化的候選之一,因為行動裝置低功耗 DRAM 產線成熟,若 server module / CPU platform 支援成熟,可從消費級需求轉向資料中心推論場景。需要核驗的是 LPDDR6 / SOCAMM 類規格、單模組容量、實際伺服器採用與 KV cache offload 效能。
作為中低功耗推論補位
來源主張 LPDDR6 與類似低功耗記憶體可用於中低功耗推論,作為 RAM 短缺下的補位方案。此路線的核心不是取代 HBM 訓練,而是在容量、功耗、封裝成本與產線成熟度之間取得折衷。
KV Cache offload 可能性
新來源補充 LPDDR 在推論中的可能角色:對本地或成本敏感推論,LPDDR/UMA 可承擔部分模型權重或 KV Cache,但 bandwidth/latency 低於 HBM,適合性取決於模型大小與 tokens per second 需求。