LPDDR

定義

LPDDR(Low Power DDR)是低功耗 DRAM 變體,原多用於行動裝置。來源把 LPDDR 視為 AI 推論中低功耗、空間效率較高的容量擴展選項,可作為 HBM 外的較冷或較暖記憶體層。

AI 推論角色

來源主張 LPDDR 可用於 KV cache offload、低功耗容量擴展、邊緣 AI 或能耗敏感的資料中心推論。它的定位不是取代 HBM,而是以較低功耗承接部分容量需求。

來源主張(待核驗)

  • Micron LPDDR5X 可達 1.5TB/CPU。
  • LPDDR 與 HBM 結合可能降低 time-to-first-token(TTFT)並提高 batch size。
  • 功耗低於標準 DDR5,但頻寬低於 HBM。

主要限制

  • 頻寬與延遲不一定適合最熱資料。
  • 資料中心平台支援、容量形態與軟體 placement 仍需核驗。

相關頁面

來源

資料中心化與量產彈性

來源主張 LPDDR 是 RAM 短缺下最易規模化的候選之一,因為行動裝置低功耗 DRAM 產線成熟,若 server module / CPU platform 支援成熟,可從消費級需求轉向資料中心推論場景。需要核驗的是 LPDDR6 / SOCAMM 類規格、單模組容量、實際伺服器採用與 KV cache offload 效能。

作為中低功耗推論補位

來源主張 LPDDR6 與類似低功耗記憶體可用於中低功耗推論,作為 RAM 短缺下的補位方案。此路線的核心不是取代 HBM 訓練,而是在容量、功耗、封裝成本與產線成熟度之間取得折衷。

KV Cache offload 可能性

新來源補充 LPDDR 在推論中的可能角色:對本地或成本敏感推論,LPDDR/UMA 可承擔部分模型權重或 KV Cache,但 bandwidth/latency 低於 HBM,適合性取決於模型大小與 tokens per second 需求。