高階 SSD
定義
高階 SSD 指 PCIe Gen5/Gen6 NVMe 等高性能固態硬碟。相對 HBM、HBF、CXL Memory 或 LPDDR，SSD 在 AI 推論記憶體階層中通常更靠近冷資料層：容量大、成本低，但延遲較高。
AI 推論角色
來源主張高階 SSD 可用於模型權重載入、冷資料儲存、Mixture-of-Experts（MoE）專家權重卸載。若搭配 prefetching，可隱藏部分延遲，但仍難取代 HBM/HBF 的即時讀取角色。
優缺點
- 優點：容量大、每 GB 成本低、供應鏈成熟。
- 缺點：延遲通常為微秒至毫秒級，高於記憶體層；讀取能耗與資料搬移也可能成為瓶頸。
相關頁面
來源
推論冷資料與快速供給
高階 SSD 的生產優勢來自成熟 3D NAND Flash 產能與最低每 GB 成本。它較適合冷資料、模型權重 offload、MoE expert storage 或低頻讀取層；是否能承接更即時的推論工作，取決於 weight streaming、cache hierarchy、NVMe / fabric 延遲與軟體調度。
冷資料與權重載入角色
新來源補充：高階 SSD 更適合冷資料、權重載入、MoE expert storage 或低頻 offload，不適合作為最熱 decode path 的 KV Cache 主層。