GPU 服務器入門：顯存、互聯與選型口徑

GPU 服務器的選型邏輯與 CPU 服務器完全不同：CPU 看核數與主頻，GPU 先看顯存——裝不下模型，算力再高也是零。本篇是入門科普：顯存怎麼估、互聯是什麼、代際怎麼讀，最後給本站在售檔位的真實錨點。本文屬於服務器選型中心系列的 AI 基礎設施分支。

第一問：顯存裝不裝得下

經驗口徑（業界通行粗算，非精確值）：推理顯存 ≈ 參數量 × 每參數字節數 × 1.2（運行時開銷）。FP16 每參數 2 字節：7B 模型 ≈ 7×2×1.2 ≈ 17GB——一張 16G 卡裝不下全精度，要麼上 32G 卡，要麼量化（INT8 減半、INT4 減到四分之一，精度損失需實測評估）。訓練另算：梯度與優化器狀態通常是推理的 3–4 倍顯存。結論：先定模型與精度，再定卡，最後才是價錢——順序反了必買錯。

第二問：互聯帶不帶得動

• 單卡夠用時：不用關心互聯，PCIe 插穩即可；
• 多卡張量並行：卡間要頻繁交換激活值，PCIe 通道會成爲瓶頸——NVLink 類專用互聯（NVIDIA 私有）或高帶寬 PCIe 拓撲（同一 root complex 下）差距明顯；
• 多機訓練：網絡互聯（10G/25G/100G）與 RDMA 幫助進入決策——本站 10G/20G/40G 端口檔獨服即爲此類負載準備（見端口計價科普）。

第三問：整機撐不撐得住

GPU 滿載是「電老虎 + 火爐」：單卡功耗從百瓦級（推理卡）到數百瓦（訓練旗艦）不等，雙卡滿載對電源冗餘、機箱風道、機房制冷都是真實壓力。買整機看三點：電源瓦數留沒留餘量、GPU 是被動散熱（依賴機箱風道，機房級）還是主動風扇、EPYC/至強平臺的 PCIe 通道數夠不夠分。這也是 GPU 獨服比同 CPU 配置貴出一截的原因之一——貴在配套，不只貴在卡。

代際怎麼讀：一張表

口徑提醒：代際表是公開資料的常識整理；具體卡型的價錢與庫存波動大，本站不發布無貨源的卡型價目——在售即真實：本站當前 GPU 檔錨點爲 HK 節點 EPYC 7502×2/64G/800G SSD + V100 配置 $2278.80/月（主站目錄實價，AX-S211 同系）。新代際卡型是否上架以在售配置頁實時爲準。

推理、微調、訓練：三檔需求對照

• 推理服務：顯存≥模型需求即可，重吞吐與延遲——單卡中端 + 高主頻 CPU 預處理，成本敏感選上代旗艦（V100 類）；
• 微調（LoRA/QLoRA）：單卡大顯存（24G+）多數場景夠用，QLoRA 可再壓顯存需求——不必上多卡；
• 全量訓練：多卡 + 高速互聯 + 大內存 + NVMe 數據集盤，預算按「卡錢 × 3」估整機——這類需求建議先租後買驗證。

三個高頻誤區

• 誤區一：消費卡改裝機能省一半——RTX 4090 類消費卡的單卡算力確實亮眼，但無 ECC 顯存、無被動散熱版本（依賴機箱風扇，機櫃密度上不去）、驅動許可條款對數據中心部署有限制（NVIDIA EULA 對 datacenter 部署的約束是公開條款）——機房託管場景，消費卡的「省」會在穩定性與合規上加倍還回去；
• 誤區二：顯存越大跑得越快——顯存決定「裝不裝得下」，速度由算力（FLOPS）、顯存帶寬（HBM vs GDDR 差數倍）與調度效率共同決定；推理延遲敏感場景要看顯存帶寬與 batch 策略，不是只看容量；
• 誤區三：直接買斷最劃算——GPU 代際更替快（約兩年一代），負載未定型前按月租（$2278.80/月檔）驗證業務，負載穩定 12 個月以上再評估買斷——租賃把代際貶值風險留給供給方，這是它貴的道理。

收貨驗證與避坑命令

# ① 驅動與卡識別（nvidia-smi 是 GPU 運維的 free -h）
nvidia-smi
# ② 顯存與型號核對配置單
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
# ③ 滿載壓力測試 10 分鍾（看溫度曲線與降頻）
# 先裝 cuda-samples 或用推理框架壓測，觀察：
nvidia-smi dmon -s pucm -c 60   # 每秒採樣功耗/利用率/顯存/溫度
# ④ PCIe 鏈路寬度與速率（x16 Gen4 才餵得飽新卡）
lspci | grep -i nvidia && sudo lspci -vv -s $(lspci | grep -i nvidia | head -1 | cut -d" " -f1) 2>/dev/null | grep -E "LnkSta:"
# ⑤ 卡間帶寬（多卡必測，跑 nccl-tests 的 all_reduce_perf）
nvidia-smi topo -m   # 先看拓撲：NV# 爲 NVLink，PIX/PHB 爲 PCIe 層級

下一步

選型口徑總結：顯存定卡型、互聯定拓撲、配套定整機、價錢最後談。第一次採購 GPU 算力的建議路徑：先用最小檔位把模型跑通、把顯存佔用與吞吐實測清楚（nvidia-smi dmon 記錄一周），再決定是否放大——「先驗證後擴容」在 GPU 上的容錯價值比 CPU 服務器大得多，因爲單次決策金額高一個量級。AI 負載的機房與線路選擇（大文件傳輸、跨區數據同步）參考地區與機房中心；GPU 檔實價與到貨情況看在售配置；AI 基礎設施的路線圖邊界見下一篇科普，全景回選型中心。