GPU 服务器入门：显存、互联与选型口径

GPU 服务器的选型逻辑与 CPU 服务器完全不同：CPU 看核数与主频，GPU 先看显存——装不下模型，算力再高也是零。本篇是入门科普：显存怎么估、互联是什么、代际怎么读，最后给本站在售档位的真实锚点。本文属于服务器选型中心系列的 AI 基础设施分支。

第一问：显存装不装得下

经验口径（业界通行粗算，非精确值）：推理显存 ≈ 参数量 × 每参数字节数 × 1.2（运行时开销）。FP16 每参数 2 字节：7B 模型 ≈ 7×2×1.2 ≈ 17GB——一张 16G 卡装不下全精度，要么上 32G 卡，要么量化（INT8 减半、INT4 减到四分之一，精度损失需实测评估）。训练另算：梯度与优化器状态通常是推理的 3–4 倍显存。结论：先定模型与精度，再定卡，最后才是价格——顺序反了必买错。

第二问：互联带不带得动

• 单卡够用时：不用关心互联，PCIe 插稳即可；
• 多卡张量并行：卡间要频繁交换激活值，PCIe 通道会成为瓶颈——NVLink 类专用互联（NVIDIA 私有）或高带宽 PCIe 拓扑（同一 root complex 下）差距明显；
• 多机训练：网络互联（10G/25G/100G）与 RDMA 支持进入决策——本站 10G/20G/40G 端口档独服即为此类负载准备（见端口计价科普）。

第三问：整机撑不撑得住

GPU 满载是「电老虎 + 火炉」：单卡功耗从百瓦级（推理卡）到数百瓦（训练旗舰）不等，双卡满载对电源冗余、机箱风道、机房制冷都是真实压力。买整机看三点：电源瓦数留没留余量、GPU 是被动散热（依赖机箱风道，机房级）还是主动风扇、EPYC/至强平台的 PCIe 通道数够不够分。这也是 GPU 独服比同 CPU 配置贵出一截的原因之一——贵在配套，不只贵在卡。

代际怎么读：一张表

口径提醒：代际表是公开资料的常识整理；具体卡型的价格与库存波动大，本站不发布无货源的卡型价目——在售即真实：本站当前 GPU 档锚点为 HK 节点 EPYC 7502×2/64G/800G SSD + V100 配置 $2278.80/月（主站目录实价，AX-S211 同系）。新代际卡型是否上架以在售配置页实时为准。

推理、微调、训练：三档需求对照

• 推理服务：显存≥模型需求即可，重吞吐与延迟——单卡中端 + 高主频 CPU 预处理，成本敏感选上代旗舰（V100 类）；
• 微调（LoRA/QLoRA）：单卡大显存（24G+）多数场景够用，QLoRA 可再压显存需求——不必上多卡；
• 全量训练：多卡 + 高速互联 + 大内存 + NVMe 数据集盘，预算按「卡钱 × 3」估整机——这类需求建议先租后买验证。

三个高频误区

• 误区一：消费卡改装机能省一半——RTX 4090 类消费卡的单卡算力确实亮眼，但无 ECC 显存、无被动散热版本（依赖机箱风扇，机柜密度上不去）、驱动许可条款对数据中心部署有限制（NVIDIA EULA 对 datacenter 部署的约束是公开条款）——机房托管场景，消费卡的「省」会在稳定性与合规上加倍还回去；
• 误区二：显存越大跑得越快——显存决定「装不装得下」，速度由算力（FLOPS）、显存带宽（HBM vs GDDR 差数倍）与调度效率共同决定；推理延迟敏感场景要看显存带宽与 batch 策略，不是只看容量；
• 误区三：直接买断最划算——GPU 代际更替快（约两年一代），负载未定型前按月租（$2278.80/月档）验证业务，负载稳定 12 个月以上再评估买断——租赁把代际贬值风险留给供给方，这是它贵的道理。

收货验证与避坑命令

# ① 驱动与卡识别（nvidia-smi 是 GPU 运维的 free -h）
nvidia-smi
# ② 显存与型号核对配置单
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
# ③ 满载压力测试 10 分钟（看温度曲线与降频）
# 先装 cuda-samples 或用推理框架压测，观察：
nvidia-smi dmon -s pucm -c 60   # 每秒采样功耗/利用率/显存/温度
# ④ PCIe 链路宽度与速率（x16 Gen4 才喂得饱新卡）
lspci | grep -i nvidia && sudo lspci -vv -s $(lspci | grep -i nvidia | head -1 | cut -d" " -f1) 2>/dev/null | grep -E "LnkSta:"
# ⑤ 卡间带宽（多卡必测，跑 nccl-tests 的 all_reduce_perf）
nvidia-smi topo -m   # 先看拓扑：NV# 为 NVLink，PIX/PHB 为 PCIe 层级

下一步

选型口径总结：显存定卡型、互联定拓扑、配套定整机、价格最后谈。第一次采购 GPU 算力的建议路径：先用最小档位把模型跑通、把显存占用与吞吐实测清楚（nvidia-smi dmon 记录一周），再决定是否放大——「先验证后扩容」在 GPU 上的容错价值比 CPU 服务器大得多，因为单次决策金额高一个量级。AI 负载的机房与线路选择（大文件传输、跨区数据同步）参考地区与机房中心；GPU 档实价与到货情况看在售配置；AI 基础设施的路线图边界见下一篇科普，全景回选型中心。