4 套单机头配置，按使用场景分开。8 张 GPU 在各方案里都一样，区别在平台、PCIe 拓扑、CPU、内存、存储和网络。
没有 NVLink，GPU 之间只能走 PCIe 通信。卡挂在哪里，决定了多卡通信效率。
在线 API、高并发。稳定跑 vLLM / SGLang，吞吐高，7×24 运行。
| 平台 | 双路 EPYC 9005，4U 8 GPU，CPU 直连 GPU |
| CPU | 2× EPYC 9355（32 核，高主频） |
| 内存 | 24× 48GB 或 64GB DDR5-6400 = 1.15–1.5 TB |
| 系统盘 | 2× 960GB NVMe RAID1 |
| 数据盘 | 2× 7.68TB NVMe Gen5（放模型权重） |
| 网络 | 2× 25GbE 或 100GbE（对外提供服务） |
| 电源 | 4× 2700W 冗余 |
全参、LoRA、预训练实验。8 卡之间通信效率最高，数据供给跟得上。
| 平台 | 带 PCIe Gen5 Switch 的 4U 8 GPU 机型，或 NVIDIA RTX PRO Server 参考设计（ConnectX-8 SuperNIC 做交换） |
| CPU | 2× EPYC 9555（64 核） |
| 内存 | 24× 96GB DDR5-6400 = 2.3 TB（最低 1.5TB） |
| 系统盘 | 2× 960GB NVMe RAID1 |
| 数据盘 | 4–8× 15.36TB NVMe Gen5，总容量 60 TB+ |
| 网络 | 1–2× ConnectX-7 400G（为以后扩多机预留）+ 25GbE 管理网 |
| 电源 | 4× 3000W 冗余 |
推理和训练兼顾，适合团队做开发、测试、跑实验。
| 平台 | 单路 EPYC 9005 + PCIe Switch 的 4U 8 GPU 机型 |
| CPU | 1× EPYC 9555P（64 核，P 系列为单路专用型号） |
| 内存 | 12× 64GB 或 96GB DDR5-6400 = 768 GB–1.15 TB |
| 系统盘 | 1× 1.92TB NVMe |
| 数据盘 | 2× 7.68TB NVMe |
| 网络 | 板载 10 / 25GbE |
| 电源 | 4× 2000W 以上冗余 |
多人同时使用，或者做 Omniverse、渲染、数字孪生和仿真，发挥 RT Core 和图形能力。
| 平台 | 双路 EPYC 9005，4U 8 GPU，CPU 直连 |
| CPU | 2× EPYC 9655（96 核）或 9755（128 核） |
| 内存 | 24× 96GB 或 128GB = 2.3–3 TB |
| 系统盘 | 2× 1.92TB NVMe RAID1 |
| 数据盘 | 4× 15.36TB NVMe（虚拟机镜像、素材库） |
| 网络 | 2× 100GbE（远程桌面、素材传输） |
| 电源 | 4× 3000W 冗余 |
| 软件 | NVIDIA vGPU (vWS) 授权 + Proxmox / VMware，或 K8s + MIG |
单台满载 3.5–4.5 kW，需要 220V 专线（32A）+ UPS。
需要机房或空调间，满载噪音 75 dB 以上，不能放办公室。
4U 高，深度 90 cm 以上的标准机柜，带导轨。
驱动 R570 及以上（open kernel module）+ CUDA 12.8 及以上，PyTorch 用 cu128 版本；推理用 vLLM / SGLang。
打开 Above 4G Decoding 和 Resizable BAR，PCIe 设为 Gen5；需要 P2P 时 IOMMU 设为 passthrough。
确认渠道、版本（国内可能是 6000D 等专供版）和保修；机型要选厂商已验证过 RTX PRO 6000 Max-Q 的型号。
可参考的 4U 8 GPU 准系统：Supermicro AS-4125GS-TNRT、ASUS ESC8000A-E13、Gigabyte G494 / G493 系列。具体型号和 GPU 兼容性以厂商最新验证列表为准。