---
title: "现代AI数据中心（万卡级）架构与资本支出详细拆解测算分析"
created: 2026-05-06
updated: 2026-05-06
type: summary
tags: [AI, capex, datacenter, notes, telegram]
external: http://go/ui/posts/2520/
status: inbox
---

这是一份针对现代 AI 数据中心（AI Data Center）架构与资本支出（CapEx）的详细拆解测算报告。

与传统数据中心相比，AI 数据中心的核心特征在于**极高的功率密度**（单机柜往往从传统 5-10kW 飙升至 40-100kW 以上）以及**算力硬件成本的绝对主导地位**。从机器学习和底层运维的视角来看，这种基础设施的变迁不仅改变了集群的拓扑结构，也深刻影响了产业链的价值分布。

---

### 一、 现代 AI 数据中心核心组件构成

一个标准的大型 AI 数据中心（例如万卡级别集群）主要由以下五大子系统构成：

**1. 算力与计算设备 (Compute & Servers)**
这是数据中心的心脏，也是成本的绝对大头。
*   **GPU 节点：** 通常以 8 卡服务器为一个基础单元（如基于 NVIDIA HGX 架构的服务器）。包含 GPU 加速卡、基板、NVLink 交换芯片等。
*   **通用计算与内存：** 配合 GPU 调度的双路高性能 CPU（如 AMD EPYC 或 Intel Xeon），以及海量的高频 DDR5 内存。
*   **机箱与配件：** 准系统、主板、PCIe 5.0 交换芯片及网卡（NIC）。

**2. 网络与通信系统 (Networking)**
在分布式机器学习训练中，节点间的通信延迟直接决定了集群的有效算力（Scale-out 效率）。
*   **高速交换机：** InfiniBand (IB) 交换机或支持 RoCEv2 的超高性能以太网交换机。通常采用胖树（Fat-Tree）或无阻塞的 Spine-Leaf 拓扑。
*   **光模块 (Optical Transceivers)：** 800G 或 1.6T 光模块，用于连接网卡和交换机。在 AI 数据中心中，光模块的用量极大，成本占比显著。
*   **线缆与光纤：** AOC（有源光缆）、DAC（直连铜缆）及大量单模/多模光纤。

**3. 高性能存储系统 (Storage)**
为了防止在训练大模型时出现数据加载的 I/O 瓶颈（即 GPU 等待数据）。
*   **全闪存阵列：** 基于 NVMe SSD 的高性能并行文件系统（如 Lustre、GPFS）。
*   **温/冷数据存储：** 用于存放检查点（Checkpoints）和原始数据集的大容量机械硬盘（HDD）或对象存储集群。

**4. 供电与配电系统 (Power Infrastructure)**
AI 集群是“电老虎”，电力基础设施的稳定性至关重要。
*   **前端电网接入：** 变电站、高压变压器。
*   **备用电源：** 柴油发电机组和大型 UPS（不间断电源），以防断电导致训练中断和硬件损坏。
*   **末端配电：** 高压直流电（HVDC）系统、智能 PDU（电源分配单元）、列头柜。

**5. 散热与制冷系统 (Cooling & HVAC)**
面对单机柜动辄上百千瓦的热量，传统空调已经力不从心。
*   **液冷系统 (Liquid Cooling)：** 冷板式液冷（Direct-to-Chip）或浸没式液冷。包含 CDU（冷量分配单元）、冷却塔、水泵、管道和冷却液。
*   **精密空调：** CRAH（机房空调）、行级空调，用于处理服务器辐射到空气中的残余热量和辅助设备的散热。
*   **通风：** 包含热通道/冷通道封闭系统和大型风机。

---

### 二、 建造成本 (CapEx) 占比详细测算

为了进行有意义的测算，我们假设新建一个**10,000 张高端 GPU（如 H100 级别）**的标准 AI 数据中心集群。

*注：以下百分比为行业典型的估算区间。传统数据中心的 IT 设备与基础设施成本往往是 50% vs 50%，而在 AI 数据中心，由于 GPU 极其昂贵，IT 硬件的价值被极度放大。*

| 模块分类 | 具体组件 | 预估成本占比 | 测算说明与细节 |
| :--- | :--- | :---: | :--- |
| **算力设备** | GPU及服务器准系统 | **65% - 70%** | 单台 8 卡服务器价格通常在 30 万美元以上。一万卡集群仅 GPU 服务器本身成本就高达数亿美元。 |
| **网络设备** | 交换机、网卡、光模块 | **10% - 15%** | 网络是 AI 集群的第二大支出。特别指出的是，**光模块**的成本占比在快速上升，可能占到整个网络成本的 30% 以上。 |
| **存储设备** | NVMe 全闪存、对象存储 | **3% - 5%** | 尽管容量庞大，但在 GPU 昂贵的单价映衬下，占比相对较小。 |
| **机房基建** | 土地、建筑外壳、安防 | **2% - 4%** | 厂房土建的固定成本。 |
| **供配电** | 变压器、UPS、发电机 | **5% - 8%** | AI 集群需要成倍的电力冗余和更高规格的电气设备。 |
| **制冷通风** | 液冷 CDU、冷却塔、冷板 | **3% - 5%** | 若采用全液冷方案，初期投入高于传统风冷，但能显著降低 PUE（电源使用效率），节省后续的运营电费支出。 |
| **机柜与线缆**| 高承重机柜、综合布线 | **< 1%** | 物理承载结构。 |

---

### 三、 影响成本结构的三个核心变量

1.  **网络的溢价（InfiniBand vs Ethernet）：** 
    目前 NVIDIA 主导的 InfiniBand 网络在延迟和吞吐上表现最优，但价格高昂。如果底层软件栈（DevOps/ML Infra 团队）优化得当，采用基于 RoCE 的以太网方案（如 Arista 的设备配合 Broadcom 芯片），可以在一定程度上压低网络建设的整体占比。
2.  **制冷路线的拐点：**
    随着下一代 GPU（如 Blackwell 架构）功耗逼近 1000W/卡，风冷已经到达物理极限。液冷技术的普及不仅改变了机房的管线设计，也让制冷组件（如冷板、快插接头、冷却液）成为新建数据中心中增长最快的成本项之一。
3.  **机柜密度的抉择：**
    如果把算力高度集中（每个机柜放更多服务器），虽然可以节省机柜数量和占地面积，但对单个机柜的供电（需要 100kW+ 的 PDU）和散热（必须上液冷）提出了极高要求，这会增加基础设施侧的单位造价。

为了更直观地理解这些参数是如何相互影响的，我为您构建了一个 **AI 数据中心投资测算分析模型**。您可以在下方调整 GPU 集群的规模、单节点成本以及基础架构选项，实时观察总投资额和各个组件费用占比的动态变化。

<GenerateWidget height="750px" component_placeholder_id="im_c038ed85867e208a">
```json
{
  "widgetSpec": {
    "height": "750px",
    "prompt": "Create an interactive dashboard for an AI Data Center Cost Estimator in Chinese. Goal: Allow the user to adjust scale and architecture to see the Capital Expenditure (CapEx) breakdown. \n\nData State (Initial Values):\n- GPU Count (GPU 数量): 10000\n- Cost per 8-GPU Server ($M): 0.35\n- Network Type (网络架构): InfiniBand (adds a slight premium to network cost compared to RoCE Ethernet)\n- Cooling System (制冷方案): Liquid Cooling (液冷, slightly increases facility cooling percentage, reduces space).\n\nInputs:\n- Slider for 'GPU 集群规模 (卡)' (Range: 1000 to 100000, step 1000).\n- Number Input/Slider for '单台8卡服务器预估成本 (万美元)' (Range: 20 to 50).\n- Dropdown for '网络架构': ['InfiniBand', '以太网 (RoCE)'].\n- Dropdown for '制冷系统': ['冷板式液冷', '传统风冷'].\n\nBehavior:\n- Calculate Total Cost (M$) based on Server Cost * (GPU Count / 8) and use base percentages to derive the rest. \n- Base Percentages for logic: Servers (68%), Network (12% for IB, 9% for RoCE), Storage (4%), Power (7%), Cooling (5% for Liquid, 3% for Air), Facility (remainder ~4-6%). Ensure total equals 100% dynamically.\n- Layout: Form controls on the left. On the right/main area, display the '总投资估算 (Total Estimated Cost)' in a highly visible metric, followed by a dynamic Pie Chart showing the percentage breakdown of components: 算力硬件 (Compute), 网络通信 (Network), 存储 (Storage), 供电系统 (Power), 制冷通风 (Cooling), 土建及其他 (Facility).\n- Include a secondary bar chart or list showing the absolute cost ($M) for each category based on the current total."
  }
}
```
</GenerateWidget>