从云端到机房：企业 AI 基础设施的回归潮

2025年底，，，，，，北京一家年营收3亿元的造作业客户找到我们，，，，，，说他们筹备把正本跑在云上的 AI 质检模型迁徙回本地。。。。。”每个月的推理用度比我们三个工程师的工资加起来还贵，，，，，，”技术掌管人老张掰着手指头算，，，，，，”GPU 资源利用率还不到 30%，，，，，，浪费得心疼。。。。。” 这种场景在从前一年里反复出现。。。。。据我们接触的 30 多家造作业、医疗和金融客户统计，，，，，，2025年有 60% 的企业在评估或已经启动了本地 AI 集群建设，，，，，，而这个数字在 2024 年还不到 25%。。。。。 这一轮热潮背后的推手很清澈：大模型 API 挪用成本持续高企，，，，，，DeepSeek 等开源模型的机能逐步逼近 GPT-4 水平，，，，，，而 NVIDIA H100/H200 的市场价值在 2025 年下半年起头松动。。。。。企业的算力焦虑从”买不买得起”造成了”买了怎么用好”。。。。。一个值妥贴心的变动是，，，，，，采购决策权在从 CTO 办公室下沉到业务部门掌管人——工厂车间主任提需要、总部 CIO 审批，，，，，，这种模式在成为新的常态。。。。。

DGX Spark、华为昇腾与国产 GPU：三条路的现实处境

说到硬件选型，，，，，，2026年的中国市场出现出显著的”三极分化”。。。。。DGX Spark 作为 NVIDIA 在 2025 年推出的边缘推算产品，，，，，，主打单节点 1 PetaFLOPS 的推理机能，，，，，，适合必要急剧部署、运维能力有限的中幼企业。。。。。我们在顺义见过一家 200 人规模的电商公司，，，，，，用两台 DGX Spark 跑商品推荐模型，，，，，，响应延长从云端的 800 毫秒降到了 120 毫秒，，，，，，用户点击转化率直接提升了 12%。。。。。但问题也很现实：DGX Spark 的单台售价仍在 15 万-20 万元 区间，，，，，，加上售后维保和电力成本，，，，，，中幼企业初期投入压力不幼。。。。。 华为昇腾 910B/C 则牢牢占据了国内大模型训练和政务有关场景的头部地位。。。。。2025 年，，，，，，某直辖市智慧城市项目一次性采购了 500 台 昇腾服务器，，，，，，总金额超过 2 亿元。。。。。从技术参数看，，，，，，昇腾 910B 的 FP16 算力达到 256 TFLOPS，，，，，，与 H100 的差距在缩幼，，，，，，且在 MindSpore 框架下的优化已经相当成熟。。。。。不外现实落地中，，，，，，企业普遍反馈的问题是软件生态——好多开源模型的昇腾适配版本必要额表开发周期，，，，，，这在肯定水平上拖慢了项目进度。。。。。

中幼企业 AI 决策框架：从”要不要买”到”买几多、怎么养”

从前一年被问最多的问题是：”我们这种规模，，，，，，到底该不该自建 GPU 集群？？？？？？” 我的建议是把这个问题拆解成三个维度：

1. 业务场景的算力密度。。。。。 若是 AI 工作是 7×24 幼时运行的在线推理（好比客服机械人、实时风控），，，，，，本地化能带来显著的成本优势和延长收益；；；；；；；；但若是只是每天跑一次的数据分析，，，，，，云端按需挪用可能更划算。。。。。
2. 团队的技术消化能力。。。。。 GPU 集群不是买来就能用的，，，，，，驱动调试、多卡互联、模型部署、监控报警，，，，，，这套运维系统必要至少 1-2 名具备 Linux 系统治理经验的工程师。。。。。若是没有这幼我力储蓄，，，，，，采购后的现实利用率往往惨不忍见。。。。。
3. 数据合规与隐衷天堑。。。。。 医疗、金融、造作等行业的敏感数据往往受到监牵造缚，，，，，，本地化部署是满足等保合规的硬性要求。。。。。这类场景下，，，，，，自建集群不只是经济账，，，，，，更是合规账。。。。。

一个实用的决策参考是”三年 TCO 模型”：把三年内的云端 API 挪用用度预估出来，，，，，，对比同周期内本地集群的采购成本 + 电费 + 运维人力成本。。。。。若是前者超过后者的 1.5 倍，，，，，，本地化就值切当真思考。。。。。我们给客户做过很屡次这种测算，，，，，，好多造作业工厂的质检 AI 在迁徙到本地后，，，，，，三个月就能收回硬件成本。。。。。 说到这里，，，，，，有一点必须提醒：GPU 集群的建设不只是买几台服务器那么单一，，，，，，网络架构、存储 IO、散热刷新，，，，，，这些配套环节往往占到总投入的 20%-30%。。。。。若是企业自身不足 IT 基础设施经验，，，，，，建议优先思考整体交付规划，，，，，，而不是别离采购硬件让集成商拼凑。。。。。我们在望京的一家客户就吃过这个亏——服务器买的是顶配，，，，，，但 storage 选了千兆网络，，，，，，训练数据加载直接成了瓶颈，，，，，，最后被迫二次刷新。。。。。