算力基础设施:AI 超融合服务器、AI 算力网关与统一存储
算力基础设施是把 AI 要用的算力放进企业自己机房这件事。公司以深信服的 AI 超融合(HCI)、AI 算力网关(ACG)与统一存储(EDS)为核心产品,面向政务、医疗等数据不出域场景,提供选型、部署与信创适配,服务辽宁、吉林、黑龙江三省。
这一页讲清四件事:算力层包含哪些东西、什么情况下该上本地算力、从选型到交付怎么走、以及采购方最常问的七个问题。
一分钟速答
算力基础设施是什么?
把 AI 要用的算力放进企业自己机房这件事,核心是深信服的 AI 超融合(HCI)、AI 算力网关(ACG)与统一存储(EDS),以及本地化与信创算力底座。
什么情况下该上本地算力?
数据不能出内网(涉密内容、患者信息、政务数据、客户名单与财务数据)、需要稳定低延迟的推理响应,或者有信创合规要求时。
「数据不出域」怎么保证?
模型与数据都部署在内网,推理过程不经公网;网络侧由信息基础设施做隔离,物理侧由机房基础设施保证供电与制冷。
本地部署和公有云哪个划算?
多数项目先看一条:数据能不能出机房——这条基本就定了方向。完整的三步判断顺序与成本项清单,见本页「本地还是公有云」一节。
算力基础设施包含哪些东西
算力层交付的不是一台服务器,而是「设备 + 存储 + 网络 + 供电 + 适配」一整套能跑起来的环境。下面这张表是五块主要内容,项目里通常按需组合,不是每项都要买。
图 1 算力层交付的是「能跑起来的一整套」,不是一台服务器:AI 超融合把计算、存储、网络与虚拟化做成一体的底座,横向加节点就能扩容;AI 算力网关负责把本地算力接进业务与内网,做统一接入、调度与访问控制;统一存储托住模型、数据集与业务数据。系统与信创适配、部署形态按需组合,项目里通常只买其中几块。
| 组成部分 | 具体内容 | 交付物 |
|---|---|---|
| AI 超融合(深信服 HCI) | 计算、存储、网络与虚拟化平台一体化,横向加节点即可扩容;承载 AI 推理与业务系统 | 设备清单、序列号、配置参数表 |
| AI 算力网关(深信服 ACG) | 把本地算力接入业务与内网,做算力资源的统一接入、调度与访问控制 | 接入方案、访问路径与权限说明 |
| 统一存储(深信服 EDS) | 为模型、数据集与业务数据提供统一存储底座,按容量与性能分级规划 | 容量规划、扩展方式说明 |
| 系统与信创适配 | 操作系统、虚拟化与容器平台、数据库与中间件的信创适配 | 适配清单、适配结果记录 |
| 部署形态 | 本地私有化部署(数据不出域)、VPC 专享、与公有云混合 | 部署方案、访问路径与权限说明 |
产品名按深信服官方产品线口径标注:AI 超融合(HCI)、AI 算力网关(ACG)、统一存储(EDS)。具体型号、规格与授权范围以厂家最新资料为准。
硬件之上还有一层:模型服务软件栈
同一台机器,跑法不一样,吞吐能差好几倍。所以「数据不出域」的优势要有软件栈兜底才算数——不然设备买回来跑不动,责任最后还是落到交付方头上。这一层通常包含四样东西。
| 组成 | 干什么用 | 选型要点 |
|---|---|---|
| 推理引擎 | 把模型跑起来对外提供服务,直接决定吞吐与首字延迟 | 看是否支持要用的模型格式、能不能做量化与批处理;国产框架的适配程度要提前确认 |
| 模型仓库 | 统一存放开源模型与自研、微调后的模型,管版本与权限 | 要能离线导入、能留住版本、能控制谁能取用 |
| 向量库 | 存知识库切分后的向量,支撑检索增强类的问答应用 | 按数据量级与检索并发选型;它和业务数据的权限要打通,不然权限会漏 |
| 服务网关 | 统一入口:鉴权、限流、用量统计、审计留痕 | 能不能按人、按部门记账;调用日志能不能留下来 |
分工说明:这一页交付的是底座——把模型能跑、能管、能记账的环境建起来;具体场景怎么用、效果怎么验收属 AI 应用服务板块。两块可以同一个团队做,也可以分开采购,接口在模型服务 API 这一层。
信创适配清单:从哪几层对
政企信创招标是清单式逐条比对,光说「我们支持信创」没有用。下面按层级列出常见的国产化方向——这是适配方向,不是承诺清单;具体选哪家、适配到什么程度,以你项目招标文件里的清单为准。
| 适配层级 | 常见国产化方向 | 我们做什么 | 交付记录 |
|---|---|---|---|
| CPU 与整机 | 鲲鹏、飞腾、海光、龙芯等主流国产处理器平台 | 按清单核对硬件平台与整机型号,确认算力卡、板卡的兼容情况 | 硬件清单 + 兼容性确认记录 |
| 操作系统 | 麒麟、统信等国产操作系统 | 系统安装、驱动与算力卡适配、性能基线测试 | 安装与适配记录 + 测试报告 |
| 数据库 | 达梦、人大金仓、openGauss 等 | 迁移评估、数据迁移、SQL 兼容性改造与验证 | 迁移方案 + 验证记录 |
| 中间件与虚拟化 | 国产应用服务器、消息中间件、虚拟化与容器平台 | 部署配置、与业务系统联调 | 部署记录 + 联调结果 |
| AI 框架与模型 | 国产深度学习框架、国产开源模型 | 推理引擎适配、量化调优、效果与性能对比 | 适配报告 + 性能对比数据 |
适配不是装上去就算完:每一层都要留下「装了什么版本、测了什么指标、结果是什么」的记录,投标和验收时才拿得出来。具体版本与授权范围以厂家最新资料为准,我们在方案里逐个标注。
什么情况下该上本地算力
判断标准只有一条:AI 要用到的数据,能不能出你的机房。数据能出去,公有云更省事;数据不能出去,就得在本地上算力。下面四种情况是最常见的。
| 场景 | 为什么要本地算力 | 我们怎么做 |
|---|---|---|
| 政务、医疗等合规场景 | 数据按规定不能出域,业务流程和市民、患者信息都在内网 | 本地私有化部署 + 内网访问 + 权限与日志,必要时完全离线运行 |
| 有信创替代要求 | 招标或上级要求软硬件国产化,且要能提供适配证明 | 先定操作系统、数据库、中间件三层,再逐层适配并留记录 |
| AI 应用要跑在本地 | 模型推理要低延迟,且推理过程涉及内部资料 | 按场景倒推算力配置,模型与知识库都放本地 |
| 现有服务器带不动 AI | 原有设备没有 GPU,或显存不够,跑不动要用的模型 | 在既有网络与机柜条件下加算力节点,尽量不动原有架构 |
如果不确定该走哪条路线,可以在咨询阶段把两个信息给我们:数据能不能出机房、要跑哪些业务场景。有这两条,基本能给出路线判断。
本地还是公有云:把成本构成摊开算
「哪个划算」没有统一答案,取决于用多久、用多少、数据能不能出去。但成本构成是固定的——两边该算的项都列全,才不会漏掉某一项算成假账。这里只列项不给数字,因为每一项都随项目变。
| 成本项 | 本地私有化部署 | 公有云或 VPC 专享 |
|---|---|---|
| 设备投入 | 服务器、算力卡、存储、网络设备一次性采购,按年折旧摊到每年 | 不采购设备,按算力规格与时长付费,或按订阅打包计费 |
| 机房条件 | 机柜空间、供电容量、制冷能力要自己出;没有机房就得先建或先租 | 不含机房成本,机房与电力由云服务商承担 |
| 电费与制冷 | 算力是耗电大户,电费与制冷费按年计,随负载上升而上升 | 已包含在云服务价格里,不单独出现在你的账上 |
| 运维人力 | 要么自己配人,要么买运维服务;设备越多、系统越杂,这一项越高 | 基础设施运维由云方负责,你仍要管业务侧与模型侧 |
| 弹性与扩容 | 扩容要提前买设备、等货期;缩容则意味着资源闲置 | 按需扩缩,短期高峰和临时项目更划算 |
| 迁移与退出 | 一次性迁移成本高,但迁完之后长期自主 | 起步零迁移;真要迁出,数据搬离与系统重部署是隐性成本 |
| 合规与责任 | 数据在本楼,涉密与强监管场景好交代,安全责任在自己 | 数据在第三方,要与云方共担责任,需按合规要求做额外约定 |
判断顺序建议:先看数据能不能出机房(不能出,这一栏基本就定了);再看用多久(长期稳定、规模上去了,本地摊薄的优势才出来;短期、波动大,云更省事);最后看有没有现成的机房条件和运维人力。三条都算完,「哪个划算」自然有答案。我们做本地这一段;如果你的结论是先在云上跑,本地的算力底座、网络与机房条件仍然可以按「将来要上本地」的目标先设计好。
算力怎么估:从业务场景倒推,不从参数正推
配算力最忌讳「先买卡再找活」。企业内部落地绝大多数是推理,不是训练;估配置的起点应该是业务场景和并发人数,而不是卡型参数。下面四步是判断顺序。
| 步骤 | 怎么算 | 为什么这么算 |
|---|---|---|
| 1 先分推理还是训练 | 企业内部落地绝大多数是推理——用现成模型回答问题、处理文档;自己训练模型属于极少数。先把这一步分清楚 | 推理与训练的硬件投入差一个量级,混着谈预算一定谈不准 |
| 2 按模型规模估显存 | 显存占用与参数量成正比:常见经验是 FP16 精度下每 10 亿参数约需 2 GB 显存;权重之外还要留出推理中间结果与显存碎片的余量,实际占用通常是权重的 1.2 倍以上 | 显存是「模型能不能装进去」的硬门槛,装不下就跑不起来 |
| 3 用精度换显存与并发 | 把精度从 FP16 降到 INT8 这类低精度格式,权重大体减半,显存占用与并发能力都能提升 | 代价是输出精度有损失;要不要量化,取决于业务能接受多大误差 |
| 4 按并发倒推卡数 | 先定「多少人同时用、每次能等几秒」,再看单卡在这个响应要求下能扛多少并发,倒推需要的卡数 | 并发人数与响应时间是业务给的、不是技术定的;从这两条倒推,才配得准 |
具体型号、数量与价格按项目方案确定。
从选型到运维:五个阶段
算力项目的难点不在买设备,而在把设备、网络、机房条件和业务场景对齐。下面五个阶段里,第一阶段最关键,也最容易被跳过。
| 阶段 | 做什么 | 需要客户配合 |
|---|---|---|
| 1 场景与现状梳理 | 确认要跑的场景、并发规模、数据边界;核对机柜空间、配电余量、制冷能力 | 说清业务场景与合规要求;提供机柜与配电现状 |
| 2 方案与选型 | 按场景倒推算力配置,出设备清单、网络方案、机房改造需求(如有) | 确认预算范围与必须满足的标准 |
| 3 到货与部署 | 设备到场、上架、供电与网络接通、系统安装 | 提供进场与施工窗口 |
| 4 适配与验证 | 信创适配、业务联调、性能压测,记录关键指标 | 提供测试数据与业务侧验证人员 |
| 5 验收与移交 | 验收测试、资料与账号权限移交、使用培训;后续如需日常值守与巡检,可另接机房运维 | 确认验收标准、指定对接人 |
为什么算力要和机房、网络一起做
算力不是孤立的一台设备,它背后接着电、冷、网、安全四件事,这几件事恰好是公司的起家本事。
- 电:算力设备对配电容量和冗余的要求比普通服务器高,机柜配电、UPS 余量不够时,买回来也上不了架。公司本身做机房供配电与 UPS,能在同一份方案里把电的问题一起解决。
- 冷:高密度算力机柜的热密度远超普通机柜,需要重新核算制冷能力,必要时上冷通道或液冷方案。机房基础设施这条线的能力直接接得上。
- 网:算力集群内部要靠高速网络互联,与业务网之间要做隔离。信息基础设施这条线负责网络规划与实施。
- 安全:算力承载的是企业的数据资产,边界防护与访问控制要同步做——网络隔离与安全防护都在信息基础设施这条线里一起做(防火墙与入侵检测用天融信、深信服)。
这四件事交给同一家做,好处是责任不分家:出了问题不用先开会分责任,直接查。这也是我们把算力列为独立板块、而不是单纯卖设备的原因。
算力基础设施常见问题
下面七条是采购方最常问的。答案给的是判断口径和量级,具体配置与价格按项目方案确定。
本地算力起步大概什么配置?
起步配置通常看两件事:要跑多大的模型、同时多少人用。跑 7B 到 14B 量级的开源模型做内部问答与文档处理,一般一到两台 GPU 服务器就能起步;要跑更大的模型或者并发人数上到几十人,就要按 GPU 卡数和显存倒推,通常是多台组集群。
判断顺序建议反过来做:先定三个业务场景,再看每个场景对响应速度的要求,最后才定配置。这样配出来的机器是为业务服务的,不是为参数服务的。具体型号与价格按项目出方案。
本地部署一定比公有云贵吗?
不一定,取决于用量和年限。公有云按用量付费,前期投入低但长期累积;本地部署是一次性买设备,用量越大、用满三五年之后,本地的单位成本通常更低。
还有一个不体现在账面上的差别:数据不出域的场景里,数据留在本地是合规前提,这一条不能用价格衡量。建议把两条路线的三年总成本摊开算再决定,这一步可以在方案阶段一起做——成本项清单见上文本地还是公有云:把成本构成摊开算。
信创适配大概要多久?
取决于要适配的软硬件组合有多少。常见做法是先把操作系统、数据库、中间件这三层定下来,再适配上层应用,一般以周为单位推进;如果只在国产服务器和国产操作系统上跑现成应用,时间通常更短。
真正花时间的环节往往是应用厂商的配合度,不是硬件本身。所以方案阶段会先列一张适配清单,把每一层的责任方写清楚,避免后期卡在等第三方上。
数据不出域是怎么保证的?
靠三件事叠起来:算力设备放在客户自己的机房里,走内网访问,不对公网暴露;模型与数据都在本地,推理过程不出机房;访问权限按人按角色控制,操作留日志。要求更严的可以做成完全离线运行。
这三条要在部署方案里逐条写明并做验证,不是签个承诺书就算。需要的话,交付时配合做一次验证,把网络访问路径和权限配置留成记录。
超融合和普通服务器有什么区别?
主要差别在扩展方式和运维复杂度。普通服务器一台一台管,加存储、加计算各买各的,扩容要重新规划;超融合把计算、存储、网络整合成一套,横向加节点就能扩,管理界面是一个。
对规模不大的机房,超融合省地方、省电、省人力,代价是单节点成本通常略高。判断看两条:机柜空间和配电余量紧不紧、有没有专职服务器运维人员。这两条紧,超融合更合适。
算力建好之后,AI 应用谁来落地?
算力只是地基,上面要有应用才用得上。我们的做法是两层:先用腾讯企业版 WorkBuddy 的通用智能体把办公提效跑起来,见效快;场景稳定后再把行业知识和流程沉淀成专属智能体。
因为机柜、网络、算力都在我们手里交付过,应用上线时不用再和第三方对接口。如果你已经有应用厂商,我们也可以只做底座,把算力和网络环境准备好交给对方。
以后业务量涨了,扩容方便吗?
扩容方不方便,在第一次做方案时就定了。要预留三件事:机柜里留出空位或预留一个扩展机柜、配电与制冷余量够不够再加设备、网络端口和光纤芯数有没有富余。
这三条留了,后面加节点就是插电接线的事;没留,就要动配电和制冷,代价高得多。所以出方案时会写明预留多少,以及预留对应的成本差异,由客户自己选。这类扩容通常以周为单位安排。
相关页面
算力落地通常要和下面几条线一起谈,从底座到应用是一条链。