过去两年各地比的是谁的机房先建起来。今年账单换了算法,重心从买了多少张卡,挪到了这批卡能产出多少有效词元、每个词元多少钱。
先建起来的算力,正在变成孤岛
很多单位并不缺算力,缺的是能统一调度的算力。智算池、信创池以及各处自购的推理卡,分散在不同时期与不同项目里建设,彼此不通。结果是白天在线业务不够用,晚上大批资源闲置,整体利用率掉在 30% 到 40% 这个区间里(行业报告常见区间),新上一个应用还得重新走一遍采购流程。
这是建设期留下来的老问题。那时候比谁先把机器装上,现在要比谁能把装上的机器用起来。现在政务 AI 开始往深水区走,智能问答、公文写作这些场景,加上问数与工单分派,同时运转起来,才算真正进入运营期,孤岛问题也就藏不住了。
从买设备到买词元
中国信通院在一份关于智算基础设施的报告中指出,词元工厂正在成为智算基础设施的新形态,产业竞争的重心从峰值算力最大化转向每瓦词元产出最大化。不再按卡数算能力,按单位能耗、单位成本能吐出多少有效词元来算。
落地案例已经出现。据公开消息,有运营商在宁波建成日产百亿级词元工厂,上线一个多月已服务上千家企业和十余个园区;广东湛江也落地了面向政务场景的"国模加国芯"词元工厂。这两项均为项目方自报数据。政务侧之所以愿意走这条路,原因很直接:一是成本能按量计量,花多少看得见;二是数据不出域、模型在本地跑,这是采购方普遍看重的一条合规前提。
同一份报告还提到,存储带宽与内存容量正取代峰值算力成为首要瓶颈,异构协同成为降低词元生成成本的核心路径。这对政务单位的意义是,选型时不要再只盯着峰值算力这个参数,长上下文、高并发问答这类典型政务负载,卡的是显存和带宽。
调度比扩容更划算
存量盘活是被反复验证的一条路线。底层把 GPU、NPU 统一接入做成异构算力池,上层按任务切片,再按量计量与优先级调度,模式从"谁采购谁占用"变成"算力跟着业务走"。据某国产算力厂商公开的政务云案例,这条路不需要新建集群,重点是把已有的池子打通。
训推一体是另一条思路。报告给出的另一组数是,通过统一调度把训练和推理放在同一资源池里,资源利用率可以从行业普遍的 30% 到 40% 提升到 80% 以上,该提升幅度属报告口径,未见第三方实测。峰谷调度同理,白天优先保障在线业务的低时延与高并发,夜间低谷自动承接训练与批量任务。
模型可以换,接口不能乱
还有一件容易被忽略的事。各系统单独对接模型,版本耦合很重,换一次模型就要改一遍业务。更合理的做法是把 AI 能力封装成标准化服务,把所有模型都封在同一个网关后面,业务侧只认一个地址和一把 Key,路由、会话、密钥校验都在平台侧做掉,配额和输入输出记账也一并接进去,模型升级只做名称映射,业务侧无感知切换。
这条要求在当下尤其现实。今天选的模型半年后未必还是最优解,如果每次替换都要动业务代码,那所谓的自主可控只是换了个依赖对象。判断一个政务 AI 底座成不成熟,就问一句:换模型需不需要改业务系统。
对采购方来说,验收标准也该跟着变。合同里不该只写"支持智能问答",而该写清任务范围与成功条件,以及异常边界、人工接管条件和计费方式。
机器上架之后还有很长一段路。能不能把每一笔钱算到词元上,决定这套系统能开多久。