2026 年 9 月 17 日，智谱（Z.ai）发布研究博文《Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure》，讲 GLM-5.3-Flash 的推理服务是怎么搭起来的。变化很具体：这个模型的全部生产推理流量，跑在一个由超过 10 万张国产 AI 加速卡组成的集群上。
这件事对读者有两处落点，性质不同。一处在选模型的成本账上，官方称这套系统的硬件利用效率与单 token 成本达到主流 NVIDIA GPU 相当水平，如果站得住，API 供应就多一条不完全依赖进口芯片的路。另一处在判断模型的方式上，模型上线前以匿名身份在开发者平台跑了六天，在没有厂商名的情况下被调用成第一。第一处只能按官方说法记，第二处在第三方平台上能看到一部分痕迹。
时间上要先分清两件事。博文发布于 9 月 17 日，它描述的部署过程在这之前已经完成；OpenRouter 的模型页把 GLM-5.3-Flash 的发布日期列为 2026 年 8 月 26 日，官方文档也写明匿名测试发生在发布之前。所以 9 月 17 日发生的是披露，不是那次部署。
官方这次给了三组数字
集群与周期：从模型首次在国产卡上跑通，到能承载全部生产流量，官方给出的时间是"不到两周"；相比初始基线，端到端吞吐提升约三倍。博文说这次部署的特殊之处在于规模，此前没有人把国产加速卡集群跑到 10 万张以上，而这些卡的内存容量与带宽都相对更紧。
技术手段方面，博文列了一份清单：线性注意力与 LM Head 使用节点内张量并行（intra-node tensor parallelism）、ReplaySSM、W8A8 量化、INT8/FP8/BF16 混合精度缓存量化、Layer Split，在此之上搭了 Encode-Prefill-Decode 的分离式架构。这三倍吞吐来自推理侧的工程改造，模型权重与能力没有变化。
使用侧的数字是：GLM-5.3-Flash 以 ox-alpha 的匿名身份上线 OpenCode 与 OpenRouter，六天处理超过 62 万亿 token，一周内成为两个平台上最常被调用的模型。
三组数字都出自智谱自己，没有第三方复核，博文也没有说明 Agent 承担的工作量与工程师之间如何划分。同一篇文章里，作者的表述比标题克制：他们写"我们还没有到达递归自我改进"，目标选择、边界设定与风险评估仍属人的职责，并希望人长期守住这条线。
哪些能自己核对，哪些只能照记
2026 年 9 月 19 日，本站打开 docs.z.ai 的模型文档页，能核实到的是规格：输入支持视频、图像、文本、文件，输出为文本，上下文长度 1M，模型代码为 glm-5.3-flash 与 glm-5.3-flashx。
同一时间看到一处口径不一致。同一个模型，OpenRouter 的模型页把上下文长度写成 1.3M，官方文档写的是 1M。这类差异不一定说明谁写错了，但足以支撑一个操作习惯：第三方页面可以拿来比价格，规格要回到官方文档确认。
另一个容易被读过头的地方，是"全部生产流量在国产卡上"的适用范围。这句话在原文里指的是智谱自己这套推理服务。OpenRouter 上同一个模型还挂着二十多家第三方服务商，输入价格从每百万 token 约 0.075 美元到 0.45 美元不等；这些机器用的是什么硬件，平台页面没有写。把它读成"这个模型只在国产卡上跑"，超出了原文。
博文点了名、本应可以被外部核对的一项，这次没能核到：作者说修复 kernel 数值精度的补丁已并入开源项目 Flash Linear Attention（PR #1180）。本机访问 GitHub 不通，打不开这条合并记录，所以这里按官方说法记录，标记为未独立核实。
Infra Agent 改了什么
博文用三个案例说明那个由 GLM-5.3 驱动的 Infra Agent 做了什么，三处都属于读完能看懂在改什么的具体工程问题。
第一处是数值精度。上下文并行需要在切分后的分片之间合并状态，原实现里 tl.dot 即使输入是 FP32，也默认按 TF32 计算，精度损失在长上下文下累积得更明显。修法是显式指定 input_precision="tf32x3"，用三次 TF32 张量核心运算换更高精度。
第二处是缓存传输的并发。负责在卡之间搬运 KV 缓存的库进入 C++ 调用时没有释放 Python 的 GIL，同进程里负责传输的线程拿不到锁，传输任务的提交被推迟，缓存搬运与后续计算的重叠机会随之减少。修完之后，同一测试条件下"Prefill + KV Transfer"与"只有 Prefill"的性能差距降到 1% 以内。
第三处是 kernel 重写。一个 KDA Decode kernel 沿 V 维度切块，导致同一份 FP32 归一化与门控计算被重复做了四遍。Agent 把切块合并进一个线程块，中间结果留在寄存器里，用一次 warp 级归约替掉重复计算，牺牲一部分并行度换来这一版相比上一版 1.71 倍的加速。
三处改动的性质接近：把已有的做法挪到一批文档不全的硬件上，一个数字格式、一把锁、一个切块维度地抠。
「密集反馈」里能搬走的三条
支撑这套流程的做法，博文叫 dense feedback，并专门说明"密集"不是把日志和指标尽量多地塞给 Agent。报告把反馈分成三类，各自对应一个问题：
| 反馈类型 | 要回答的问题 |
|---|---|
| 正确性反馈 | 这次计算对不对 |
| 系统行为反馈 | 时间花在哪里 |
| 性能反馈 | 哪种做法更好、在什么条件下更好 |
对正在做 Agent 工程的团队，可操作的部分在这里。以下三条属于 AIGEO.GURU 的判断，不是博文的原话：
- 端到端指标不能单独当反馈用。"吞吐掉了两成"没有指明是哪一层出了问题，Agent 无法据此决定下一个该看的对象。报告给出的补充是可达的中间观测：kernel 级对比看数值正确性，微基准看特定输入条件下的局部性能，执行轨迹与运行时事件看计算、等待、通信之间的时序关系。
- 每类观测要先写清它能支持什么判断、边界在哪。报告里明确提醒过两种失效——覆盖率不足的性能分析会导出错误归因，在微基准里成立的优化不一定能在真实负载下转成端到端收益。
- 把分工写下来。报告里人的职责是三项：定义优化目标与系统约束、搭出 Agent 能直接使用的反馈环境、审查涉及数值语义、并发行为和生产风险的关键改动。Agent 负责提假设、改代码、跑实验，再根据反馈决定保留、修改还是放弃。
这份报告不能证明什么
它不能证明模型开始训练自己的下一代。这次改的是服务于自己的那套推理系统，模型权重没有动，能力上限没有变化，影响的是成本与速度。官方自己也把边界划在这里。
它也不能证明国产卡生态已经成熟。报告描述的恰好相反：kernel 支持不完整，该有文档的地方要靠猜。两周是一个结果，不是可以期待的平均周期。
能带走的判断是：当推理系统的优化本身可以交给 Agent 做，模型服务的成本曲线会更多取决于工程反馈的质量，单次能力提升的边际作用相对下降。要判断它是否成立，下一个可核对的点仍然是那条合并记录——等 GitHub 可达时打开 Flash Linear Attention 的 PR #1180，看它在什么条件下被合入、由谁审的。
本文由 AIGEO.GURU 官网日更流程整理：资料核验、初稿撰写与编辑校对过程有 AI 参与，发布前按本站编辑标准逐项自查；文中的事实、数字均标注来源，分析与判断部分属于 AIGEO.GURU。本站没有复现报告中的任何实验，没有运行模型或推理性能测试，也没有联系智谱核实其自述数据。