高质量 Token 国产算力底座的工程路径，江原科技四周年技术观察

大模型开始处理长文档和多步骤任务时，算力系统的价值有了更具体的衡量尺度。在达到业务要求的模型效果与响应速度后，每一笔算力投入能持续交付多少有效 Token？

2026 年 10 月，江原科技在湾芯展《高质量 token 的国产算力之路》报告中提出，高质量 Token 有四项要求，分别是任务有效、响应及时、持续可靠和经济可用。实时交互看重等待时间，离线处理更关心在保证效果的前提下能否控制成本。[1]

公司成立四周年之际，江原进一步说明这些要求如何落实到产品设计。以商业可用为底线，以技术确定性为核心。每项技术选择从客户负载出发，先找准瓶颈，再通过端到端测试验证它对性能、功耗和成本的实际影响。

图 1 晶圆与多芯粒封装概念

一线应用为产品设计提供依据

根据湾芯展报告披露，江原已积累覆盖 21 类行业的 177 条适配记录。相关场景包括软件服务、政务、医疗、能源和教育。[1] 模型跑通以后，客户仍要完成量化后的效果回归、业务接口联调、稳定性验证和版本维护。这些反复出现的工作，为江原判断哪些能力应进入通用平台提供了依据。

云侧和边端各自要解决什么

江原的战略覆盖云、边、端的训练与推理。两类部署对推理系统提出了不同要求。

边端侧要降低大模型应用的导入门槛。设备的功耗、内存和实时性决定资源配置。模型适配、精度回归和部署工具可以在不同项目中复用。

云侧要统筹算力、存储容量和带宽。集群需要支撑更大规模的模型服务，在高并发下提升有效吞吐，同时满足客户的响应要求。

以长文档问答为例，首次处理输入时，Prefill（输入处理）完成长输入计算并建立推理状态。随后，Decode（逐词元生成）不断访问模型权重与相关缓存，同时完成计算和必要的通信。模型结构、上下文长度和并发变化，都会改变两阶段的资源瓶颈。

图 2 长文档推理的数据路径。相同前缀的缓存命中后，系统仍需处理新输入并继续生成

后续请求命中相同前缀的 KV Cache（键值缓存）时，系统可减少重复计算。收益取决于缓存的驻留位置、取回时延和请求调度。增加算力、容量或带宽之后，应以完整服务的有效吞吐、首 Token 时延和持续生成速度衡量收益。

GPDSA 与国产工艺优化

江原以 DSA（领域专用架构）为基础，计划向 GPDSA（通用化专用架构）演进。硬件可以针对大模型中高频的计算和访存模式优化，编译器、计算库和运行时则为模型结构、算子组合和部署方式的变化保留适配空间。这种协同，决定专用硬件的效率能在多大程度上转化为应用性能。

在既定国产工艺条件下，芯片设计可以从计算和访存通路入手，再结合逻辑与物理实现，权衡性能、功耗和面积。计算单元能效改善后，还要看存储访问、跨芯片通信、供电和散热是否成为新瓶颈，才能判断整机收益。

图 3 既定工艺条件下的设计与实现优化示意

江原已围绕国产工艺条件下的架构与实现优化开展相关工作。后续将用目标负载检验整机性能、功耗和成本，并评估制造与交付条件。

HBM 与 HBF 的存储分层

模型权重、会话状态和上下文规模的增长，让推理系统同时面临带宽、容量和成本的约束。HBM（高带宽内存）承担高频数据访问，HBF（高带宽闪存）为扩展近计算侧容量提供候选路径。两者如何分工，需要看权重和缓存的访问频率、读写比例以及时延要求。[2]

图 4 HBM 与 HBF 混合存储的研究示意

以长上下文为例，活跃会话的 KV Cache 随模型结构、上下文和并发变化。对访问敏感的数据可以优先留在高速层，访问较少且适于批量读取的数据可评估放入容量层。容量收益能否覆盖数据取回和迁移开销？这需要用实际访问粒度、有效读写带宽、尾时延与可靠性来检验，也要考察缓存、预取和调度的配合。

另一项探索是让部分受访存限制的处理更贴近数据所在位置。存内相关优化有机会减少搬运。要进入产品评估，还需明确目标算子、数值精度、数据复用和编程支持，并把数据转换和结果交换的代价计入系统收益。

异构 Chiplet 与软件平台复用

在江原的规划中，异构 Chiplet（芯粒）支持计算、I/O 等功能模块独立迭代。不同模块通过封装和系统设计按需组合。云侧按模型和集群规模配置算力、存储与互联。边端按设备的功耗、接口与成本配置资源。不同产品由此有机会共享部分研发成果。

图 5 异构 Chiplet 的模块复用示意

硬件复用能否带来实际收益，要看互联、封装、测试与散热约束，也要看软件能否共享模型适配、工具链和部署接口。江原在湾芯展报告中展示了自研软件栈，覆盖编译、运行时、计算库、通信库与性能分析。后续平台建设将围绕模型支持泛化、精度回归、算子优化和应用部署推进。

这条路线的价值可通过实际项目检验。硬件侧看不同配置的开发周期和可交付性，软件侧看模型能否顺利迁移、客户导入时间能否缩短、后续版本是否更容易维护。

用业务负载验证系统收益

评估高质量 Token，要让模型版本、量化方式、输入输出长度、并发和服务要求保持一致。在可比条件下记录首 Token 时延、持续生成速度、有效吞吐和长时间运行表现。缓存命中与未命中分别测量，并记录 P95 等时延分位数，观察响应较慢的请求。

图 6 推理系统验证口径示意

核算百万 Token 成本时，需计入设备投入、能耗、利用率和运维开销。分别计量输入处理与输出生成，再按业务负载组合比较。对于多步骤任务，还应同时看任务完成率和完成任务的总成本，避免单项吞吐改善掩盖实际效果或体验下降。

新型存储、国产工艺实现与存内相关探索，将随技术评估和验证逐步推进。后续会重点评估软件支持、制造交付条件和系统经济性。江原希望在真实业务中兑现这条工程路线，让国产算力以客户可以接受的成本，持续交付达到效果和服务要求的 Token。

图 7 江原科技全栈产品图

资料来源

[1] 江原科技 湾芯展《高质量 token 的国产算力之路》演讲回顾

[2] Sandisk HBF 技术资料及 OCP 规格发布说明

来源：互联网