安谋科技「周易」X3 原生支持 FP4，给出企业级 Agent 部署妙招

AI Agent 任务复杂度持续提升，Agent Box 等端侧智能体面临算力、带宽、功耗多重瓶颈，传统量化方式易造成长上下文推理能力损失。FP4 低比特浮点方案为破解上述问题提供了新路径。安谋科技「周易」X3 支持 FP4，算力规格相较 INT8/FP8 翻倍；支持 W4A8/W4A16 计算加速模式，可通过低比特量化模型权重降低带宽消耗，结合 Compass AI 全栈工具链，可进一步平衡推理精度与端侧运行效率，推动大模型在 Agent Box 等场景的高效落地。

1、支持 W4A16 与 W4A8，拓展低比特部署选择

「周易」X3 支持 W4A16，并原生支持 W4A8，为不同的低比特量化方案提供选择。其中，FP4 权重与 FP8 激活的组合，助力模型化身为兼顾效率、开销、效果与体验的「四边形战士」。

2、FP4 算力规格翻倍，为高效推理提供硬件支持

「周易」X3 支持 FP4，相对 INT8/FP8 实现算力规格翻倍，为大模型推理提供更强的算力，降低本地大模型推理首 token 延时；并结合低比特权重带来的存储与数据搬运优势，为数据访问压力缓解提供支持，改善逐 token 生成耗时。

3、软硬件协同，打通 FP4 模型部署链路

Agent Box 覆盖政务、工厂、门店、机器人等多元场景，模型、上下文、工具调用、并发负载各不相同。高效部署不仅靠硬件算力，也依赖软件工具链降低适配门槛。

「周易」NPU Compass AI 软件平台提供模型量化、调优与部署的全流程工具链，并配套丰富的开箱 Demo，帮助客户开展 FP4 模型适配与优化，推进端侧落地。

依托 FP4 全链路能力，安谋科技「周易」X3 持续打通端侧智能体落地的关键点，使兼顾精度、性能与功耗的端侧大模型推理成为现实，助力 Agent Box 在政务、工业、门店、机器人等多元化场景实现规模化商用。

来源：互联网