中国工业互联网研究院正式启动“TokenPerf-国芯国模”适配评估工作，为国产AI芯片及模组厂商、大模型厂商、AI服务器与智算整机厂商、智算中心建设与运营方的系统适配、应用部署和产品选型提供参考，助力国产智算生态建设与规模化应用。
随着国产大模型加速迭代，人工智能产业对芯片、模型与软件框架之间的协同适配能力提出了更高要求。如何科学评估国产人工智能软硬件的性能表现与协同能力，提升产品适配水平，已成为推动国产智算生态建设与应用落地的重要课题。
为进一步推动国产人工智能软硬件协同创新，促进国产智算产品适配与应用，中国工业互联网研究院正式启动“TokenPerf-国芯国模”适配评估工作，为国产AI芯片及模组厂商、大模型厂商、AI服务器与智算整机厂商、智算中心建设与运营方的系统适配、应用部署和产品选型提供参考。
本次评估面向国产芯片、模组、大模型、AI服务器、智算整机及相关产品，围绕大模型训练与推理场景，开展基础能力评测与协同适配验证，覆盖单卡、单机、单柜、集群等不同部署形态。
评估工作从芯片基础能力、整机系统能力、大模型能力、训练推理框架适配能力、分布式并行支持能力五个维度开展。其中，芯片基础能力、整机系统能力、大模型能力三个维度重点测试产品基础性能；训练推理框架适配能力、分布式并行支持能力两个维度则聚焦芯片、软件框架与大模型之间兼容适配的实际成效。
芯片基础能力测试针对国产AI芯片的基础算力、性能效率与运行可靠性三个领域，重点关注多精度算力、显存带宽、典型模型单卡吞吐与时延等指标，并结合实际测试情况，对规格参数与实测性能的一致性、能效表现、环境适应性及长时间运行稳定性等进行测试。
整机系统能力测试重点关注整机算力输出与系统运行效率，计算整机有效算力、单机多卡加速效率、卡间互联、节点间网络通信及集合通信效率等指标，并结合实际部署条件，对散热供电保障、系统稳定性及持续运行能力进行测试。
大模型能力测试对国产大模型的任务表现与应用适用性进行评价，重点关注通用知识推理、长上下文理解、工具调用等场景的任务表现；同时，结合模型部署环境，对推理时延、吞吐能力、多并发处理表现，以及量化优化前后的精度与性能变化进行测试。
训练/推理框架适配能力评测围绕国产芯片与大模型训练、推理框架的兼容性及协同运行成熟度评价，重点关注算子覆盖情况、计算结果一致性及工具链支持等情况，并结合实际适配过程，对模型迁移改造成本、训练与推理任务运行情况，以及断点续训等能力进行验证。
分布式并行支持能力评测考察多卡、多节点环境下大模型训练与推理的协同能力，结合实际支持的模型类型与部署场景，重点关注集群吞吐、算力利用率、跨节点通信效率、规模扩展能力及不同并行策略的适配表现；同时，根据测试条件，对集群持续运行稳定性、故障恢复及Checkpoint（检查点）恢复等能力进行测试。
通过评估的产品，将获得中国工业互联网研究院出具的正式评估报告与证书。参评单位可参与后续行业优秀案例宣传、相关标准研究编制工作，共同携手连接产业链上下游伙伴，深度参与国产算力生态建设。
