评测标准是AI芯片家当的根本和标尺
近年来，AI芯片发展呈现出百花齐放的态势，然而在家当成熟度、落地运用等方面仍存在诸多问题。个中，AI芯片的选型便是当古人工智能企业面临的一大难题，建立AI芯片测评标准已成为助力人工智能家当康健发展的一大诉求。基准测试是一种常用的性能指标测试办法，在打算架构演进中扮演着非常主要的角色，清晰的基准测试指标，不仅可以帮助技能供给企业快速进步，还可为需求方的选型供应参考。
目前，AI芯片的评测，国际上主流的有MLPerf，苏黎世理工的AI benchmark，海内有中国人工智能家当发展同盟（以下简称“AIIA”或“同盟”）的 AIIA DNN benchmark，小米的Mobile AI bench, 中科院打算所智能打算机研究中央的NPUBench等。这些评测多数属于基准测试的范畴，由于这些基准测试的出发点不同，设计的思路，基准测试的内容和评估指标也都不尽相同，业界尚未有公认的基准测试标准。威信基准测试标准的缺失落，一定程度上导致了人工智能运用企业、集成商、开拓者无法准确评价芯片在同行业的技能水平，也无法表示国际市场中的地位。
首个AI芯片基准测试国际标准
ITU发布的首个AI基准测试评测标准，ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark（深度学习处理器基准测试评测指标与方法），提出了AI处理器/加速器在完成以深度学习为代表的人工智能任务时的基准测试框架，涵盖演习任务、推理任务的基准测试评估指标（Metrics），详细的评测方法和推举评测场景下的事情负载（Workload）。基准测试指标包括韶光、吞吐、能效比和准确率等，评测场景以视觉、语音、推举三大类场景为主，详细包括图像分类、目标检测、语音识别、机器翻译等8大类AI运用。
该项国际标准由中国信息通信研究院牵头，于2019年7月在国际电信同盟第十六研究组（简称ITU-T SG16）Q5 报告人会议上提出立项，并担当编辑人（Editor），历时近1年，经由多轮谈论修订，于2020年6月22日-7月3日，举行的ITU-T SG16全体会议提交报批并通过全会审议进入公示阶段，于2020年8月正式发布。
其评测方法、评测指标及场景参考并采纳了同盟评估规范、AIIA DNN benchmark项目干系研究和中国通信化标准协会行业标准的干系内容，参与单位包括华为、腾讯、Arm中国、寒武纪、阿里巴巴、百度、Intel、赛灵思、Imagination、紫光展锐、鲲云科技、地平线、南京新一代、燧原科技、西安交通大学、清华大学等20余家企业、高校及科研机构。
AI 芯片基准测试国际标准的正式发布，标志着我国在AI芯片领域评测能力得到了国际认可，也是我国AI芯片科研职员对国际标准化研究的主要贡献，将为我国AI芯片技能、产品和评测走出国门开辟了道路。
关于ITU-T SG16
ITU（国际电信同盟）为三大国际标准化组织之一，ITU-T即国际电信同盟电信标准分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的专门制订电信标准的分支机构。ITU-T SG16是国际电信同盟标准化局非常生动的研究组，紧张研究领域为多媒体与e-Services。目前，SG16的研究范围覆盖了视频与音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等浩瀚热点标准化研究方向。
关于AIIA DNN benchmark
2017年起，中国信息通信研究院联合20余家国内外企业、高校及科研机构，在同盟下发起AI芯片基准测试评估项目AIIA DNN benchmark，目标是环绕人工智能芯片研究制订客不雅观、可信及可复现的评估指标，为家当界供应专业评估评测做事。目前AIIA DNN benchmark已初步形成端+云全方位基准测试方案，来自华为、Arm中国、高通、赛灵思、Imagination、启英泰伦、鲲云科技、上海海思等企业的AI芯片参与了评估评测，项目受到了国内外家当界的广泛认可。
（http://www.aiiaorg.cn/benchmark）
联系办法
中国信通院 云打算与大数据研究所
张蔚敏
邮箱：zhangweimin@caict.ac.cn
电话：010-62302490
张哲煜
邮箱：zhangzheyu@caict.ac.cn
电话：010-62302490
