NetSpeed Systems大中华区发卖总监黄啓弘
在芯片上布一张互联网
可能很多人对NetSpeed并不熟习。这是一家专为移动设备、网络系统和高性能打算市场供应高扩展性的缓存同等性片上网络IP的新锐公司，2011年景立于美国硅谷，核心技能团队来自思科与华为，投资方则包括英特尔、Imagination、华登国际等有名企业。2016年，根据技能、目标市场、财务能力和投资情形、成熟度和高等管理职员的资历等标准，NetSpeed被EETimes列入“Silicon 60—2016年环球60家值得把稳的新创科技公司”名单之中。
与其它竞争方案不同的是，NetSpeed的片上系统总线设计理念是将互联网的网络拓扑思想映射到芯片内部的设计中。即采取数据路由和分组交流技能替代传统总线构造，旨在从架构上办理由于地址空间有限导致的传统总线构造可扩展性差，分时通讯引起的通讯效率低下，以及全局时钟同步引起的功耗和面积较大等问题。
普通的讲，“以前，我们可以把SoC中的视频功能关掉，但总线是无论如何不能关的。但现在在Orion AI方案中，即便关掉一部分总线也没问题，芯片仍旧能够正常事情。”黄啓弘说NetSpeed的做法，便是放弃传统的总线理论，把所有的数据通过桥接模块的形式分成数据包，然后再用互联网的方法分发出去。
他将这种片上网络(NoC)理念比喻成“在芯片上布了一张互联网”。也便是说，传统的方法方向于孤立地优化各个子系统，从而导致瓶颈问题和采取过度的系统设计来处理最极度的情景，这对当前在视频、语音、预测、机器人及诊断等运用中正渐入佳境的人工智能技能来说尤其不利。由于这些新兴运用对处理能力提出了进阶需求，推动打算架构发生天翻地覆的变革，并急剧改变着SoC的设计模式。用NetSpeed首席实行官Sundari Mitra的话来说，便是这些新SoC内部表示出的是一种新的数据流。
“以自动驾驶为例，这是人类第一次如此武断的把身家性命交给半导体芯片来做决议确定。”黄啓弘对《电子工程专辑》说，芯片设计师为此须要大量的打算单元来实现快速有效的点对点数据交流，须要担保旗子暗记回路没有任何阻断和延迟，再加上人工智能系统须要任意位置数据交流和支持长突发传输，采取中心存储作为数据交流系统的传统总线架构在这些需求面前险些处于完败的田地。
用人工智能来优化SoC设计
于是，Orion AI涌现了。
它是NetSpeed在AI SoC设计领域内的最新考试测验，由于NetSpeed认为这是一个展示自身上风的绝佳的韶光节点。
按照官方给出的说法，Orion AI是业界首款以人工智能为根本的SoC芯片内部互连办理方案，由经由硅验证的Orion IP构建而成。支持多播与广播等前辈特性，能极大提升人工智能SoC与加速器ASIC的性能与效率，可广泛运用于数据中央、自动驾驶、AR/VR，以及前辈视频剖析。
Orion AI架构
从技能角度来看，当一颗芯片内部集成了数百乃至上千个运算单元时，传统总线架构须要针对不同的系统需求单独进行设计，当系统功能扩展时，须要对现有设计方案重新设计，研发本钱与设计周期均比较长，在性能、功耗、全局时钟同步、旗子暗记完全性及可靠性等方面面临的寻衅也将呈指数型增长。
NetSpeed的办理方案采取分层堆叠办法将网络架构解耦，具有良好的可扩展性。当SoC片内网络中节点数量增加时，仅须要按照相应拓扑构造规则连续增大网络规模即可，缩短了产品的设计周期，节约了研发本钱。其余，传统总线架构，每次信息交互都须要驱动全局互连线，因此总线构造所花费的功耗将随SoC规模增加而显著增加，而在NetSpeed方案中，可以将一部分旗子暗记通路关掉，从而实现低功耗。
授权用度方面，只管黄啓弘不能透露详细数字，但他承诺说“绝对低于arm的用度”，但也肯定高于普通接口IP的用度，常日是根据定制的繁芜度来决定该怎么收费。NetSpeed一样平常会在授权完成之后对客户进行1-2天的培训，由于无论大略还是繁芜的工具，末了都是由AI工具自动天生RTL，以是商业模式相比拟较灵巧。
Orion AI由NetSpeed的图灵机器学习引擎供应支持，该引擎利用监督学习来探索和优化SoC设计与架构。据称这也是当前市场上唯一采取机器学习方法的产品，能在多次迭代之后逐步收敛，精确地进行整体系统建模，以实现最优的运用性能。中国最牛的几家互联网公司之以是乐意与NetSpeed互助，也是看上了这一核心技能。
除了通过人工智能进行SoC设计之外，Orion AI的片上带宽高达万亿字节每秒(TB/s)，并具备支持数千打算引擎的底层架构。它供应超宽数据通路，接口位宽高达1024位，可支持高达4K字节的长突发传输，并可定制更高位宽。此外，为优化对自动驾驶运用的支持，Orion AI还通过了ISO 26262标准，可支持ASIL D级别安全哀求。
Linley Group首席剖析师Linley Gwennap对这种以人工智能为核心的设计方法给予了极高的评价，称“就像有一位随时在线的建筑大师给出设计建议。处理器架构师可以采纳图灵的建议，然后花韶光去办理SoC设计中的其他难题。”
Turn-Key模式不适宜我们
把人工智能技能从云端引入到终端，会碰着一些寻衅。首先，云端追求的是极致性能，对功耗没有太多哀求。但对终端设备而言，能耗却是非常主要的指标，芯片须要知足系统低功耗的哀求。其次，是通用性与分外性如何平衡。当一个终端产品从通用产品变成专用产品的时候，市场规模会小很多，例如做血液检讨的终端产品就只能做血液检讨，不能做别的事情。因此，对那些有志于从事嵌入式人工智能的人士来说，黄啓弘的建议是须要综合考虑公司是否能做？怎么做？如何在性能、功耗和通用性三者之间找到平衡点等关键问题。
“我拜访过很多人工智能公司，留给我的印象是如果不开拓出几款AI芯片，都不好意思说自己是这个行业里的人。”黄啓弘说从理论上来讲，开拓芯片永久比卖算法要好，由于如果只有算法，对知识产权的保护还是相比拟较弱的，一篇论文就可以让天下人皆知。但很多公司此前之以是不愿意研发芯片，紧张的顾虑在于芯片研发周期比较长，一旦出错，上亿的资金付之东流是常见的事情，代价太大。然而随着中国政府对集成电路家当支持力度和对知识产权保护力度的不断加强，AI公司看到了实现自主可控的希望，独立开拓芯片的意愿也更加强烈。
但“一千个人眼里有一千个哈姆雷特”，即便是同一个运用处景，不同客户间也存在着不同的理解，导致芯片设计的繁芜度也各不相同。因此，无论用户采取通用还是定制化打算平台，都可以在SoC设计中利用Orion AI办理方案，缩短研发周期，快速完成设计迭代，自然成为了NetSpeed的义务。
AI时期，传统的SoC芯片高度集成，一家独大的模式正在发生变革，由于不同场景对芯片、算法的需求各不相同，导致定制化打算平台需求兴旺。黄啓弘说自己认同这样的意见，的确是同一颗芯片，在不同的算法和运用中，也会产生不同的代价。但这是否就意味着以往的Turn-Key模式走向衰落？他认为并不一定。“由于很多做系统的人对芯片设计并不理解，这时要能给他一个Turn-Key的方案，说不定他就会借此把市场做大。但NetSpeed设计的是总线，不会参与到客户最核心的神经网络设计之中，因此Turn-Key这种模式不适宜我们。”
