准确来说,Nervana——英特尔砸了4.08亿美元(也有宣布称3.5亿)买下的那家加州创企——他们那款专用AI芯片的大招已经憋三年半了。
2014年4月,在Nervana得到首笔60万美元的成立之初,这家公司就宣告要打造一款“深度学习专用硬件”。而在2014年8月,在得到第二笔融资(330万美元)后,其CEO Naveen Rao就表示,“用户能在大约6个月后考试测验到这些深度学习专用硬件。”
三年多后,在经历了第三轮2050万美元融资并且被英特尔收购后,在今年10月17日,英特尔CEO科再奇在采访中表示,这块芯片在今年年底就会正式和用户见面。与此同时他还说,Facebook正在参与互助打造这款AI专用芯片。
然而,随着2017年转眼就要余额不敷,英特尔这款Nervana专用AI芯片的还是没有正式亮相。尤其是在欧美连珠炮假日季“戴德节-圣诞节-元旦”来临的12月尾,我们可以大胆地假设一句——明年见(大概是2018 CES?)
不过,虽然大招几次再三推迟,但是英特尔集团高下依旧对付Nervana项目十分看重。英特尔CEO科再奇不仅在不同场合内几次再三为Nervana站台,而且在收购Nervana后短短几个月间,前Nervana CEO就被晋升为英特尔人工智能奇迹部总卖力人,直接向科再奇申报请示——在以资历排位著称的英特尔内,晋升速率堪称火箭。
▲前Nervana CEO、英特尔人工智能奇迹部总卖力人Naveen Rao
本日,我们就来扒一扒Nervana与这块英特尔专用AI芯片,同时也来看一看英特尔这三年多的等待和3.5亿美元的资金砸出了多大一个响来?也看看英特尔这个曾经PC时期当之无愧的霸主,如今能不能靠着Nervana在人工智能领域提刀再战?
一、比GPU更好、更快、更强大深度学习分为演习(Training)和运用(Inference)两个阶段,Nervana芯片瞄准的是演习阶段,这一阶段须要打算机处理大量的数据,现有的CPU难以知足如此强大的打算需求,这也是英伟达靠着GPU崛起的主要缘故原由。
目前Nervana芯片紧张运用在云打算数据机房内。Nervana CEO Naveen Rao曾经表示,Nervana利用的这种新型芯片设计架构比GPU更快、功耗更低、性能更好。
▲英特尔Nervana深度学习专用芯片设计架构
根据英特尔在2016年11月的AI Day上,我们第一次理解到了这块Nervana深度学习专用芯片的设计架。这款芯片为2.5D封装,搭载了32GB的HBM2内存,内存带宽为8Tbps。芯片中没有缓存,完备通过软件去管理片上存储。它可以支持各种神经网络算法框架的加速,比如Nervana的Neon、谷歌的TensorFlow、Facebook的Caffe等。
Nervana CEO表示,之以是这款芯片能够做到比更快CPU、比GPU更快地加速处理深度神经网络,缘故原由有二:
1、这块芯片由“处理集群”阵列构成,处理被称作“活动点(flexpoint)”的简化数学运算,基于张量处理器的架构。相对付浮点运算,这种方法所需的数据量更少,因此带来了10倍的性能提升。
2、“互联(interconnect)”技能——这是Nervana芯片的真正亮眼之处,不过Nervana一贯这一技能的细节讳莫如深——Naveen Rao将这项互连技能描述为一种模块化架构,其芯片构造可以在编程上扩展成与其它芯片的高速串行连接,帮助用户创造更大、更多元化的神经网络模型。
在GPU上,数据在芯片内部处理和芯片外部通信处理有很大的不同,必须将内存映射到I/O,在内存不同层次构造中移动数据,造成延时等繁芜问题。而Nervana的互联技能能让芯片内的数据传输和芯片间的数据通信看起来一样,从而加快了处理速率。
“正如在PC时期,人们创造用GPU处理图片比CPU更快,于是转而购买独立GPU;而在人工智能时期,人们会创造用我们的芯片处理深度神经网络比GPU更好,于是转而选择我们,”Naveen Rao曾经这样说,“我们可以在硬件上打败英伟达。”
如此看来,大概英特尔这三年多的等待和3.5亿美元的资金砸得不亏?——可以说亏,也可以说不亏。
二、名不见经传的2014让我们把韶光轴调回2014年4月。
2014年4月,一家名为Nervana System(以下简称Nervana)的加州创企宣告得到60万美元融资轮融资。跟现在动辄几亿、几十亿的AI创业融资轮次来说,这金额并不算多——不过,彼时“深度学习”、“神经网络”、“人工智能”这些观点还没有现在这般火热得家喻户晓,“AI芯片”更是无从提起。
▲英特尔团队与Nervana团队合影
这家公司总部位于圣地亚哥,三位联合创始人全部来自高通:个中CEO Naveen Rao在高通神经拟态研究组(neuromorphic research group)中卖力人工神经网络打算研究、CTO Amir Khosrowshahi在高通卖力神经拟态传感器研究、公司的机器学习卖力人Arjun Bansal则在高通卖力深度学习算法研究。
正如我们所知,设计制造芯片的本钱非常高昂,尤其是这样一块用于处理海量数据专用芯片。于是就在短短4个月后,Nervana宣告了他们的第二轮融资——330万美元,用于深度学习演习专用芯片的打造,彼时公司只有11个人。
在其后的采访中,Nervana CEO Naveen Rao曾经对表示,“用户能在大约6个月后考试测验到这些深度学习专用硬件。”
实在当时市情上专注于打造深度学习专用硬件的创业公司并不止Nervana一家,其他还包括Ersatz Labs(2014年之后险些没有)、Skymind(2016年9月获腾讯参投的300万美元,2017年5月又获腾讯参投的300万美元)、Clarifai(2015年4月获1000万美元融资、2016年10月获3000万美元融资)等等。
2017年5月这轮融资只有少数英文网站宣布,中文网站没有宣布
顺便一提,2014年最火的行业当属虚拟现实(VR/AR),其融资领头独角兽Magic Leap在2014年年初和年末分别得到了5000万美元A轮融资和5.42亿美元的B轮融资。这家神秘AR创企的产品同样推迟多年,听说最近他们的产品就要首次亮相了。
三、端 or 云?傻傻分不清楚的20152015年5月,正在市场已经为Nervana的深度学习专用芯片等待了长达9个月后,Nervana忽然扔下一个重磅——
不,不是芯片推出。而是Nervana忽然宣告,公司即将推出Nervana云做事,让企业与用户能够通过网络接入Nervana云的办法得到强大的打算能力,不用受制于硬件的限定——不过当时,Nervana只是宣告了他们在打造“这朵云”,并没有公布它的面世韶光。
几天后,Nervana再次宣告,开源一款深度学习软件框架Neon。这款软件框架采取Python框架、采取Maxwell GPU框架,其卷积运算速率非常快(根据GitHub上的跑分,速率已经超过了Caffe、Torch等传统框架)。
就在Neon软件框架开源后的一个月,2015年6月,Nervana宣告得到公司成立以来的第三轮融资——2050万美元,本轮融资将用于Nervana深度学习硬件和云做事平台的搭建,个中“安卓之父”Andy Rubin旗下的硬件孵化器Playground Global参投,Nervana也加入了该孵化器中。
在得到这轮融资时,联合创始人兼CTO Amir Khosrowshahi也向表示,Nervana曾与美国情报委员会的风险投资部门In-Q-tel签署互助协议,美国国家能源研究科学打算中央也正在利用由Nervana开拓的深度学习软件Neon。
2016年2月29日,在宣告推出Nervana云做事的大半年后,这朵云终于经Nervana推出正式和大家见面。这项云做事的目的是让深度学习更快、更大略易用,专门为为短缺深度学习工具、短缺高等数据处理能力的公司打造。
不过,Nervana云暂时只能在英伟达的GPU上运行。Nervana CEO再次强调,假以时日,他们将会推出Nervana专用芯片。
此时Nervana云平台的互助伙伴已经拓宽到农业机器人初创公司蓝河科技(Blue River Technology)、 石油及天然气勘探公司Paradigm等,他们用Nervana云平台上的打算机视觉识别能力进行农作物分类、3D地形检测。
四、投身英特尔怀抱,两款芯片终于现形的2016半年后——重头戏来了。
▲左:英特尔副总裁、数据中央奇迹组总经理Diane Bryant,右:Naveen Rao
2016年8月9日,英特尔忽然宣告全资收购Nervana System,收购价格在新闻稿中没有透露。当天算夜部分媒体在宣布中提到的价格是3.5亿美元,而这一价格在第二天变成了4.08亿美元(根据Recode引援人士宣布)。当时,Nervana全体员工只有48人。
此时距Nervana首次宣告要打造深度学习专用硬件已经由去了两年多的韶光,在被英特尔收购后,这款Nervana深度学习专用芯片终于有了第一个名字——代号为“Lake Crest”,第一代产品估量将于2017年第一季度利用台积电28nm工艺进行流片测试,2017下半年开放给小部分用户利用。第二代芯片则会由英特尔自己的芯片制造生产线打造。
与此同时,英特尔还宣告将利用Nervana的技能打造一款代号为“Knights Crest”的加速器,合营英特尔的Xeon(至强)处理器利用。
此前,GPU凭借其并行打算能力一度在深度学习演习中大放异彩,不仅股价一起飙升,英伟达创始人黄仁勋(粉丝爱称“老黄”)还几次再三在各种场合diss摩尔定律,恐怕其实让称霸CPU多年的英特尔很是不爽。
除了几次再三买买买之外(收购Altera、Saffron、Movidius……)英特尔在人工智能领域一贯相对低调。不过,大概收购Nervana成了砌成英特尔AI堡垒的末了一块主要砖头——就在收购Nervana的三个月后,英特尔首次公布了其人工智能的整体策略,预报了未来即将推出的一系列AI办理方案,同时在11月17日、11月30 日分别在旧金山和北京举行人工智能论坛(AI Day),表达英特尔要从芯片到软件、从架构到饮用掀起持续串AI革命的决心。
而就在这个人工智能论坛上,我们终于第一次见到这款Nervana深度学习专用芯片的面纱,也便是本文第一段内提到内容(不随意马虎啊,都两年半了)。
转过年来,在2017年3月25日,英特尔还宣告,公司高下要整合其AI力量,构建一个统一的部门:人工智能产品奇迹部(ArTIficial Intelligence Products Group)AIPG,由Nervana前CEO Naveen Rao卖力,直接向英特尔CEO科再奇申报请示。
这一人工智能产品奇迹部将包括Xeon、Xeon Phi、Nervana和Altera等四个部分,这个新部门将整合公司的资源,包括工程、实验室、软件等等,打造英特尔Nervana平台——既有包括Nervana云打算做事、数据库、又包括Nervana专用芯片。
加入英特尔短短6个月就空降成四部门总管,这位今年仅40出头的奇迹部总管在一向看中年事与资历的英特尔集团中可谓是坐了火箭了一样平常,足以见得英特尔内部对付Nervana这一项目的看重之处。
今年,英特尔宣告这款芯片正式命名为“英特尔Nervana神经网络处理器”(Nervana Neural Network Processors,简称NNP)在今年10月17日和《财富》杂志的采访中,英特尔CEO科再奇表示,今年年底NNP就会正式和用户见面。与此同时他还透露,Facebook正在参与互助打造这款AI专用芯片,不过他们没有正式达成书面互助协议。
与此同时英特尔还表示,公司将暂时不会单独售卖这些芯片,而因此两类形式向用户开放做事:
1、以数据中央做事器(data center appliance)的形式售卖,里面包含了几个NNP和英特尔的其他CPU。
2、通过接入英特尔的Nervana云做事,获取打算能力。
不过无论如何,2017年里我们恐怕是很难见到了。
结语:英特尔的AI芯片之旅回到我们最开始抛出的问题,英特尔这三年多的等待和3.5亿美元(或者4.08亿)的资金砸得到底亏不亏?
——可以说亏,也可以说不亏。
在GPU崛起的时期,英伟达在人工智能演习阶段大放异彩,市值动不动一年翻一倍,一年翻三倍,老黄还常年diss摩尔定律,老牌CPU霸主英特尔固然是不爽的。
然而,异构打算的主流已经不可逆转,失落去打算上风的CPU在打算机中的调度器功能逐渐加重。英特尔虽然一贯在靠自我研发+“买买买”填补其在人工智能产品线上的差距,以更好地参与到连忙增长的人工智能市场中来,但是集团内没有一个拳头产品可以撑起英特尔这么大的市场。
目前,Nervana芯片依旧存在以下寻衅:
1、环绕GPU,英伟达已经建立了包括CUDA、cuDNN、TensorRT等在内的一系列丰富的软件生态系统,其通用性、广泛性、开拓者友好性都使得它广受欢迎。
在错过了三年的市场生态打造后,英特尔想要让厂商们舍弃自己在CUBA架构和GPU硬件上的大量投资(韶光+金钱),转而投向Nervana芯片的怀抱,那这款产品一定要较之GPU有超过一个数量级的提升才足够吸引。
2、在英特尔产品几次再三跳票的同时,不仅有老敌人英伟达在加速研发加速奔跑,各种人工智能专用AI芯片也不断崛起,就拿海内来说,寒武纪、深鉴科技、地平线等创业公司都已经在2017年下半年陆续推出(或正要推出)专用AI芯片,普遍宣告在2018年上半年进入量产,英特尔可以说是活生生把一个蓝海市场熬成了红海市场。
3、性能、速率、功耗比等方面对时都是英特尔或是Nervana宣告的理论性能或是测试性能,在芯片进入量产之前,工程化的坑依旧有很多,末了如何达到价格、性能、稳定性等的多方平衡,仍是英特尔须要努力的方向。从英特尔决定一开始不单独售卖芯片看来,这块NNP的通用型、易用性可能还在占领当中。
不过从另一方面讲,如果Nervana的产品真的成功量产,并且在性能、速率、功耗比等各个方面都较之GPU有着非常出色的表现,那么最最少英特尔在云打算数据中央这一人工智能领域的短板能够成功补足。再加上英伟达在边缘打算(端智能)方面由于GPU功耗较大而存在一定劣势,手握Movidius VPU低功耗视觉处理器的英特尔大概真的能够在人工智能浪潮中扳回一局。
而且,随着韶光不断推移,有关NNP的信息也越来越多,越来越详细。虽然我们在2017年可能看不到这块芯片,但是在紧接着的2018 CES上,大概英特尔会给我们带来一个新惊喜。