本日（2019年1月2日），云知声在北京召开一场主题为”声视非凡“的新闻发布会，正式公布了其全新的多模态AI芯片计策与方案。这一次，云知声打破原有的语音AI厂商的定位，进一步扩展到了视觉AI领域。同时，云知声还曝光了其正在研发中的三款AI芯片，包括第二代物联网语音AI芯片雨燕Lite、面向聪慧城市的支持图像与语音打算的多模态 AI 芯片海豚（Dolphin），以及面向聪慧出行的车规级多模态AI芯片雪豹（Leopard）。
从 IVM 到雨燕，云知声的造芯之路
众所周知， 云知声一贯以来都是一家语音技能厂商。随着人工智能以及边缘打算的兴起，自2014 年云知声开始切入物联网 AI 硬件芯片方案（IVM），并于2015年开始形成量产出货，个中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等险些所有海内一线家电厂商。
其余值得一提的是，根据云知声创始人兼CEO黄伟在本日发布会上公布的数据也显示，自2015年以来到现在，云知声的语音AI已经进入了500多家医院，个中80%都是三甲医院（比如北京协和医院、上海西岳医院等）。
在深入场景供应做事的过程中，为填补通用芯片方案在给定本钱和功耗条件下的能效比问题，以及在边缘算力、多模态 AI 数据处理方面的能力短板，2015年云知声正式启动自研 AI 芯片操持。
经由三年的研发，去年5月16日，云知声率先推出了业界首款面向物联网的语音AI芯片——UniOne雨燕（Swift）及其系统办理方案。该芯片采取云知声自主 AI 指令集，拥有具备完全自主知识产权的 DeepNet1.0、uDSP（数字旗子暗记处理器），并支持DNN/LSTM/CNN等多种深度神经网络模型，性能较通用方案提升超50倍。
而为了进一步加速”雨燕“及系统办理方案的落地，去年9月12日，云知声又发布了基于”雨燕“的智能音箱和智能家居的办理方案，并宣告将该方案开源。过“云端芯”结合，供应给客户与互助伙伴面向详细场景的软硬件一体化 Turnkey 办理方案，可让客户站在更高的设计出发点、以更低的本钱，在更短的韶光周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已供应的 AI 能力自行设计其它各种长尾产品形态，构建更为丰富的AIoT生态。
据先容，目前基于雨燕芯片的全栈办理方案已导入的各种方案商及互助伙伴已超过 10 家，包括美的、奥克斯、海信、京东、360、中国安然、硬蛋科技等，干系产品最早将于Q1 量产上市。
而雨燕芯片在市场上的成功，也成功推动了云知声营收的增长。虽然2018年整体的大环境不是很好，但是，根据云知声公布的数据显示，2018年云知声的营收比较2017年竟猛增了3倍。而之以是能够有如此巨大的增长，与”雨燕“的”着花结果“密不可分。
云知声创始人兼CEO黄伟也表示，2018年云知声的营收紧张便是来源于芯片和软件做事。
5G 推动AIoT落地，多模态AI芯片成一定
那么作为一家语音AI技能厂商，云知声这一次为什么会打破原有的语音AI厂商的定位，进一步扩展到了视觉AI领域，并宣告推多模态AI芯片呢？
▲云知声创始人兼CEO黄伟
云知声创始人兼CEO 黄伟认为，当前我们正处于 5G 爆发的边缘，5G 与人工智能的结合将真正匆匆使万物智联（AIoT）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布打算的需求，势必将进一步寻衅 AI 底层支持硬件——芯片的打算能力。
与此同时，AIoT 场景下人工智能运用对付端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者须要紧密结合，这哀求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好本钱、功耗、安全性等诸多现实需求，因此具备多维度 AI 数据集中处理能力的多模态AI芯片将成必由之路。
物联网AI芯片的多模态演进之路
在第一代 UniOne 芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出， UniOne 并不是一颗芯片，而是一系列芯片，代表了云知声对付物联网 AI 芯片发展计策的整体构想。在今日举行的云知声 2019 多模态 AI 芯片计策发布会上，李霄寒再次从三方面论证了物联网多模态 AI 芯片的必要性。
▲云知声联合创始人李霄寒
李霄寒认为，当前物联网产品线的 AI 芯片越来越明显地表示出三个趋势：
首先是场景化。芯片设计正在由原来的片面追求 PPA ，即性能（Power）、功耗（Performance）和面积（Area）逐渐演化成基于软硬一体，乃至包括云端做事的办法来办理某个垂直领域的详细问题，芯片本身上升成为全体办理方案中的主要部分，而非唯一；
其次，端云互动。在物联网的不同运用处景下，海量终端设备要实现功能智能化必须端云合营，即形成边缘算力和云端算力的动态平衡。端云互动的命题须要 AI 芯片的强有力支持，进一步也深刻影响到芯片的设计，以及终极的交付；
第三，数据多模态。在以 5G 驱动的万物智联场景下，芯片所打仗到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的寻衅。
云知声多模态 AI 芯片技能布局
为实现多模态 AI 芯片的计策落地，目前云知声已在加速技能布局，并在机器视觉方面取得飞速进展。
个中，面向机器视觉的轻量级图像旗子暗记处理器已可实现在不依赖外部内存的情形下，在 30 fps 的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速率和效果。
▲云知声面向机器视觉的轻量级图像旗子暗记处理器
借助基于人脸信息剖析的多模态技能，已可实现人脸/物体识别、表情剖析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验供应更多的可玩性和灵巧性。
▲云知声的人脸识别、表情剖析、标签化技能
▲多目标物体识别
▲多目标唇动状态跟踪
尤为值得一提的是，云知声多模态人工智能核心 IP——DeepNet2.0 的发布，标志着云知声人工智能处理核心由 1.0 语音时期全面迈入 2.0 领悟语音、图像等处理能力的多模态时期。
DeepNet2.0 可兼容 LSTM/CNN/RNN/TDNN 等多种推理网络，支持可重构打算与 Winograd 处理。
根据云知声公布的数据显示，基于云知声的DeepNet2.0，在LFW2018、MegaFace2018等人脸识别评测中，准确度分别达到了99.80%、99.47%，已靠近现有的最优成绩。
目前云知声 DeepNet2.0 已在 FPGA 上得到验证，将在2019年落地的全新多模态 AI 芯片海豚（Dolphin）上落地。
除此之外，在图像与芯片技能的产学研互助方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能打算中央——ASIC达成深度互助，致力于 AI 芯片算法压缩与量化技能,以及非冯新型 AI 芯片打算架构研究，将进一步为云知声多模态 AI 芯片计策的推进夯实根本。
三款在研芯片曝光，2019年启动量产
在首款量产芯片雨燕已有大批客户导入，盘踞市场先发上风的背景下，云知声在2019年AI芯片方案方面显得较为激进，操持推出三款AI芯片，并操持于2019年启动量产。
一款是轻量级物联网AI芯片雨燕Lite。支持麦克风矩阵、轻量级语音唤醒、轻量级语音识别。
一款是面向聪慧城市的多模态AI芯片“海豚”。支持摄像头，ISP、OD、Face ID，支持麦克风矩阵、语音唤醒、离线语音识别合成等。
还有一款面向聪慧出行的多模态AI芯片“雪豹”。个中，后两者都同时领悟了语音AI和视觉AI的能力。
而根据云知声在会上公布的资料显示，多模态AI芯片“海豚”将采取28nm工艺,对标的是Mobileye EQ4。根据方案，云知声的“海豚”最高可配置算力达4Tops，达到了EQ4的1.6倍，功耗为4.3W，略高于EQ4。
另据李霄寒透露，面向聪慧出行场景的多模态车规级AI芯片雪豹（Leopard）是与吉利集团旗下生态链企业亿咖通科技共同打造的，这也意味着一旦这款芯片成功量产，后续或有机会在吉利集团的支持下实现快速落地商业化。
小结：
2017年年底百度率先宣告免费开放其语音AI能力，随后科大讯飞的讯飞开放平台也免费开放了根本能力。这也使得语音AI市场竞争变得非常激烈。在此背景之下，不少语音AI初创公司纷纭寄希望于通过推出语音AI芯片来打造生态，从而实现代价的提升。
而对付云知声来说，从语音技能做事供应商，进一步扩展语音AI芯片，再到视觉AI领域，显然是希望能够摆脱语音AI市场的激烈竞争，分食市场更为弘大的视觉AI市场蛋糕。
不过，相对付语音AI市场来说，视觉AI市场虽然更为广阔，但是同样也是竞争激烈，不仅有着商汤科技、旷视科技、依图科技、云从科技等浩瀚的独角兽，也有着海康、大华等老牌安防厂商，还有着一大批的中小型视觉AI初创企业，并且不少视觉AI厂商已经推出或正在积极的准备推出视觉AI芯片/模组。
其余，对付视觉AI最大的也是代价最高的一块市场——安防市场，其壁垒相对较高，而且须要较长周期的持续耕耘，而这一块市场也是大家争夺的焦点。但是由于各地政府的政策、偏好及哀求不同，也使得这块市场呈现出割裂的态势。以是，新的玩家依然存在机会。
不过，对付云知声这样一家过往长期专注于语音AI领域的技能厂商，溘然进入到视觉AI领域，确实会给市场一种突兀感，要想在强敌林立的视觉AI市场取获胜利确实不易。当然，视觉AI市场巨大，机会犹存，这也是为什么现有的视觉AI厂商的数量数倍于语音AI厂商的一个缘故原由。
编辑：芯智讯-浪客剑
