十多年来，深度学习须要专用硬件的想法已经根深蒂固，在多数公司追求极致AI芯片，开拓更专业的硬件时，一家创业公司另辟路子，重新设计了深度学习算法，开拓了无硬件深度学习产品。
用CPU代替GPU，用软件代替硬件，不仅会降落深度学习的本钱，而且会使AI的利用范围更广。而这统统的想法，均来自一个有时。
01 Neural Magic公司和无硬件深度学习
Neural Magic公司的创始人Nir Shavit是麻省理工学院的教授，当时他正在研究一个重修老鼠的大脑图的项目，须要深度学习的帮助。由于不知道如何在图形卡或GPU上编程，于是他选择了CPU。
“只要编程精确，CPU可以完成GPU的事情”。项目成功后，Shavit去比较了CPU与GPU在深度学习打算上各自的上风。
他创造，GPU也不适宜深度学习。一方面，它们不能用作独立芯片。由于它们实行的操作类型受到限定，因此必须将它们附加到CPU上以处理其他所有内容。GPU还具有数量有限的缓存，数据存储区最靠近芯片的处理器。这意味着大部分数据都在芯片外存储，并且必须在处理时检索。来回数据流终极成为打算的瓶颈，从而限定了GPU运行深度学习算法的速率。
Shavit有了新的想法：能不能重新设计一种深度学习算法，以利用芯片的大容量可用内存和繁芜内核在CPU上更高效地运行呢？
于是，在3年的沉淀之后，2020年，Neural Magic推出了一套许可任何公司支配深度学习模型而无需专用硬件的产品。他们已经找到了一种可以以人们以前从未有过的办法利用CPU内存的方法。
Shavit表示这也仅仅是个开始。Neural Magic 操持在将来扩展其产品，以帮助其他公司在 CPU 上演习 AI 模型。他说：“我们相信从现在开始10到20年后，CPU 将成为运行机器学习算法的实际架构。”
02 如果没有专用GPU，怎么办？
深度神经网络处理是GPU的特长，它非常适宜用于演习利用反向传播的深度神经网络，一贯以来都是深度学习领域用于模型演习和推理的首选。
在1980年代后期，Geoffrey Hinton和他的研究同事通过神经元样单元网络遍及了利用反向传播的观点。在反向传播中，以最小化网络的实际输出矢量和所需输出矢量之间的差异的办法调度网络中连接的权重。它通过打算偏差函数相对付给定偏差函数的权重的梯度和人工神经网络来事情。梯度的打算是通过人工神经网络的各层向后进行的。反向传播通过从末了一层开始，经由神经网络的各层，再到第一层结束来进行其打算。它利用矩阵乘法，GPU处理效果很好。
2011年，谷歌做过一次测试，创造在2,000个CPU上进行过演习的打算机视觉模型可以区分猫与人，而仅在12个GPU上进行演习就可以达到相同的性能。GPU比CPU具有更多的逻辑核心，更适宜并行处理更大略的打算，而CPU更适宜顺序处理单个繁芜的打算，例如解析或阐明代码逻辑。
为什么说CPU可以快过GPU？先来听这个故事。
CPU和GPU内部构造比较
莱斯大学和英特尔之间有一次互助，将两个具有禁用超线程功能的22核Xeon CPU与一个Tesla V100 GPU进行了比较。结论是，在深度神经网络上Intel Xeon CPU比NVIDIA Tesla V100 GPU快了3.5倍。
实现CPU加速的关键在于，研究职员利用了SLIDE（子线性深度学习引擎）算法。
SLIDE算法旨在通过取代演习深度神经网络的基本机制（称为反向传播）来肃清对GPU的需求。反向传播利用GPU善于打算的矩阵乘法。研究职员取代了矩阵乘法机制进行反向传播，并通过SLIDE算法将其转换为搜索打算，该打算通过哈希表来办理，而哈希表是CPU善于的。
这种算法可能会改变深度学习的“游戏规则”，这意味着，未来深度学习领域不再过度依赖专用的硬件，深度学习的本钱大大降落。对深度学习爱好者来说，这无疑是个好。
03 开启全民深度学习时期
无论是Neural Magic公司的无硬件深度学习产品，还是让CPU更快的Slide算法，它们都给深度学习领域的发展供应了全新的思路——无需专用的硬件、从算法切入优化软件......未来，可能还有更好的办法实现深度学习。
对付普通大众来说，深度学习的门槛一贯在降落。在GPU时期，弄一套用于深度学习的打算机设备，光是入门级别就得上万，如果想深入研究，还得考虑升级设备，这足以将大多数人拒之门外（土豪除外）。而现在，你可以用CPU代替GPU，或者考试测验通过改变算法来填补硬件功能的不敷。
还有一个被问得最多的问题——深度学习门槛太高，初学者怎么入门?
要想入门深度学习，除了一台好电脑之外，还要分 7 步走：
1、学习或者回顾一些数学知识
由于打算性能做的就只是打算，以是人工智能更多地来说还是数学问题。我们的目标是演习出一个模型，用这个模型去进行一系列的预测。
而演习的过程，便是求解最优解及次优解的过程。在这个过程中，我们须要节制基本的概率统计、高档数学、线性代数等知识。
2、节制经典机器学习理论与基本算法
这些基本算法包括支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性剖析、人工神经网络和BP算法、PCA、过拟合与正则化等。
3、节制一门编程措辞
首推Python，由于它有很多可供机器学习的库，当然，用于底层开拓的C/C++也是不错的选择。
4、研读经典论文，关注最新动态和研究成果
一些经典论文是必读的。例如，要做手写数字识别，若采取LeNet，要先阅读一下LeNet的学术论文；要做物体目标检测的演习，若选定MSCNN框架，可以先读MSCNN干系的论文。
在GitHub上，一样平常在开头的描述中就会解释这个模型所依据的论文；其余，一些博客、条记，以及微信"大众号、微博新媒体资讯等，每每一些很盛行的新演习方法和模型会很快在这些媒体上发酵，其演习神经网络采取的一些方法可能有很大的启示性。
5、自己动手演习神经网络
选择一个开源的深度学习框架（推介TensorFlow），再找一个深度神经网络，初学者最好从打算机视觉入手，由于它不像语音等领域须要那么多的根本知识，结果也比较直不雅观。例如，用各种网络模型来演习手写数字（MNIST）及图像分类（CIFAR）的数据集。
6、深入感兴趣或者事情干系领域
人工智能目前的运用领域很多，紧张是打算机视觉和自然措辞处理，以及各种预测等。对付打算机视觉，可以做图像分类、目标检测、视频中的目标检测等；对付自然措辞处理，可以做语音识别、语音合成、对话系统、机器翻译、文章择要、情绪剖析等，还可以结合图像、视频和语音，一起发挥代价。
7、在事情中碰着问题，重复前六步
在演习中，准确率、坏案例（bad case）、识别速率等都是可能碰着的瓶颈。演习好的模型也不是一成不变的，须要不断优化，也须要结合详细行业领域和业务进行创新。这时候就要结合最新的科研成果，调度模型，变动模型参数，一步步更好地贴近业务需求。
末了，异步君准备了一份入门深度学习的书单，供大家选择~
深度学习
作者： 【美】Ian Goodfellow（伊恩·古德费洛） 【加】Yoshua Bengio（约书亚·本吉奥） 【加】Aaron Courville（亚伦·库维尔）
译者： 赵申剑 ,黎彧君 ,李凯 ,符天凡
内容简介：
本书为三大部分，第一部分先容运用数学根本知识和机器学习的基本观点，第二部分先容业界经典的深度学习算法，第三部分是一些探索性研究，对深度学习的未来发展非常主要。本书假定读者拥有打算机科学的背景，熟习编程，对打算性能、繁芜度问题、图论知识以及入门的微积分理解。
京东5折购书
动手学深度学习
作者： 阿斯顿·张（Aston Zhang） 李沐（Mu Li） [美] 扎卡里·C. 立顿（Zachary C. Lipton） [德] 亚历山大·J. 斯莫拉（Alexander J. Smola）
内容简介：
本书不仅阐述深度学习的算法事理，还演示它们的实现和运行。本书共分3个部分：第一部分先容深度学习的背景，供应预备知识，并包括深度学习最根本的观点和技能；第二部分描述深度学习打算的主要组成部分，还阐明近年来令深度学习在多个领域大得胜利的卷积神经网络和循环神经网络；第三部分评价优化算法，考验影响深度学习打算性能的主要成分，并分别列举深度学习在打算机视觉和自然措辞处理中的主要运用。
京东5折购书
Keras深度学习实战
作者： [意大利] Antonio Gulli、[印度] Sujit Pal
译者： 王海玲 ,李昉
内容简介：
本书结合大量实例，简明扼要地先容了目前热门的神经网络技能和深度学习技能。从经典的多层感知机到用于图像处理的深度卷积网络，从处理序列化数据的循环网络到假造仿真数据的天生对抗网络，从词嵌入到AI游戏运用中的强化学习，本书引领读者一层一层揭开深度学习的面纱，并在逐渐清晰的理论框架下，供应多个Python编码实例，方便读者动手实践。
通过阅读本书，读者不仅能学会利用Keras快捷构建各个类型的深度网络，还可以按需自定义网络层和后端功能，从而提升自己的AI编程能力，在成为深度学习专家的路上更进一步。
京东5折购书
深度学习导论
作者： [美] Eugene Charniak
译者： 沈磊 ,郑春萍
内容简介：
本书讲述了前馈神经网络、Tensorflow、卷积神经网络、词嵌入与循环神经网络、序列到序列学习、深度强化学习、无监督神经网络模型等深度学习领域的基本观点和技能，通过一系列的编程任务，向读者先容了热门的人工智能运用，包括打算机视觉和自然措辞处理等。本书编写简明扼要，理论联系实践，每一章都包含习题以及补充阅读的参考文献。本书既可作为高校人工智能课程的传授教化用书，也可供从业者入门参考。本书哀求读者熟习线性代数、多元微积分、概率论与数理统计知识，其余须要读者理解Python编程。
深度学习与飞桨PaddlePaddle Fluid实战
作者： 于祥
内容简介：
本书基于最新的飞桨PaddlePaddle Fluid版本，以真实的运用案例先容如何用飞桨PaddlePaddle办理主流的深度学习问题。全书共14章。本书首先先容了什么是飞桨PaddlePaddle，然后先容了其核心设计思想，进而牢牢结合案例先容了飞桨PaddlePaddle在主流的图像任务领域、NLP领域的运用，末了还磋商了Paddle-Mobile与Anakin框架等高等主题。附录A和B给出了飞桨PaddlePaddle与TensorFlow、Caffe框架的接口中常用层的比拟。
参考资料：
这家初创公司无需专门的硬件就能使深度学习成为可能-MIT技能评论【https://www.technologyreview.com/2020/06/18/1003989/ai-deep-learning-startup-neural-magic-uses-cpu-not-gpu/】
CPU在深度学习培训中歼灭了GPU
【https://www.engineering.com/Hardware/ArticleID/20052/CPUs-Annihilate-GPU-in-Deep-Learning-Training.aspx】
-END-
