首页 » 互联网 » 周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片

周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片

南宫静远 2024-12-22 10:29:18 0

扫一扫用手机浏览

文章目录 [+]

这是特斯拉 Autopilot (以下称 AP)迄今为止取得的最大的技能打破,但另一方面,自动驾驶事关行车安全,我们每个人都该当保持足够的理性和克制,谨慎剖析。
特斯拉 AP 的技能架构、发展策略是如此的独特,它的各类策略到本日仍旧充满了争议。
因此,本文将分为对特斯拉、对行业、对用户三大部分展开。

个中涉及技能架构的部分可能稍显晦涩,但如果你是车主,仍旧强烈建议你去考试测验理解。
对付车主来说,用户体验是最主要的。
但技能架构是匆匆成用户体验的顶层设计,理解技能架构能帮助你更好的理解这套系统的潜力和短板所在。

周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片 周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片 互联网

(如果你实在读不下去,请直接拉到末了看对用户篇)

周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片 周全解读特斯拉自动驾驶芯片:一场蓄谋已久的进攻_特斯拉_芯片 互联网
(图片来自网络侵删)

对特斯拉

对付特斯拉来说,AP 终极达成了 Elon 想达成的目标。
正如文章开头所说,这是自 2014 年 10 月 AP 出身以来,特斯拉取得的最大的技能打破。

有充分的证据表明,英伟达 Drive PX2 芯片之于 AP 自始至终都是一个过渡角色。

2015 年 11 月 20 日深夜,Elon Musk 连发数条 Twitter 在线招人。
那可能是他第一次提到,AP 团队的目标是实现自动驾驶,而加入 AP 团队的员工将由他本人亲自口试。
除了 AP 团队直接向他申报请示,所谓 This is a super high priority.

一个月后,顶级芯片大神 Jim Keller 及其团队集体加入特斯拉,Keller 出任 AP 硬件副总裁,AP 芯片研发团队成立。

10 个月后量产的 AP 2.0 车型,在设计之初就考虑了中心打算芯片可插拨,便于后期升级。

对特斯拉来说,以自主研发的自动驾驶芯片驱动汽车完备是「蓄谋已久」。

特斯拉为什么要自行设计研发自动驾驶芯片?Jim Keller 给过一段阐明:

在技能变革方面,我们正处于 AI 革命之中。
AI 的打算办法和经典的标量打算、矢量打算、图形打算都不一样,可以说差别巨大,运用非常广泛。
每当有这样变革的时候,尤其是从硬件到顶层软件堆栈都在变革,就会有大量的人投身个中。
有一点是不变的,高端处理器的设计非常难做。
将无数模块组合成差异化的、高代价的处理器非常难做。
你看看现在的半导体行业,有些是来自大公司的标准产品,有些是自主设计的定制芯片。
但不变的是,超级困难的寻衅须要真正的专家来办理。

在 Elon Musk 看来,打算机视觉 + AI + 海量真实数据,是 AI 技能在汽车行业最困难也最具想象力的运用处景。
就像 Jim Keller 所说,AI 须要从软件到硬件底层设计全面的变革。

这便是特斯拉最初的动机,本日,特斯拉实现了这块芯片的量产。

下面先来先容一下芯片本身。

这块芯片以 260 平方毫米的规格堆下了 60 亿个晶体管和 2.5 亿个逻辑门,峰值性能达到 36.8 TOPS,采取三星 14nm FinFET CMOS 工艺制造。

芯片搭载了频率为 4.266 GHz/s 的 LPDDR4 RAM,峰值带宽为 68GB/S,此外,特斯拉还在芯片上集成了一个 24 位通道的 ISP,支持高等色调映射和高等降噪。

除此之外,这块主板上还搭载了两块主频 2GHz 的神经网络加速器(互为冗余),拥有 32MB 的SRAM 和 96×96 的阵列,数据处理速率 1TB/s。

图形芯片方面,该芯片支持 32 和 64 位浮点处理的图形芯片。
同时植入了 12 个主频 2.2Ghz 的 64 位 CPU。

芯片具备一个独立安全芯片和 H.265 视频解码器。

末了,主芯片功耗仅为 75W,全体主板功耗 250W,意味着每行驶 4 小时,特斯拉芯片会花费 1 度电。

你可能想知道 Mobileye 性能最强的量产芯片 EyeQ4 和英伟达性能最强的量产芯片 Drive PX2 芯片跟特斯拉自动驾驶芯片比,是什么水平?

首先,Mobileye EyeQ4 紧张被用作感知芯片,定位不同,性能峰值仅为 2.5TOPS。
以是,略。

Pete Bannon

关于 Drive PX2,官方有一张 PPT 做比拟。
特斯拉芯片的处理速率达到 2300帧/s,是 Drive PX2 的 110 帧/s 的 21 倍。
在另一项比拟中,Elon 提到特斯拉芯片的性能是英伟达下一代自动驾驶芯片 Drive Xavier 的 7 倍。

但在我看来,特斯拉这样绝不留情地陵暴前芯片供应商英伟达并不得当。

虽然两者都定位自动驾驶中心打算芯片,但从芯片架构来看,特斯拉芯片已经向图像处理和 AI 打算全面倾斜,而英伟达两代芯片仍旧因此 GPU 为核心的自动驾驶芯片。
这使得英伟达在图像处理比拟中会处于劣势。

无论是超强的图像处理能力还是为 AI 设置的神经网络加速器,都决定了这块芯片与 AP 2.0 定义的 8 颗不同视距、规格的摄像头感知、Tesla Vision 深度神经网络视觉处理工具强强绑定。
这是一颗 AP 专用芯片,只有 AP 能开释它最大的性能。

下面我们说说它好在哪里。

首先自然是算力大增推动的全车 8 颗摄像头火力全开了。
早在 2018 年 Q2 会议上,特斯拉 AI 总监 Andrew Karpathy 明确说过,AP 跑大型神经网络表现非常好,但是由于算力限定,目前还无法支配到车端。

特斯拉在发布会上提到,新芯片每块加速器都支持 8 颗摄像头以 2100 帧/s 的速率输入图像,每颗摄像头都是全景全分辨率输入。

其次,我们已经看到了双神经网络加速器,除此之外,特斯拉还设计了冗余电源、冗余打算,在 Model 3 上,特斯拉预埋了制动冗余和转向冗余。
实现自动驾驶硬件冗余所需除了感知,别的的电源、定位、打算、掌握、实行冗余,由此得以全部实现。

其余一个与自动驾驶强干系的功能是 CPU 容错(Lockstep)设计,主板运行时两套相同的硬件将同时处理相同的数据,逼迫实行不同芯片、内存间的时序相同,确保它们在同一时候处理完备相同的数据,以此来担保汽车自动驾驶过程中的低时延特性。
这对高速行车场景下的自动驾驶至关主要。

即便涌现软件 Bug 缺点或硬件故障,系统也能在不丢失数据的条件下不间断运行。

Elon 对冗余容错设计的评价是:任何一部分都可能失落效,但汽车将连续行驶,这块打算芯片运行失落败的可能性远低于驾驶汽车过程中司机失落去意识的可能性,至少低一个数量级。

末了是独立安全芯片设计,该芯片将以加密的办法主动检讨所有指令和数据,以监控黑客攻击自动驾驶汽车的可能性。
安全芯片将读取输入和输出数据,不雅观察任何可疑的感知信息,包括欺骗性的视觉信息(例如以假人欺骗汽车前方有行人)调度决策和掌握。

整体来说,这块芯片完备实现了特斯拉,紧张是 Elon 本人的设计需求。
Elon 在发布会上给予了极高评价:

How could it be that Tesla, who has never designed a chip before, would design the best chip in the world? But that is objectively what has occurred. Not best by a small margin, best by a big margin.从没做过芯片的特斯拉,怎么可能设计出世界上最好的芯片呢?但这是一个客不雅观事实。
不是比最好的芯片好一点儿,是好一大截。

Pete 和 Karparthy 也被 Elon 称为天下上最好的芯片架构师和天下上最好的打算机视觉科学家。

2018 年 8 月,AP 团队三位高管溘然亮相特斯拉 Q2 财报会议,Elon 让 AP 团队做了财报会议的主角。
这么做的缘故原由在本日被揭开:2018 年 8 月,特斯拉测试了第一批 AP 3.0 车型,取得了很好的运行效果。
在过去的几个月,特斯拉一贯在对 AP 3.0 进行测试。

因此,1.0 到 2.0 的体验断崖式下跌的情形在 2.5 到 3.0 的过渡时不复存在。

AP 3.0 版本的 Model S/X 和 Model 3已经分别于 3 月 20 日和 4 月 12 日量产。
其余,特斯拉下一代自动驾驶芯片,HW 4.0 主芯片的研发已于一年前启动。
估量将在未来两年内实现量产,性能将比 3.0 芯片好 3 倍。

对行业

我们来重新核阅一下 AP 2.0 传感器套件。

3 个前置摄像头(广角(60 米)、长焦(250 米)、中距(150 米))2 个侧方前视摄像头(80 米)2 个侧方后视摄像头(100 米)1 个后视摄像头(50 米)12 个超声波传感器(探测间隔/精度翻倍)1 个增强版前置雷达(160 米)

没有激光雷达,一颗都没有。

在本日的发布会上,Elon 接管投资人提问时再次表明了他对激光雷达的态度。

Lidar is a fool’s errand,Anyone relying on lidar is doomed. Doomed! [They are] expensive sensors that are unnecessary.激光雷达是徒劳的,任何依赖激光雷达的公司都注定要失落败的。
注定!
它们是昂贵的、不必要的传感器。

相对 CEO 纯粹的排斥,特斯拉 AI 高等总监 Andrej Karparthy 给出了一些更让人信服的阐明。
Karparthy 认为,天下是为视觉识别而构建的,激光雷达很难分辨塑料袋和轮胎的差异,而大规模神经网络演习和视觉识别对自动驾驶来说是必不可少的。

Andrej Karparthy

You were not shooting lasers out of your eyes to get here. In that sense, lidar is really a shortcut,It sidesteps the fundamental problems, the important problem of visual recognition, that is necessary for autonomy. It gives a false sense of progress, and is ultimately a crutch. It does give, like, really fast demos!

你并没有从眼中射出激光来看到这儿。
从这个意义上说,激光雷达确实是一个捷径。
它回避了基本问题,视觉识别的主要问题,这是实现自动驾驶所必需的。
它给人一种进步的错觉,终极是一根拐杖。
它确实供应了非常快的演示。

不同公司在技能路线上会有一些差异。
早期的自动驾驶公司感知以激光雷达为中央,如今大多以多传感器领悟为主,也有少数公司以打算机视觉为主。
但这个天下上所有的自动驾驶创业公司 + 大公司,没有一家实现自动驾驶完备不用激光雷达,除了特斯拉。

一种合理的预测是,激光雷达成本居高不下,特斯拉出于商业考量未选择激光雷达。
实际上,上文中 Karparthy 的剖析已经能代表 AP 团队的态度。
还有其余一些证据表明,特斯拉不喜好激光雷达完备是出于技能层面的差异。

首先,特斯拉不止一次被拍到利用激光雷达进行测试,Elon 本日也提到,他并不是讨厌激光雷达。
Space X 团队自主研发了激光雷达,但对付汽车,激光雷达是昂贵且不必要的传感器。

其次,在这之前,Elon 已经阐明过弃用激光雷达的缘故原由。
在本钱之前,首先是感知领悟的技能路线缺点。

如果你坚持极为繁芜的神经网络技能路线,做到了非常前辈的图像识别技能,那么我认为你最大化地办理了问题。
然后你须要把它和日趋繁芜的雷达信息领悟,如果你选择了波长在 400 nm - 700 nm 的范围内的主动质子发生器,实在是很屈曲的,由于你被动地做到了这一点。
你终极会考试测验在大约 4 毫米的雷达频率上主动发出质子,由于(该频率)可以穿透障碍物,你可以透过雪、雨、灰尘、雾……其他任何东西“看”清前方路况。
令人费解的是,一些公司会用缺点的波长来做主动质子发生系统。
它们给汽车武装了一大堆昂贵设备,让汽车变得昂贵、丑陋也不必要。
我以为它们终极会创造自己在竞争中陷入劣势。

这是特斯拉和全体行业的不合。
下一个问题是,摄像头能扮演核心传感器的角色吗?

在这个问题上,特斯拉总算能和行业保持同等了。

在所有传感器中,摄像头拥有最丰富的线性密度,其数据量远超其他类型的传感器。
一个行业共识是,基于视觉的感知在全体自动驾驶体系中的主要性正在持续提升。
基于图像信息密度最高的上风,使得它处于全体感知领悟的中央地位。

事实上,完备基于视觉来办理无人车的路况感知问题是可行的,但是还有很长的路要走,自动驾驶汽车的发展过程该当是一个视觉逐步替代高端激光雷达的过程。

以是,特斯拉与行业的真正不合在于,行业普遍认可视觉潜力巨大,激光雷达大概有一天会退出历史舞台,但本日的打算机视觉和 AI 发展发展成熟度绝无可能独立完成感知。
而 Elon 从第一性事理出发认为,激光雷达的加入会让技能路线误入歧途,所有人的终极目标都是摄像头实现感知。

特斯拉的底气来自跑在环球各地的 42.5 万辆 AP 2.+ 车型。
MIT 按照特斯拉公布的交付量、特斯拉汽车均匀行驶里程和 AP 启动状态下行驶里程打算,到 2019 年,特斯拉累计路测数据已经达到 4.8 亿英里,到 2020 年(估算)将打破 15 亿英里。
按照 Elon 的说法,特斯拉路测数据占全行业总路测数据的 99%。

特斯拉此前被广泛质疑的一点是:在全车 8 颗摄像头全部开启参与感知后,每个月上传数据花费流量均匀仅为 1-3 GB,这个规模看起来很难说特斯拉在进行真正有效的数据采集。

在本日的发布会上,Karparthy 阐明了这一问题。
对付特斯拉来说,最大的上风也是最大寻衅来自于对海量真实数据的处理,在早期进行短暂的人工标注(labeling)后,很快大量的障碍物识别都改为本地机器自动标注提升识别率。

只有涌现摄像头完备无法理解或引起混乱的图像,才会上传到云端,由工程师进行标注,导着迷经网络进行演习,直到神经网络节制对该场景的识别。

其次,环球各地不同国家有着完备不同的路况、交规、暴雨、冰雹、大雾、乃至大水、失火、火山等罕见的长尾场景。
每一次 AP 启用状态下的人为参与接管,系统都会记录下该场景的信息和数据,并自行学习人类的决策和驾驶行为。

Karparthy 特殊提到,真实施车场景下的路况数据无法替代。
对付竞品公司广泛采纳的仿照器演习办理数据匮乏问题的做法,特斯拉用两句话回应:一个细节堪比真实天下的仿照器本身会比自动驾驶系统的设计难度更大;利用仿照器改进,就像自己改自己的作业,提升有限。

对付这个行业来说,特斯拉手握环球最大规模的自动驾驶车队,开始打算机视觉 + AI(软硬件) + 海量真实数据的探索。
时至今日,通用 Cruise COO Daniel Kan 对 AP 团队的评价仍旧最为精准:They are push the boundary of technology.

对用户

在发布会后半段,特斯拉对一些问题做出理解释。
比如,AP 运行状态下的最小跟车间隔大概在 3 米旁边,在中国堵车场景下这样的间隔给侧方车辆强行并道供应了足够的空间。

特斯拉提到了影子模式机制,即每一次此类场景下驾驶员接管加速靠近前车,系统都会记录下驾驶员的驾驶行为,上传到云端。
当同一行为比例足够高的时候,神经网络的决策机制就会发生变革,并被推送给成千上万的用户。

Stuart Bowers

以是,在不远的将来,AP 一定会越来越好用,不断靠近自动驾驶。
但作为用户的你都要在任何时候都要明白,在官方承诺全自动驾驶技能实现之前,无论系统多么好用,它都不是自动驾驶。

Elon 在发布会上提到,AP 在第一阶段的自动驾驶,仍旧逼迫哀求搭客坐在驾驶位上关注前方路况。
听起来是不是非常抵牾?

​ 在此前接管 Ark Capital 采访时,Elon 做了更详细的解释。

到今年年底,特斯拉将会功能性实现(Feature Complete)自动驾驶。
功能性实现的意思是,车辆能从停车场驶出找到你,接上你并把你送到目的地,这个过程中你须要把稳路况并有极小的概率须要在适当的时候接管车辆,但在大多数时候根本无需驾驶员参与。
人们认为这是 100% 零失落误的全自动驾驶,不须要任何人类监管,实际上并不是这样的。
功能性实现自动驾驶的特斯拉可以应对 99.9999% 的场景,但在那之后须要增加更多的 9。

特斯拉也明确解释,在某些极度场景,如暴雨、冰雹、大雾之类的恶劣景象下,自动驾驶系统存在停滞运行的风险。
事实上在系统停滞运行,驾驶员接管后,系统会进行学习或以镜子模式网络信息和数据。

以是,我们完备无意谈论 Elon 在末了放飞环节提到 2020 年的 100 万辆 Robo-Taxi 自动驾驶车队打车做事。
真正值得关注的问题是,在车队、芯片、算法先后到位后,特斯拉 Autopilot 从去年的完备不可用,到如今具备主流竞争力的 L2,正在快速向 L4 逼近。

特斯拉可能是环球第一家须要跟国家级监管机构会谈大规模投放自动驾驶车队的公司。
这背后须要全体 AP 2.+ 车主精确理解系统的边界,按照用户解释书利用系统。
不要让技能的进步以悲剧为代价。

2016 年初启动,2019 年中量产。
AP 芯片发布后,特斯拉实质上已经拼上了末了一块关键的版图。
一图总结特斯拉未来十年核心竞争力。

相关文章

国产小芯片量介绍浸染性_芯片_技巧

XDFOI技能可将有机重布线堆叠中介层的厚度掌握在50微米以内,微凸块(μBump)中央距为40微米,可实现各种工艺在更薄、更小的...

互联网 2024-12-24 阅读0 评论0