以是你明白了吧,不论是自动驾驶,还是VR;亦或是现在市情上层出不穷的平衡车,都离不开ToF技能。
知其然更要知其以是然,我们接下来给大家讲讲ToF的大略事理
TOF 技能详解

一、事理
TOF是Time of flight的简写,直译为翱翔韶光的意思。所谓翱翔韶光法3D成像,是通过给目标连续发送光脉冲,然后用传感器吸收从物体返回的光,通过探测光脉冲的翱翔(来回)韶光来得到目标物间隔。
图1:3D TOF成像事理
发射的红外光芒被被测物体反射后回到传感器,内置的计时器记录其来回韶光,然后即可打算出其间隔。听起来彷佛和大家玩烂了的超声波测距没啥不同。但实在不然,超声波测距对反射物体哀求比较高,面积小的物体,如线、锥形物体就基本测不到,而TOF红外测距完备可战胜此问题,同时TOF测距精度高,测距远,相应快。
我们从网上找到一个ToF的运用实例来解释,该实例采取DragonBoard410c来搭建一个88阵列的IC,型号为EPC610。
光的翱翔韶光
ToF间隔丈量
常日,固态激光或者 LED 的发射光源是近红外波段(~850nm),对人眼不可见。图像传感器须要能够相应相同的波段,吸收光,将光能量转化为电流。把稳,进入传感器的光同时包括了环境光和反射光。间隔(深度)信息只存在于反射光中。因此,过多的环境光会降落信噪比(SNR)。为了检测发射光和发射光之间的相位移动,光源是脉冲波或是调制过的连续波, 光源常日是正弦波或方波。方波调制更通用,可以通过数字电路很随意马虎实现。
通过集成的光电转换器从反射光中获取脉冲调制,或在反射的第一个检测中启动快速计数 器。快速计数器须要一个快速光检测器,常日是一个单光子雪崩二极管(SPAD)。这种计数 方法须要快速电子脉冲,1 毫米的精度须要的时钟脉冲间隔是 6.6 皮秒。这种级别的精度在室 温下的芯片上是无法得到的。
图 2: 两种翱翔韶光方法:脉冲(上)和连续波(下)
脉冲方法是比较直不雅观的。在一个比较短的韶光内,光源照射韶光为(Δt),采取两个异相 窗口,C1和 C2,在相同的韶光间隔Δt 内,同时并行对每个像素点的反射能量进行采样。在这些采样韶光内,电流持续充电,丈量 Q1 和 Q2 用下面公式打算间隔:
连续波方法每次丈量获取多个样本,每个样本相位差 90 度,共 4 个样本。利用这种技能,发射光和反射光之前的相位角为,φ,间隔 d 可以通过下式打算:
接着,待丈量像素的亮度(A)和偏移(B),打算为:
在所有的公式中,c 是光速 30 万千米每小时。 第一眼看,比较脉冲波,连续波方法的繁芜度看似不合理,但仔细看连续波的公式, 就会创造(Q3 − Q4)和(Q1 − Q2)减少了丈量中的偏移常量。还有便是,相位角公式中的商值可减少 间隔丈量中的增益常量的影响,比如,系统中的放大或衰减,或者反射的强度。
反射亮度(A)和偏移(B)会影响深度丈量的精度。深度值方差可以用以下公式估计:
调制常量 cd 描述了翱翔韶光传感器分离和网络光电旗子暗记的好坏程度。反射光强,A,是光 强的函数。偏移,B,是环境光和系统内部偏移的函数。可以从公式 6 得到结论是高幅度,高调 制频率和高调制比拟度,可以增加精度;但高偏移会导致相机饱和从而降落精度。
高频情形下,由于芯片硅半导体的特性,调制比拟度会衰减。这是调制频率的实际上线。具有快速低落沿频率的翱翔韶光相机精度更高。
连续波丈量基于相位,每 2π重复一次,意味着间隔就会产生锯齿。产生锯齿的间隔,称为 模糊间隔,damb,用公式 7 表示:
离涌现循环,damb 便是最大的不雅观测间隔。如果须要增加不雅观测间隔,就须要减小调制频 率,根据公式 6,就会减小精度。
如果不想妥协,高等翱翔韶光系统就会采取多频技能增加间隔而不减小调制频率。增加一个或多个调制频率稠浊可以天生多频技能。每个调制频率都有一个不同的模糊间隔,但真正的位置是多个频率相交的地方。两个调制频率相交,称为差(分)频(率),常日很低,对应一个较长的模糊间隔。双频技能方法如下所示。
图 3: 用多频技能增加间隔
二、点云
翱翔韶光传感器丈量 2 维可寻址的阵列传感器中的每个像素的间隔,天生深度图。深度图是3 维点云的凑集(每个点称为一个体素)。比如,QVGA 传感器的深度图有 320x240 个 体素。深度图的 2 维表示是一个灰度图,如图 4 易拉罐所示,亮度比较亮,比较近的体素。图4 显示了一组易拉罐深度图。
图 4: 易拉罐深度图
其余,深度图可以通过一系列的点组成的三维空间来渲染,或者点云。3D 点可以连接形成网格,表明影射有材质贴图。如果有同一物体的实时彩色图像天生材质,就可以渲染出逼真 的3D 物体,如图 5 所示。图片中的人可以旋转人像看不同的透视图:
图 5: 从点云天生的人像
3D TOF 相机特性
利用TOF技能成像的设备被称为TOF相机(或TOF摄像头), TOF相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器(TOF芯片)、掌握电路以及处理电路等几部单元组成。这种技能跟3D激光传感器事理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。
与同属于非侵入式三维探测、适用领域非常类似的双目丈量系统比较,TOF相机具有根本不同3D成像机理。双目立体丈量通过旁边立体像对匹配后,再经由三角丈量法来进行立体探测,而TOF相机是通过入、反射光探测来获取的目标间隔获取。
TOF技能采取主动光探测办法,与一样平常光照需求不一样的是,TOF照射单元的目的不是照明,而是利用入射光旗子暗记与反射光旗子暗记的变革来进行间隔丈量,以是,TOF的照射单元都是对光进行高频调制之后再进行发射。
与普通相机类似,TOF相机芯片前端须要一个搜集光芒的镜头。不过与普通光学镜头不同的是这里须要加一个带通滤光片来担保只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果,不同间隔的场景为各个不同直径的同心球面,而非平行平面,以是在实际利用时,须要后续处理单元对这个偏差进行校正。
作为TOF的相机的核心,TOF芯片每一个像元对入射光来回相机与物体之间的相位分别进行记录。该传感器构造与普通图像传感器类似,但比图像传感器更繁芜,它包含2个或者更多快门,用来在不同韶光采样反射光芒。
由于这种缘故原由,TOF芯片像素比一样平常图像传感器像素尺寸要大得多,一样平常100um旁边。照射单元和TOF传感器都须要高速旗子暗记掌握,这样才能达到高的深度丈量精度。比如,照射光与TOF传感器之间同步旗子暗记发生10ps的偏移,就相称于1.5mm的位移。而当前的CPU 可到3GHz,相应得时钟周期是300ps,则相应得深度分辨率为45mm。运算单元紧张是完成数据校正和打算事情,通过打算入射光与反射光相对相移关系,即可求取间隔信息。
TOF相机优缺陷剖析
TOF相机优点:
1、相对二维图像,可通过间隔信息获取物体之间更加丰富的位置关系,即区分前景与后景;
2、深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统运用;
3、经由进一步深化处理,可以完成三维建模等运用;
4、能够快速完成对目标的识别与追踪;
5、紧张配件成本相对低廉,包括CCD和普通 LED 等,对今后的遍及化生产及利用有利;
6、借助 CMOS 的特性,可获取大量数据及信息,对繁芜物体的姿态判断极为有效;
7、无需扫描设备赞助事情。
TOF相机缺陷:
1、相对付普通数码相机,其造价仍旧偏高,影响该产品目前的遍及利用率;
2、相机本身仍旧受到硬件发展的限定,更新换代速率较快;
3、丈量间隔较常规丈量仪器短,一样平常不超过 10 米;
4、丈量结果受被测物性子的影响;
5、大多数机器的丈量结果受外界环境滋扰较为明显,尤其是受外界光源滋扰;
6、分辨率相对较低,
7、系统偏差及随机偏差对结果影响明显,须要进行后期数据处理。
通过以上概述,大家对付其事情事理已经是非常的清晰。
TOF运用领域
TOF技能具有丰富的运用处景,在汽车、工业、人脸识别、物流、安抚监控、康健,游戏、娱乐、电影殊效、3D打印和机器人等诸多领域都有运用。
汽车:TOF传感器可以用于自动驾驶,通过TOF技能对行车环境进行感知,从而获取环境信息以增加安全性,此外TOF还可以用于汽车内的搭客离位检测。
在汽车运用中,ToF可以被用于自动驾驶、防撞自动刹车和OOP等等。在此方面深深耕耘的厂商也有很多。下面给大家举几个具有代表性的案例。
首先是Infineon与科世达推出的机遇英飞凌3D图像传感器芯片的摄像头驾驶员赞助系统。
在翱翔韶光(ToF)事理支持下,该系统可精确检测驾驶员身体和头部位置,乃至在其戴眼镜或太阳镜的情形下捕获其眨眼动作,以判断驾驶员是否把稳力足够集中、是否正疲倦驾驶,从而启动相应对策。譬如,通过振动座椅或警告音。驾驶员把稳力越不集中,汽车就越会提起把稳。为了快速和准确地做出相应,赞助系统和紧急制动系统可在潜在紧急情形发生之前自动激活。
此外,该技能还可以通过手部运动或身体姿势掌握车载娱乐系统或车用空调,乃至在车外实现全新的赞助和安全功能,比如开门赞助设备,在停车场或家用地库时防止车门打开后撞上其它车、墙壁或天花板。英飞凌方案设计互助伙伴GesTIgon在大会上现场演示了英飞凌ToF传感器如何实现车用物体跟踪与手势识别,以达到“三维虚拟现实”。
另一个比较有代表性的案例是Melexis的ToF传感器MLX75023,它与3-D 视觉及手势识别办理方案供应商SoftKineTIc 公司供应的软件绑定在一起。在自动驾驶实现的最初阶段,车辆掌握模块须要判断驾驶员的把稳力是否集中在驾驶上。一旦创造驾驶员把稳力分散,系统要能够很快地启动高等驾驶员赞助系统进行干涉。“ 舒适感是切入点,”Melexis 产品线经理Gaetan Koers 说道。“当驾驶员或搭客的手靠近空调或收音机掌握键时,系统会有反馈。旋转的手势还可以用来调度空调温度和收音机音量。”“在车辆系统进行干涉之前,比如刹车,首先要知道驾驶员目光是在前方道路上,还是在搭客身上,或是在看收音机掌握面板。
工业领域:TOF传感器可以被用作HMI(人机接口:Human Machine Interface),在高度自动化的工厂中,工人和机器人须要在很近的间隔下协同事情,TOF设备可以用于掌握各种环境下的安全间隔。
人脸识别系统:TOF相机的亮度图像和深度信息可以通过模型连接起来,迅速精准的完成人脸匹配和检测。
物盛行业:通过 TOF 相机迅速得到包裹的抛重(即体积),来优化妆箱和进走运费评估;
安防和监控:利用景深进行人数统计( Peoplecounting)俗称“数人头”,确定进入某区域的人数;通过对人流或繁芜交通系统的人数统计,实现对安防系统的统计剖析设计;以及敏感地区的检测工具监视;
机器视觉:工业定位、工业勾引和体积预估;替代工位上占用大量空间的、基于红外光进行安全生产掌握的设备;
机器人:利用深度视觉进行导航、识别外界的环境、方案路径、实现避障事情等;
医疗和生物:足部矫形建模、病人活动/状态监控、手术赞助;
互动娱乐:动作姿势探测、表情识别、娱乐广告;在制作影视殊效时,TOF相机可以将深度信息附加在视频图像中,精确确定场景中每个像素的空间位置。通过大略的后期处理,就能将殊效道具插入影片的任何位置。
此外,无论是固定式还是移动式的,TOF设备都可以作为一个性能精良的输入设备。TOF相机的手势识别能力特殊适用于消费电子领域,例如游戏、手持式设备和家庭娱乐,以TOF设备为第一人称游戏供应了直不雅观的接口,完备可以代替远程掌握,鼠标和触摸屏。
图6:TOF 运用多种多样
意法半导体(ST Micro electronics,简称ST)生产的天下上最小的翱翔韶光(TOF)测距传感器--VL53L1X 。新产品基于新的硅专利技能和模块级架构,首次在模块上引入光学镜头。镜头的加入可提升传感器内核性能,同时开启许多新功能,包括多物体检测、远间隔玻璃盖板串扰抗噪和可编程多区扫描。这些前辈特性将机器人、用户检测、无人机、物联网、穿着设备等传感器性能提高到新的水平。
图为:意法半导体影像产品部技能市场经理 张程怡
将TOF测距长度扩至4米 测距韶光只需5ms
VL53L1X是ST推出的第三代FlightSense技能,其4.9 x 2.5 x 1.56mm封装内集成一个新的镜头系统和940nm VCSEL不可见光源、处理器内核和 SPAD光子检测器。新增的光学镜头系统可提升光子检测率,从而提升模块的测距性能。内部微掌握器卖力管理全部测距功能,运行创新的数字算法,最大限度降落主处理器开销和系统功耗,使移动设备的电池续航能力得到最大限度提升。意法半导体影像产品部技能市场经理张程怡笑着表示:“去三亚海滩,再也不担心为强光下或是吃烛光晚餐的时候拍不好照片而烦恼了。”
同第二代产品“VL53LOX”比较,VL53L1X将TOF测距长度扩至4米。而且丈量速率较上一代产品更快,测距韶光只需5ms。与其它测距传感器技能比较,意法半导体的新专利算法和直接翱翔韶光架构能够耐受更远间隔的串扰,让VL53L1完备兼容更多的玻璃盖板材料和设计样式。为方便用户快速集成,基于I2C的VL53L1模块配备一整套软件驱动器和技能文档。
新产品VL53L1创新的高性能设计架构可侦测同一个场景内存在的多个目标,还让设备厂商能够把SPAD传感器阵列再细分成数个子区,为这些小感测区客户运用供应双摄像头立体视觉打算以及大略深度图运用所需的空间测距信息。
VL53L1X芯片
利用意法半导体VL53LOX的运用处景
VL53L1X是ST推出的第三代FlightSense技能,其4.9 x 2.5 x 1.56mm封装内集成一个新的镜头系统和940nm VCSEL不可见光源、处理器内核和 SPAD光子检测器。新增的光学镜头系统可提升光子检测率,从而提升模块的测距性能。内部微掌握器卖力管理全部测距功能,运行创新的数字算法,最大限度降落主处理器开销和系统功耗,使移动设备的电池续航能力得到最大限度提升。意法半导体影像产品部技能市场经理张程怡笑着表示:“去三亚海滩,再也不担心为强光下或是吃烛光晚餐的时候拍不好照片而烦恼了。”
同第二代产品“VL53LOX”比较,VL53L1X将TOF测距长度扩至4米。而且丈量速率较上一代产品更快,测距韶光只需5ms。与其它测距传感器技能比较,意法半导体的新专利算法和直接翱翔韶光架构能够耐受更远间隔的串扰,让VL53L1完备兼容更多的玻璃盖板材料和设计样式。为方便用户快速集成,基于I2C的VL53L1模块配备一整套软件驱动器和技能文档。
新产品VL53L1创新的高性能设计架构可侦测同一个场景内存在的多个目标,还让设备厂商能够把SPAD传感器阵列再细分成数个子区,为这些小感测区客户运用供应双摄像头立体视觉打算以及大略深度图运用所需的空间测距信息。
两款比拟两款来自不同厂商并且不同运用的ToF传感器。
一款是TI的ToF传感器OPT8241,此款传感芯片属于TI 3D ToF图像传感器系列,紧张的运用是深度感测,例如3D扫描、手势掌握等等,其终端运用在ATM、人数统计等等。
另一款则是ST的ToF传感器VL53L0X,此款传感芯片是ST推出的第二代FlightSense技能,声称封装尺寸在同类产品中最小,且已知运用在了华为P10智好手机的后置ToF相机上。
封装平面:
TI的ToF传感器OPT8241的封装尺寸为8.75mm X 7.85mm X 0.70mm。封装信息如下图。
ST的ToF传感器VL53L0X的封装尺寸为4.40mm X 2.40mm X 1.00mm。封装信息如下图。
封装X-Ray:
TI的ToF传感器OPT8241的X-Ray图片如下图所示。
ST的ToF传感器VL53L0X的X-Ray图片如下图所示。
芯片Die Photo:
TI的ToF传感器OPT8241的OM正面照如下图所示,芯片尺寸为6.98mm X 6.03 mm。
ST的ToF传感器VL53L0X的OM正面照如下图所示,芯片尺寸为3.01mm X 1.22 mm。
芯片Die Corner:
TI的ToF传感器OPT8241的Die Corner如下图所示。
ST的ToF传感器VL53L0X的Die Corner如下图所示。
芯片Die Mark:
TI的ToF传感器OPT8241的Die Mark如下图所示。
ST的ToF传感器VL53L0X的Die Mark如下图所示。
芯片Die Pad:
TI的ToF传感器OPT8241的Die Pad Size如下图所示。
ST的ToF传感器VL53L0X的Die Pad Size如下图所示。