汽车行业是推动人(rén)工(gōng)智能(AI)发展的重(chóng)要行业(yè)之一,这(zhè)是因为该行业致力于自动驾驶汽车和(hé)高(gāo)级驾驶员(yuán)辅(fǔ)助(zhù)系(xì)统(ADAS)的泛(fàn)在利益。
portant;" />
汽车正(zhèng)在变得越来越智(zhì)能,但是如果(guǒ)汽车行业要实现完全(quán)自(zì)动驾驶的目标,他(tā)们(men)还有很(hěn)长的路要(yào)走(zǒu)。尽管业(yè)界还在讨论实现全自动化所需的理(lǐ)想技术组合,但是有一(yī)点是明确的,那(nà)就(jiù)是人工智(zhì)能(néng),尤其是神经(jīng)网(wǎng)络将发挥重要作用。
神经(jīng)网络(luò)
神经网络的作用是执行(háng)对于传(chuán)统视觉或(huò)模(mó)式识别系(xì)统来说具有挑战(zhàn)性的任(rèn)务。通(tōng)过使(shǐ)每个(gè)神经网络各(gè)自不同,并针对(duì)特定任务进行设计,它(tā)可以更高效、更精确地执行任务。
所有神经网络的组织模式都是在多个(gè)层面上多次(cì)处理数据。因此,神经网络可以在不同的输入模式下运行十到(dào)二十次,而不是用一组特定的参(cān)数只运(yùn)行一次操(cāo)作。这个想法是(shì),通(tōng)过所有这些不(bú)同的路径,选择的(de)数量就(jiù)会增加(jiā)。当到了需要做出决策的时候,它已经从输入中(zhōng)提取(qǔ)了所有的信息。
portant;" />
在路(lù)标识别的示例中,第一(yī)层可能正在寻找一(yī)个标识的角形状,然后(hòu)是颜色等(děng)各(gè)个(gè)步骤执行下去,直到(dào)它可以非常确(què)信地说(shuō)这(zhè)是一个路标并说明其含(hán)义。这样做的好处在于无需对每一个步骤都进行编程,神经网络将会自己完成,并(bìng)且随着(zhe)时间的推移而(ér)不断学习。该算法知道它需要识别的内(nèi)容,并将(jiāng)尝试不(bú)同的方(fāng)法,直到实(shí)现目标(biāo),并在过(guò)程中不断学习(xí)。一旦神(shén)经网络在(zài)经过培训之后,它便可以在实际应用中发挥作用。这意味着工(gōng)程师(shī)不必花费数小时来微调复杂的算法,他(tā)们只需向神经网络展示它需要(yào)发现的内容并让其自(zì)学(xué)完成。
这些技术已经在车辆中被广泛用于目标(biāo)检测、分类和分析,而(ér)驾驶员监(jiān)测、访问控(kòng)制以及语音和(hé)手势识别也可以利用不同(tóng)类(lèi)型的(de)神经网络。此外,将传统视觉与神经网(wǎng)络相结合(hé)的人工智能方法,可用于行(háng)人路径分析和环绕视(shì)图等应用场景,它将同(tóng)时依赖于图(tú)形处理器(qì)(GPU)和神经网络加速器(qì)(NNA)。
在从传感器到电子(zǐ)控制单元(yuán)(ECU)整个链路中也可以使用神经网络,在预处理(lǐ)、中间处理和(hé)后(hòu)处理中使用的各种技术将人工(gōng)智能引入了其中。
此(cǐ)外,车(chē)联网(V2X)技(jì)术正(zhèng)在开发中(zhōng),该技术将主要使用自动(dòng)驾驶汽车作为传(chuán)感载体,为各种智慧城市和智慧交通场(chǎng)景提供数据和(hé)信息。同样,这些进(jìn)展将(jiāng)依(yī)赖于采用GPU和NNA的方法实现人工智能,以支持来自越来越大的输入集的(de)各种(zhǒng)分析(xī)和计算。
传感器融合
自(zì)动驾驶(shǐ)和高度自动化的车辆(liàng)将(jiāng)严(yán)重依赖各种类型的(de)传感(gǎn)器,包括摄像头、热成像、雷达(dá)、激光雷达(LiDAR)等(děng)。所有这些传感器传出的信号(hào)都需要进行解读和融合,以便全面了解(jiě)车辆内部和外部发生的情况。
传感器融合对于自动驾驶至关(guān)重(chóng)要,它将涉及到GPU和神经网络以(yǐ)及机(jī)器学习和人工智能的(de)结合。
车辆内(nèi)部(bù)传感器融合的一个很好的示例是驾驶员监测。在(zài)当今的车辆(liàng)中,各(gè)种(zhǒng)各样(yàng)的传感器都能够检(jiǎn)测到驾驶员是否注意力不集中。神经网络可以分(fèn)析拍摄到的驾驶员图像,以判(pàn)断(duàn)他或她是(shì)否在睡(shuì)觉、处于疲倦状态(tài)、注意力不(bú)集(jí)中,甚至通过移动设备(bèi)讲话或发信息。这对于早期的自动驾驶车(chē)辆(liàng)来说是至关重要的信息(xī),因为它可(kě)能(néng)需要驾驶员在某些时候重新控制车辆,因为汽车(chē)需要知道驾驶员是(shì)否处于合适(shì)的状态才(cái)能这样做。
portant;" />
驾驶员监测是如(rú)何工作的?对准驾驶员面(miàn)部的摄像头为分析面部元素(尤其是眼睛)的算法提供了(le)输入。是睁着眼睛还是闭(bì)着眼(yǎn)睛?如果(guǒ)是闭着眼睛,闭眼多长时间?眼神是否飘忽不(bú)定?驾(jià)驶员正在看向哪里?
研究整个面部(bù)可(kě)以确定驾驶(shǐ)员是生气还是悲伤。如果是(shì)愤怒,系统会建议驾驶员先靠边停车并冷(lěng)静下来,然后再(zài)继续行(háng)驶。
所有这(zhè)些都(dōu)是基于构建一个面部(bù)图像(xiàng),提取关(guān)键点并使用神经(jīng)网络提取情绪、注视时(shí)间等来判断驾(jià)驶员的精神状态。
在未来的两(liǎng)三(sān)年内,驾驶员监(jiān)测可(kě)能会成(chéng)为(wéi)必须从欧(ōu)洲新(xīn)车评估计划(NCAP)和美(měi)国(guó)国家(jiā)高速公(gōng)路通(tōng)行安(ān)全管(guǎn)理局(NHTSA)获得批准的一(yī)项要(yào)求,因此驾驶员监测会成为汽车制造商必须要实施的技术,不仅(jǐn)要适用于高(gāo)端汽车,还要适用于所有车辆。
自(zì)动(dòng)驾驶的等级
美(měi)国汽车(chē)工程师(shī)学会(SAE)和美(měi)国高速公(gōng)路交通安全管理局已将自动(dòng)驾驶(shǐ)汽车(chē)的(de)能力分为六个等级。基本上,等级0完(wán)全(quán)没有自动化,而在等级1中,汽车将为驾驶员提供一些(xiē)帮助。等级2具有更多的驾驶辅助功(gōng)能(néng),甚至可以自主执行(háng)一些(xiē)任(rèn)务,例如自动紧(jǐn)急制动以避免碰撞。
等级3是一个棘手(shǒu)的(de)问题,虽然(rán)汽车是自动驾驶,但驾(jià)驶员(yuán)必须随时(shí)准(zhǔn)备驾驶车辆。驾(jià)驶(shǐ)员监(jiān)测将是等级3自动(dòng)驾驶的关键,因为驾驶员必须(xū)做(zuò)好干预的准备,并且在(zài)一定程度上,车辆有责任确保(bǎo)驾驶员做好准(zhǔn)备。
在等级4中,即使驾驶员可(kě)以接手车(chē)辆驾驶,但从理(lǐ)论上讲,车辆也可(kě)以处理它所处现场的所有情况。等级5的车辆(liàng)将实现(xiàn)全自动化(huà),没有(yǒu)方向盘和踏板。
车辆自动驾(jià)驶(shǐ)性能每提(tí)高一个级别,所需的(de)计算性能就会增加大(dà)约十倍。这就是为什么神经网络很重要的(de)原因,因为它们可(kě)以在非常低的功耗下提供(gòng)这种性能(néng)。
目标检(jiǎn)测
以一个行人为例,汽车的车(chē)载摄像头和(hé)传感器可以记录(lù)行人是在行走(zǒu)或(huò)站立;神经网(wǎng)络可被用于绘制行(háng)人可能要(yào)走的路线,并计算车辆是否(fǒu)需(xū)要减速或快(kuài)速制动(dòng)。神(shén)经网(wǎng)络还可以观察同一幅图像(xiàng)并对其进(jìn)行分割,从(cóng)中挑选出其他物体,并应用目标识别技术来判断出它(tā)们是否代表了车辆需(xū)要注(zhù)意的东西。所有这些都必须(xū)把车(chē)辆(liàng)的位(wèi)置以及它想(xiǎng)要去的地(dì)方纳入考虑之中(zhōng),如(rú)果车辆正在倒车,并(bìng)检测到在车辆(liàng)后面有一(yī)个小孩,就需要迅速(sù)处理并进行刹车。要做到(dào)这(zhè)一点,就需要人工(gōng)智能和神(shén)经网络来(lái)查看那里是否有物体存在,并对其进行识别认(rèn)出是一个孩子,然后向执行(háng)器或驾(jià)驶员发送(sòng)一个信号,以采取措施。
由于(yú)摄像(xiàng)头通常会带有某种(zhǒng)鱼眼镜头,因(yīn)此这将(jiāng)使其变得更加复杂。这(zhè)会产生一张变形(xíng)的图片,需要先矫正然后进行解读。来自这个(gè)设(shè)备以及其(qí)他传感(gǎn)器的输入需要(yào)结合起来,从而(ér)在(zài)瞬(shùn)间做出决策。
数据处理
与此同时,来自(zì)汽车(chē)周围的其他信息也源源不断地被送达,包括来自于所有传(chuán)感器的以及从其他(tā)车辆或基础设施(shī)通过无线通信接收(shōu)到的信息(xī)。这是(shì)一(yī)个巨大(dà)的数(shù)据量,可能(néng)在太字节(jiē)(terabyte)范(fàn)围内。
ECU将遍布(bù)汽车各(gè)处,并(bìng)根(gēn)据(jù)数据做出决(jué)策。这可能会涉及(jí)到100个或者更多的ECU。业(yè)界正在使用一些方(fāng)法来研究如何用更(gèng)少的ECU和更多的计算能力来实现(xiàn)这一(yī)点。摄像头(tóu)或传感器旁(páng)边的嵌入式人工智能可(kě)以做出一些决定,从而(ér)减少(shǎo)车辆需要传递(dì)的信息。
这意味着需要不同等级的处理方式。数(shù)据可以在捕(bǔ)获点进行预处理,例如拉直鱼眼(yǎn)镜头的图像。中间(jiān)处(chù)理可能包括各(gè)种(zhǒng)已计(jì)划的任务、目(mù)标识别、决策制定等。之后可以进(jìn)行后处(chù)理,当信息可以(yǐ)被清理整齐并显示在屏幕上时,让驾驶(shǐ)员就(jiù)知道正在发生什么或(huò)已经发生了什么。
应用
这些数据(jù)处理技术也被用于创建(jiàn)当前(qián)正(zhèng)在开发的应用,以在车内创(chuàng)建虚拟(nǐ)环(huán)视车身支撑柱。在此用例(lì)中,将在(zài)支撑柱(连接车(chē)顶(dǐng)和(hé)车身的支撑柱)上安装摄(shè)像头来捕获车外发生的事情。支撑柱的内(nèi)部将提供一个显示器,以显示(shì)这(zhè)些摄像头正(zhèng)在捕获的内容,从而为驾驶员提(tí)供一个(gè)不间断的视场。
这个(gè)过程非常难以实现。系(xì)统必须了解驾驶员(yuán)正在查看(kàn)的另(lìng)一侧是什么情景。图片将需要修正变形并(bìng)放(fàng)置在不(bú)平整或(huò)弯曲的表面上,然后重新变形(xíng)到(dào)支撑柱的轮廓上。
尽管(guǎn)这一(yī)进步是未来的趋(qū)势(shì),但一些高端车辆已经提供了环绕视图系统(tǒng),并且它们很快(kuài)将应用于中档和入门(mén)级车辆(liàng)。GPU被(bèi)用于分析遍布车辆周(zhōu)围的各个摄像(xiàng)头(tóu)所捕获的图像(xiàng)(通常有四个或五个摄像头),并(bìng)将图像拼接在一起。根(gēn)据(jù)拼接的图像,神(shén)经网(wǎng)络将执(zhí)行目标检测(cè)和路径预测,以查看这些目标是否有可能拦挡车辆的(de)路径。
信息娱乐和导航
在(zài)车载信息娱乐系统(IVI)和导航方面,GPU也起着重要作(zuò)用。它们还(hái)参与语(yǔ)音控(kòng)制,这(zhè)很可能成为人(rén)与车之间的关键接口。因此(cǐ),对于卫星导航系统来说,驾驶员不必操作按钮和(hé)键(jiàn)盘来输入目(mù)的地(dì),而是只需说出(chū)邮(yóu)政编码或(huò)街道名字,然后就可要求(qiú)系统绘制出路(lù)线。
仪表(biǎo)盘将被连接到(dào)外部摄像(xiàng)头(tóu),以用于路标识别等操作。如果摄像(xiàng)头捕捉到一个限(xiàn)速的标(biāo)志,该标志(zhì)可以在有效的(de)时间(jiān)内显示在驾驶员面前;如果(guǒ)汽车超过限速,就会发出声响(xiǎng)警告。
实际上,整(zhěng)个(gè)仪表显示区将使(shǐ)用(yòng)GPU进行图像渲染(rǎn)和信息优先(xiān)级排序。如果系统确定驾(jià)驶员需要了解一些关键信(xìn)息,该信息可能会从(cóng)仪表显示区中弹出,甚至可(kě)以投射到挡风(fēng)玻璃上。挡风玻璃上的图像也可(kě)以被用作导(dǎo)航系统的一(yī)部(bù)分,向驾驶员显示正确的转弯方向(xiàng)或说明汽车(chē)在即将到(dào)来(lái)的路口需要驶入(rù)哪(nǎ)