如（rú）果（guǒ）只是作为（wéi）驾驶模拟器，可能很平庸，但对电子（zǐ）游戏画面（miàn）来（lái）说，这可能（néng）是一场伟大的革命 。

图|真实视频(左（zuǒ）)和AI生成的渲染视频(右)之间的对（duì）比。(图源：英伟达)

最（zuì）近人工（gōng）智能的繁（fán）荣给图（tú）像（xiàng）和视频生成领域带来了一系列令人（rén）印象（xiàng）深刻的成果。最新成果来自（zì）芯片制造商英（yīng）伟达，该公司12月3日（rì）发布了一份研究报告，展（zhǎn）示了AI生成的画面如何与传（chuán）统的视频游戏引擎相（xiàng）结合。这种混（hún）合图形系（xì）统有（yǒu）望应用到（dào）视频游戏（xì），电影和虚（xū）拟现实等方面。

“这是使用深度学习渲（xuàn）染视频内容的一种新方式，”英（yīng）伟达（dá）应用深度学习副总裁Bryan Catanzaro表示（shì）。“显然，英伟（wěi）达非常关心图（tú）形生成（chéng），并且我（wǒ）们正在思考如何利用人（rén）工智能彻（chè）底改变（biàn）这一（yī）领域（yù）。”

英伟达的生成的（de）图片并没有达（dá）到真实照片级的（de）画面（miàn），他（tā）们展示了在 AI 生成的图像中发现的一些水印状的模糊。并且这一工作也不是完全创新的。在（zài）一篇（piān）研（yán）究论文中，该（gāi）公司的工（gōng）程师解释了他（tā）们如何基（jī）于（yú）一（yī）些现有方法，包括（kuò）一个有影响（xiǎng）力的开（kāi）源系统（tǒng）pix2pix。此外英（yīng）伟达的工作中还应用（yòng）到了生成对（duì）抗网络(GAN)。这（zhè）些（xiē）方（fāng）法已（yǐ）经广泛用于（yú）AI图像生成。

但是（shì）英伟达还（hái）是在新（xīn）产（chǎn）品中（zhōng）引入很多创新，这是世（shì）界上首个利用AI生（shēng）成（chéng）图形画面的视频游戏演示。这个产品是（shì）一个简单的驾驶模拟器（qì），玩家（jiā）可以（yǐ）在AI生成的（de）几个（gè）城市街区中穿行，但不能离（lí）开（kāi）他们（men）的汽车（chē），也不能以其他方式与世界（jiè）互动（dòng）。并且（qiě）这一（yī）演示仅使用一（yī）个GPU即可实（shí）现 ，对于这样（yàng）的（de）前沿工作来说，这是一个显（xiǎn）著的成就（jiù）。

英伟达的系（xì）统（tǒng）利用如下几个步骤（zhòu）生成图形画面（miàn）：首先，研究人员（yuán）必须收集训（xùn）练（liàn）数据，一般这（zhè）些（xiē）数据来自于自动驾驶研究的开源数据（jù）集。然后将（jiāng）这些视频数据（jù）中的每一个镜头（tóu）做分割，即每一帧画面被分成不同类别（bié）的区域：如天空，汽（qì）车（chē），树木（mù），道路，建筑物（wù）等。然后，用这些分（fèn）割的数据训练生成（chéng）对抗网（wǎng）络，用来生成这些对象（xiàng）的新（xīn）画面（miàn） 。

接下（xià）来，工程师们使用（yòng）传统的游戏引擎创建了虚拟环境的基本（běn）拓扑结（jié）构。在该游戏演示（shì）中，使用的系（xì）统是虚幻引（yǐn）擎 4，这是（shì）一种流（liú）行的引擎，被用于诸如堡垒之夜，绝（jué）地求生（shēng），战争机器4等（děng）多种游戏中。工程师们（men）使（shǐ）用此（cǐ）引擎作为（wéi）框架（jià），然（rán）后（hòu）利用深度学习算法实时生成每个类别的图形画面（miàn），并将它们显示（shì）到游戏引（yǐn）擎（qíng）的模型上 。

“被创造的世界的结构（gòu）还是用（yòng）传（chuán）统方法制（zhì）作的，”Catanzaro解释说，“人工智能产生的唯一东（dōng）西就（jiù）是图形画面。”他补充说，演示本身很基础（chǔ），主要由一名工程师负（fù）责（zé）完成（chéng）。“这主要（yào）是用来（lái）做概念验证游戏，而不（bú）是开发了一个真正（zhèng）的游戏 。”

图|不（bú）同AI模型生成的画面（miàn）对比。左上是经（jīng）语义分割的图像;右上（shàng）是pix2pixHD生成（chéng）的画面;左下是 COVST 生成（chéng）的画面;右下是本文（wén）英伟（wěi）达的系统生成的画面。(图源：英伟达)

为了创建这（zhè）个系统（tǒng），英伟（wěi）达的工（gōng）程师克服（fú）了许多挑战，其中最大的挑战是对象持（chí）久性(object permanence)。也就（jiù）是说，如果深度学习算法（fǎ）以每秒 25 帧的（de）速率为这一虚拟世界生（shēng）成图形，它们如何保持每一区域的对象看起来大致相同？Catanzaro这个问题曾（céng）导致这个系统的初始结果（guǒ）“看起来很痛苦”，因为（wéi）图形的颜色和纹理（lǐ） “每帧都会改变 ”。

而解决的（de）方（fāng）案就（jiù）是给系统一（yī）个（gè）短期记忆（yì），让系统生成的每个新帧的时候与之前的（de）帧进行（háng）比较（jiào） 。试图（tú）去预测这些（xiē）图像之间（jiān）运动的东西，并产（chǎn）生与（yǔ）屏幕上的内容一致的新郑但是这些计算（suàn）都很昂贵，因此（cǐ）游戏只能以每秒25帧（zhēn）的速度运（yùn）行。

Catanzaro强（qiáng）调，这项技术（shù）还处于早期阶（jiē）段，想要让人工智能生成的画面出现在消费者（zhě）游戏（xì）中可能还需要几十（shí）年的时间（jiān）。他将这（zhè）种（zhǒng）情（qíng）况与光线追（zhuī）踪的（de）发（fā）展进行了（le）比（bǐ）较，光线跟踪是当前图形渲染中的热门技术（shù），它可以（yǐ）实时生成单独的（de）光线，在虚拟环境中（zhōng）创建逼真的反射，阴（yīn）影和（hé）不透明度。Catanzaro表示：“第（dì）一次（cì）交互式光线追踪演示已经是很久很久以（yǐ）前的事了，但直到几周前我（wǒ）们还没（méi）有在游戏中（zhōng）成功（gōng）应（yīng）用（yòng）光线跟（gēn）踪（zōng）技术（shù）”。

不（bú）过，人工智能生成的画（huà）面工作确实在机器人（rén）和自动驾驶汽（qì）车等研（yán）究领域有潜在的应用（yòng）前（qián）景，可以用来生（shēng）成虚拟训（xùn）练（liàn）环境。例（lì）如，在大部分游戏中，结构仍使用传统方法渲染（rǎn），而AI用于创建其中的（de）人或物体 。消费者可以使用智能手机自己捕捉素材，然后将（jiāng）这些（xiē）数据上传到云端，算法将（jiāng）通过学习将（jiāng）其插入到各种游（yóu）戏中。比如（rú）说（shuō），将（jiāng）其用来创建（jiàn）更像真人玩（wán）家（jiā）的（de）头像。

然（rán）而，这种技术（shù）带来了一些明（míng）显的问题。近年来，专家越来越担心有些（xiē）人会（huì）使用 AI 生成的（de）足以乱真的假情（qíng）报进行（háng）虚假宣传 。研究人员展示，现（xiàn）在很容易制作一些（xiē）虚假的政治家和（hé）名人的镜头，利（lì）用这些视（shì）频（pín）散播一些的虚假消息，这（zhè）将会是不法之徒一个很强大的武器。如果推进这项技术的发展并将（jiāng）这（zhè）一研究成果发布，英伟达在一定程度上可以（yǐ）说是这一潜在负面问题的（de）推（tuī）动者。

不过，英伟达（dá）表示，这并不是一个新问题（tí）。“这（zhè）一技术（shù）可以用（yòng）于制作具有误导性的内容（róng）吗（ma）？是。但是（shì）任何渲染（rǎn）技术都可以（yǐ）用来做到这（zhè）一（yī）点 ，”Catanzaro表示，英伟达正在（zài）与合作（zuò）伙伴（bàn）一起研究检测AI赝品的方法，这（zhè）种所谓的虚假信息（xī）的问题（tí）本质上是一个“信（xìn）任问题”。就（jiù）像之前许多（duō）的“信任问题（tí）”一样，它必须（xū）通过一系列方法来（lái）解决，而不仅仅是通过技术 。

Catanzaro反问道：“电力公（gōng）司创造的（de）电力可（kě）以（yǐ）为制作假视频的电脑供电，你觉（jiào）得他们需不需要负责？”。

不过归根结（jié）底，对于英（yīng）伟达来（lái）说，推动人工（gōng）智能（néng）生成的（de）图形（xíng）有（yǒu）一个（gè）明（míng）显的（de）好处（chù）：它（tā）将有助于英伟达销售更多（duō）的硬件（jiàn）。自（zì）从深（shēn）度学习热潮在2010年（nián）初兴起以来，英伟达的股价（jià）飙升，很明显英伟达（dá）的（de）计算机芯片非常适合机器学习（xí）研究和开发 。

对于（yú）计算机图形学的人工智能革命是否（fǒu）会（huì）有利于英伟达（dá）公司的收入，Catanzaro笑着说，至少不（bú）会带（dài）来伤害。“任（rèn）何能够提高生成（chéng）更（gèng）逼真和更具吸引力的图形的能力，都（dōu）会对英伟达有利 。”