图|真实视频（左）和 AI 天生的渲染视频（右）之间的比拟。（图源：英伟达）
最近人工智能的繁荣给图像和视频天生领域带来了一系列令人印象深刻的成果。最新成果来自芯片制造商英伟达，该公司12月3日发布了一份研究报告，展示了 AI 天生的画面如何与传统的视频游戏引擎相结合。这种稠浊图形系统有望运用到视频游戏，电影和虚拟现实等方面。
“这是利用深度学习渲染视频内容的一种新办法，” 英伟达运用深度学习副总裁 Bryan Catanzaro 表示。“显然，英伟达非常关心图形天生，并且我们正在思考如何利用人工智能彻底改变这一领域。”
英伟达的天生的图片并没有达到真实照片级的画面，他们展示了在 AI 天生的图像中创造的一些水印状的模糊。并且这一事情也不是完备创新的。在一篇研究论文中，该公司的工程师阐明了他们如何基于一些现有方法，包括一个有影响力的开源系统 pix2pix。此外英伟达的事情中还运用到了天生对抗网络（GAN）。这些方法已经广泛用于 AI 图像天生。
但是英伟达还是在新产品中引入很多创新，这是天下上首个利用 AI 天生图形画面的视频游戏演示。这个产品是一个大略的驾驶仿照器，玩家可以在 AI 天生的几个城市街区中穿行，但不能离开他们的汽车，也不能以其他办法与天下互动。并且这一演示仅利用一个 GPU 即可实现，对付这样的前沿事情来说，这是一个显著的造诣。
英伟达的系统利用如下几个步骤天生图形画面：首先，研究职员必须网络演习数据，一样平常这些数据来自于自动驾驶研究的开源数据集。然后将这些视频数据中的每一个镜头做分割，即每一帧画面被分身分歧类别的区域：如天空，汽车，树木，道路，建筑物等。然后，用这些分割的数据演习天生对抗网络，用来天生这些工具的新画面。
接下来，工程师们利用传统的游戏引擎创建了虚拟环境的基本拓扑构造。在该游戏演示中，利用的系统是虚幻引擎 4，这是一种盛行的引擎，被用于诸如堡垒之夜，绝地求生，战役机器 4 等多种游戏中。工程师们利用此引擎作为框架，然后利用深度学习算法实时天生每个类别的图形画面，并将它们显示到游戏引擎的模型上。
“被创造的天下的构造还是用传统方法制作的，”Catanzaro 阐明说，“人工智能产生的唯一东西便是图形画面。”他补充说，演示本身很根本，紧张由一名工程师卖力完成。“这紧张是用来做观点验证游戏，而不是开拓了一个真正的游戏。”
图|不同 AI 模型天生的画面对比。左上是经语义分割的图像；右上是 pix2pixHD 天生的画面；左下是 COVST 天生的画面；右下是本文英伟达的系统天生的画面。（图源：英伟达）
为了创建这个别系，英伟达的工程师战胜了许多寻衅，个中最大的寻衅是工具持久性（object permanence）。也便是说，如果深度学习算法以每秒 25 帧的速率为这一虚拟天下天生图形，它们如何保持每一区域的工具看起来大致相同？Catanzaro 这个问题曾导致这个别系的初始结果“看起来很痛楚”，由于图形的颜色和纹理“每帧都会改变”。
而办理的方案便是给系统一个短期影象，让系统天生的每个新帧的时候与之前的帧进行比较。试图去预测这些图像之间运动的东西，并产生与屏幕上的内容同等的新帧。但是这些打算都很昂贵，因此游戏只能以每秒 25 帧的速率运行。
Catanzaro 强调，这项技能还处于早期阶段，想要让人工智能天生的画面涌如今消费者游戏中可能还须要几十年的韶光。他将这种情形与光芒追踪的发展进行了比较，光芒跟踪是当前图形渲染中的热门技能，它可以实时天生单独的光芒，在虚拟环境中创建逼真的反射，阴影和不透明度。Catanzaro 表示：“第一次交互式光芒追踪演示已经是良久良久以前的事了，但直到几周前我们还没有在游戏中成功运用光芒跟踪技能”。
不过，人工智能天生的画面事情确实在机器人和自动驾驶汽车等研究领域有潜在的运用前景，可以用来天生虚拟演习环境。例如，在大部分游戏中，构造仍利用传统方法渲染，而 AI 用于创建个中的人或物体。消费者可以利用智好手机自己捕捉素材，然后将这些数据上传到云端，算法将通过学习将其插入到各种游戏中。比如说，将其用来创建更像真人玩家的头像。
然而，这种技能带来了一些明显的问题。近年来，专家越来越担心有些人会利用 AI 天生的足以乱真的假情报进行虚假宣扬。研究职员展示，现在很随意马虎制作一些虚假的政治家和名人的镜头，利用这些视频分布一些的虚假，这将会是不法之徒一个很强大的武器。如果推进这项技能的发展并将这一研究成果发布，英伟达在一定程度上可以说是这一潜在负面问题的推动者。
不过，英伟达表示，这并不是一个新问题。“这一技能可以用于制作具有误导性的内容吗？是。但是任何渲染技能都可以用来做到这一点，”Catanzaro 表示，英伟达正在与互助伙伴一起研究检测 AI 赝品的方法，这种所谓的虚假信息的问题实质上是一个“信赖问题”。就像之前许多的“信赖问题”一样，它必须通过一系列方法来办理，而不仅仅是通过技能。
Catanzaro 反问道：“电力公司创造的电力可以为制作假视频的电脑供电，你以为他们需不须要卖力？”。
不过归根结底，对付英伟达来说，推动人工智能天生的图形有一个明显的好处：它将有助于英伟达发卖更多的硬件。自从深度学习热潮在 2010 年初兴起以来，英伟达的股价飙升，很明显英伟达的打算机芯片非常适宜机器学习研究和开拓。
对付打算机图形学的人工智能革命是否会有利于英伟达公司的收入，Catanzaro 笑着说，至少不会带来侵害。“任何能够提高天生更逼真和更具吸引力的图形的能力，都会对英伟达有利。”
