卡内基梅隆大学的研究人员已经设计出一种方法，可以将一个视频的内容自动转换为另一个视频的内容，从而可以将喜剧演员John Oliver的面部表情转换为卡通人物的面部表情，或者将水仙花绽放得更多。就像芙蓉一样。

由于数据驱动方法不需要人为干预，因此可以快速转换大量视频，使其成为电影制作的福音。它还可用于将黑白电影转换为彩色并为虚拟现实体验创建内容。

“我认为有很多故事要讲，”Aayush Bansal说，博士。CMU机器人研究所的学生。他解释说，电影制作是他帮助设计这种方法的主要动机，可以更快，更便宜地制作电影。“这是艺术家的工具，为他们提供了一个初步的模型，然后他们可以改进，”他补充说。

Bansal承认，该技术还有可能被用于所谓的“深度伪造”视频，其中未经许可插入了人物的图像，使得该人看起来已经完成或说出了不符合性格的事物。

他说：“对于我们这个领域的所有人来说，这样的假货会被创造并产生这样的影响，这让我们大开眼界。”“寻找发现它们的方法将是重要的进展。”

Bansal将于今天在慕尼黑举行的欧洲计算机视觉会议ECCV 2018上展示这种方法。他的合着者包括CMU机器人学副教授Deva Ramanan。

将内容从一个视频转移到另一个视频的风格依赖于人工智能。特别是，一类称为生成对抗网络(GAN)的算法使计算机更容易理解如何将一个图像的样式应用到另一个图像，特别是当它们没有经过仔细匹配时。

在GAN中，创建了两个模型：学习检测与一个图像或视频的样式一致的鉴别器，以及学习如何创建与特定样式匹配的图像或视频的生成器。当两者竞争激烈 - 发电机试图欺骗鉴别器和鉴别器评分发电机的有效性 - 系统最终学会如何将内容转换成某种风格。

一个名为cycle-GAN的变体完成了循环，就像将英语语音翻译成西班牙语，然后将西班牙语翻译成英语，然后评估两次翻译的语音是否仍然有意义。使用循环-GAN分析图像的空间特征已被证明在将一个图像转换为另一个图像的风格方面是有效的。

这种空间方法仍然为视频留下了一些东西，在翻译的整个周期中出现了不想要的瑕疵和瑕疵。为了缓解这个问题，研究人员开发了一种名为Recycle-GAN的技术，它不仅包含空间信息，还包含时间信息。这些额外的信息，考虑到随时间的变化，进一步限制了过程并产生了更好的结果。

研究人员表明，Recycle-GAN可用于将奥利弗的视频转换为看似喜剧演员斯蒂芬科尔伯特并回到奥利弗的视频。或者John Oliver脸上的视频可以变成卡通人物。Recycle-GAN不仅可以复制面部表情，还可以复制表演的动作和节奏。

效果不仅限于面部，甚至是身体。研究人员证明，盛开的花朵视频可用于操纵其他类型花卉的图像。或者在刮风的日子里迅速穿过天空的云可以减缓，以使天气更加平静。

Bansal说，这种效果可能有助于开发可在夜间或恶劣天气中航行的自动驾驶汽车。他解释说，获取可以识别和标记物体的夜景或暴风雨天气的视频可能很困难。另一方面，Recycle-GAN可以将容易获得和标记的白天场景转换为夜间或暴风雨场景，提供可用于训练汽车在这些条件下操作的图像。