发布日期：2024-10-11 19:43 点击次数：81
精美套图
编译|智东西 王颖
智东西4月19日音书，近日Facebook发表了一篇对于从执行视频中索求扮装的论文Vid2Game: Controllable Characters Extracted from Real-World Videos（Vid2Game：从信得过天下视频中索求可截至的扮装）。
在这篇论文中，Facebook建议了一个新的AI模子，这个模子不错对原始视频中的动态的扮装进行定位和索求，索求后的扮装可被竖立者截至，何况添加上肆意布景即可生成新视频。
一、AI如何将执行视频与游戏形象聚集？
这个团队的次第依赖于两个神经汇集，不详说是效法生物神经元的数学函数层: Pose2Pose，一个将面前姿态和单一实例截至信号映射到下一个姿态的框架；Pose2Frame，将面前姿态和新姿态（以及给定的布景）沿路放在输出帧上。这些操作不错由任何“低维”信号截至，比如来自主宰杆或键盘的信号。商议东说念主员示意，该系统敷裕繁多，不错在动态布景中定位索求图像，并将现存布景进行肆意的更换，和会成新的图像青年景视频输出。
这种AI模子生成新的视频有两个具体法子。率先，将包含一个或多个图像的输入视频运送到一个特定区域（如跳舞）熟悉的Pose2Pose汇集中，该汇集将这些图像（加上预估的远景空间掩模）和它们的开发圮绝开来精美套图，特定区域将行动它们质心的轨迹。（掩模用于详情哪些区域的布景被合成的图像信息所取代。）
然后，使用这些和组合而成数据，Pose2Frame将场景中与扮装联系的变化（如暗影、被捏有的物品和反射）和与扮装无关的变化分开，最终不错酿成任何思要的布景与动作的羼杂视频输出。
二、通过熟悉对比索求可控扮装
为了熟悉这个AI系统，商议东说念主员汇集了三个视频，每个视频长度在5到8分钟之间。这三个视频差别为：一个网球开发员在户外、一个东说念主在室内挥舞着剑、一个东说念主在走路。
商议东说念主员敷汇报，将这三个视频与传输舞者三分钟视频的神经汇集模子比较，他们的次第见效地对动态元素进行了对比，如其他东说念主和录像机角度的各别，以及扮装服装和录像机角度的变化。
艳母在线商议东说念主员在论文中写说念：“每个汇集皆经管了之前未透彻讲理的计较问题，同期为生成具有传神图形的视频游戏铺平了说念路。此外，从肖似YouTube的视频中索求的可控扮装不错在诬捏天下和增强执行中找到我方的位置。”
三、欺诈AI系统优化游戏成为上涨
Facebook并不是惟逐一家商议可能有助于游戏策画AI系统的公司。
初创AI技巧公司Promethean AI欺诈机器学习匡助东说念主类艺术家为视频游戏创作艺术形象，欺诈自动化省去重叠的建模职责。
AI视觉计较公司Nvidia的商议东说念主员最近有展示了一种不错使用视频片断创建诬捏环境的生成模子。
机器学习也被用来优化复旧游戏中的旧游戏纹理，如《最终幻思VII”和“塞尔达传闻：暮光公主》，以及在游戏《毁掉战士》中从零初始生成数千个关卡。
结语：AI技巧成为行业新碎裂
AI依然被越来越粗莽的应用到了各个领域，各行业皆在欺诈AI技巧寻找新的碎裂口。
在图像处理领域，AI图像技巧正在匡助游戏行业优化不详竖立更兴致的居品，并冉冉成为游戏行业竞争的又一个焦躁身分。
参考起原：VentureBeat精美套图