Motionshop

Motionshop—AI替换视频人物，上传一段视频，AI自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。

Motionshop是阿里巴巴智能计算研究院推出的一个AI角色动画框架，旨在将视频中的人物角色替换为3D化身，同时保持视频中的其他场景和人物不变。该框架由视频处理流水线和姿态估计与渲染流水线两部分组成，前者负责提取并修复背景视频序列，后者则用于生成3D角色视频序列。

Motionshop利用先进的视频处理、角色跟踪/分割、姿态估计、路径追踪渲染等多种技术，使得动态视频中的主角可以被替换成3D化身。用户只需上传视频并确定目标对象，选择要替换的虚拟角色，系统会自动识别并替换成3D卡通角色模型，生成独特的AI视频。

此外，Motionshop还支持零样本目标检测，通过将文本信息与现有的闭集检测器使用基于Transformer的框架进行紧密融合，实现高效的视频人物检测和选择。这一技术不仅开启了创意表达和娱乐的全新方式，也为视频特效制作增添了更多可能性。