介绍

舞蹈重要, 社交媒体需求, 专业指导, 介绍成就.

解决了两个困难: 1)生成平滑, 多样的全身动作, 以更精细的尺度捕捉与音乐输入的复杂, 非线性同步; 2)将这些生成的身体动作转换为高保真视频输出, 保持与参考图像的视觉一致性, 并确保时间上的平滑性. 介绍3D pose的局限性, 缺乏数据集.

motion驱动I2V取得进步, audio驱动I2V当前不能捕获长距离依赖, 且主要在肖像画上实验, 全身视频效果怎么样待验证.

提到方法, 对全身的多个部位分别编码, 关键点置信度处理遮挡, 接着就可以预测未来N帧的token, 音乐特征用Jukebox和Librosa提取. 接下来用T2I模型, 输入pose和reference image, 通过它们的设计(具体放到后面看), 兼顾了transform的长上下文理解和diffusion的高质量.

讲成果, 第一个音乐驱动的人类image animate框架, 在100k个视频片段上训练, 能够生成多样化, 富有表现力和逼真的舞蹈视频, 达到最先进基准.

方法

数据表示

生成式视觉表示. 视频被剪成896x512, 用Latent space压缩.

动作建模. 2D建模, 包括身体主要关节, 头部, 手部移动, 有一个关键点检测置信度的属性, 让模型可以考虑到运动模糊和遮挡.

音乐嵌入. 利用Jukebox提取丰富的音乐特征, 补充Librosa提取的旋律和节奏信息, 重采样和同步和视频的帧率对齐.

基于 transformer 的 music-to-dance 动作生成

组合式置信度感知的人类pose token化. 标准的VQ-VAE(Vector Quantised-Variational AutoEncoder)框架. 有一个可学习的codebook, 输入是带关键点置信度的2D全身pose记为p, 为了灵活性和多样性, 按头部, 身体, 左手, 右手, 躯干, 腿分成5部分, 每一部分都通过一维卷积映射: $\mathscr{z}_e(p) = E(p)$, 通过 ${z}_e(p)$ 找到在codebook最近的表示. 为了保证part间的空间关联, 五个部分共享解码器. 这一步是单独训练的, 结果是每帧pose都可以通过codebook中的一组token表示, 通过解码器可以还原出pose.

交叉条件自回归的动作模型. 先解释了一下上一步token的含义, 类似one-hot编码, 表示离codebook中最近的元素. pose嵌入$C_{1:T}^{j}=((c_{1,1}^{j},...,c_{K,1}^{j}),...,(c_{1,T}^{j},...,c_{K,T}^{j}))$, 每个pose K个token表示, j=5表示身体部位数, 音乐嵌入包括$F_{1:T}^{L}$和$F_{1:T}^{J}$.

原文讲得很细, 直接看上图, 标准的Transformer, start token为($F_{1:T}^{L}$, $F_{1:T}^{J}$, $F_{g}$), 因为输入固定为64帧, $F_{g}$为同一视频片段先前的8帧作为上下文, 后面的token依次为每一帧的音乐信息, pose信息, 做拼接.

讲了一下pose的token怎么处理的, 没讲技术细节1)当前的token依赖与之前的所有的身体部位token, 时间依赖性, 2)建立了分层依赖, 先上身体下身体, 再手和脸.(感觉是下面causal attention可以做到的事情)

然后Transormer用的causal attention, 还论述了一下这样做就足够了.

基于 Dissfusion 的跳舞视频生成

输入是上一步生成的motion和一张参考图片, backbone是一个T2I模型, 时间模块保证时间连续性, ReferenceNet保证空间一致性.

对pose token的处理: 利用VQ-VAE解码器, 还原2D骨架, 通过PoseGuider指导生成. 暴露这种方法的问题, 不可微, 缺乏置信度信息, 抖动.

用一个可训练的motion解码器取代了VQ-VAE和PoseGuider, 和时间模块一起训练, 16帧的窗口.

实验

数据集: 107,546个单眼视频, 平均长度30秒, 896x512, 30FPS, 包括全身和半身视频.

训练: 1)训练VQ-VAE编码和量化60个关节位置, 带置信度分数, 转换为五部分pose token, 每部分pose使用6个token, codebook说得很高大上, 其实就是有点像一个位置嵌入层, 6->512; 2) 训练自回归的模型预测token, 基模型是GPT2, 64帧pose序列, 总窗口大小2224; 3) 原文是微调去噪UNet和ReferenceNet, 图片从视频中随机抽. 所有步骤在8张A100上训练.

推理: 提取参考图片的pose作为首帧, 通过维护一个64帧的滑动片段和12帧的重叠和8帧的上下文生成长视频.

评估和比较: 与现有方法进行比较, 并展示了在运动质量, 视频质量和身份保持方面的优势. 指标是常见指标: FVD(准确性指标), DIV(多样性指标), BAS(节奏指标).

结论

赞美的话就跳过了, 提到的限制: 1)视频从互联网上收集, 缺乏专业性, 2) out-of-domain 人类图片(非人类图片?)可能出现伪影和音乐不同步, 3) 由于内存限制分多阶段训练(感觉反而是优点).