介绍

diffusion变革了生成模型, image -> video -> human-centric video(人像视频生成, 人类动画化). Talking Head video的任务是输入音频数据, 输出头部视频, 节奏与音频同步, 时间连续, 身份对齐.

介绍挑战: 音频, 视频的一对多对应关系, 大部分方法用3D建模, 做video to video转换, 这样会丢失与speaker联系的微妙表情, 因此它们想直接用diffusion的生成能力.

讲方法: 1) 拓展stable diffusion, 增加了时间层和三维卷积; 2) audio feature extractor 和 audio attention; 3)Face Locator and Speed Layers, 在身份保持上做了一些改进.

讲结果: 250小时的音频数据用于训练, 多语言. 提出新指标, 达到SOTA效果.

相关工作

Diffusion Model

在图片生成, 图片编辑, 视频生成, 3D内容生成. SD是一个代表, 使用text-image数据集训练. 最近的工作应用时间层和3D卷积支持更大尺度的数据和参数量.

Audio-driven talking head generation

分为基于视频的方法和基础图片的方法. 基于视频的方法在一个输入视频上编辑嘴唇的移动; 基于单图片的方法, 生成与参考图片形象保持一致的视频, 通常先生成头部动作和面部表达, 然后用他渲染视频的生成. 指出通性问题, 3D mesh限制了表示能力, non-diffusion的方法(先生成3DMM) 限制了生成结果的表现.

方法

初步准备

SD的一些概念.

Network Pipelines

这篇论文是根据SD1.5(文生图)改的, 结合上图介绍它的改动.

1. 提示词嵌入没有了, 把对用的cross attention层改成了reference-attention layers. 实现和Animate anyone基本一致, 有一点区别, 输入除了参考图片还有Motion Frames, 看起来是生成的前N帧信息一起过ReferenceNet, 输入主去噪网络的还是Reference Image对应时间维度的输出(这里的Motion Frames不影响reference-attention layer的结果, 帧间无交流, 提一些后面还要讲Motion Frames罢了).
2. 增加了Audio Attention, 音频提取是每帧音频对应一维表示. 每一帧的表示和前后n帧的表示拼接到一起, 做自注意力.
3. 时间层除了说reshape, 它还想保留前N帧的信息, 它让前N帧过ReferenceNet, 结果和时间层的前一层结果拼接到一起过时间层.
4. 有一个face region, 用掩码表示, 过一个轻量的卷积(Face Locator)后与Noisy融合.
5. 我认为可以单独命名一个headSpeed-attention, 但是它放到了时间层里讲, 速度特征表示头部的转动速度, 怎么提取就先不管, $s \in \mathbb{R}^d$, 后面要在f维度做交叉注意力, $\mathbf{S}^f = \bigoplus \left\{ \mathbf{s}^{(f-m)}, \ldots, \mathbf{s}^{(f)}, \ldots, \mathbf{s}^{(f+m)} \right\}$, 可以推断每一帧速度特征的表示$S \in \mathbb{R}^{b \times f \times (2m+1)d}$, 过一个MLP后reshape为$F \in \mathbb{R}^{b \times f \times l}$, 可以当作text嵌入处理. 多补充一点, 因为这里text嵌入怎么做我其实并不清楚, 将F广播到$(b \times h \times w) \times f \times l$, 与去噪网络中的shape输入一致, 之后在f维度做cross attention.

训练策略

第一阶段图片预训练, 训练ReferenceNet和Face Locator; 第二阶段使用视频, 训练时间层和audio attention; 第三阶段训练时间层和速度层.

估计他们完成前两阶段训练后效果不好又补充了第三阶段.

实验

实现

250小时的视频数据, 多数据集拼接. 头部旋转速度通过使用面部特征点提取每一帧的6自由度头部姿态, 然后计算帧间的旋转角度来标记.

image size为512 x 512, 第一阶段batch size为48; 二三阶段视频长度为12, Motion Frames长度为4, batch size为4, m设置为2, 训练速度15秒一个batch.(几篇论文给的音频控制信号长度都很短)

后面就多个算法比较, 定量评估, 消融实验比较了Speed Layer和Face Locator的影响.(侧向反映了这两处为原创而非拼接)