我们经常能在b站或者抖音等奇怪的地方看到一些生草的视频,比如痛苦面具是我们喜闻乐见的一个视频形式,在视频进行的时候突然静帧,然后将痛苦面具的内容替换到视频上实现局部运动的效果。

网上找到的教程没有图片说明,不知道因为什么原因连个好好的教程都没有,导致做起来的时候踩了不少坑。既然踩了这么多坑,干脆写一篇文章来说一下。

效果预览(实际输出为mp4)

GoogleDrive

使用谷歌硬盘创建一个first-order-motion-model文件夹。

然后访问资源文件(占用4.9GB)将所有文件选中后,右键点击复制。这些文件都会以副本的形式进入到你的硬盘。

如果访问不了还可以进入备用地址

右键单击重命名(副本)删除,并拖拽到我们创建好的first-order-motion-model文件夹。

将自己需要的图片作为02.png覆盖掉网盘现有的02.png

图片越接近04.mp4理论效果会越好。

Colab

运行代码

进入Colab项目按照顺序点击代码块前面的播放按钮。

每一个数字对应了一个代码块

运行第一个代码块时需要授权

谷歌网盘授权

执行Mount your Google drive folder on Colab

第三个在Colab上挂在谷歌云这一步运行后要先点击灰色框内链接获取验证码后再输入到灰色框内的文字输入框中。按回车继续运行代码。

加载视频和图像

执行Load driving video and source image

该过程可能较长,需要耐心等待

创建模型并加载检查点

执行Create a model and load checkpoints

如果create modle这个步骤,里面checkpointpath 一直报错(第五步)?
你可能没有运行第一个或第二个代码块

执行图像动画

执行Perform image animation等待进度条走完。

该过程可能较长,需要耐心等待

这一步完成后就可以下载下来了。generated.mp4

视频下载后导入剪辑软件,并将视频速度加速至2.5倍,再使用网盘的声音即可。

常见问题

RAM占用崩溃:错误的运行多了一步,运行到Perform image animation就可以了。

参考文章

痛苦面具视频制作方法