合工大苍穹战队学习二:DeepFaceLab的学习与使用
此次学习是在八月二号开完会之后对以前AI换脸学习的补充
DeepFaceLab简介及特点
Deepfakes是一种利用机器学习中的深度学习实现深度视频换脸的技术。这种技术在特定的场合下可以做出非常逼真自然的换脸视频。而DeepFaceLab是众多软件中,安装最简单,使用最方便,更新最快的一款软件。 功能特性: 安装方便,环境依赖几乎为零,下载打包的EXE文件解压即可运行(最大优势) 添加了很多新的模型 新架构,易于模型实验 人脸图片使用JPG保存,节省空间提高效率 CPU模式,第8代Intel核心能够在2天内完成H64模型的训练。 全新的预览窗口,便于观察。 并行提取 并行转换 所有阶段都可以使用DEBUG选项 支持MTCNN,DLIBCNN,S3FD等多种提取器 支持手动提取,更精确的脸部区域,更好的结果。 多种模型
下载途径
GitHub源码:https://github.com/iperov/DeepFaceLab 编译好的Windows版本:https://mega.nz/#F!b9MzCK4B!zEAG9txu7uaRUjXz9PtBqg (需要科学上网) 没有科学上网可以去网盘下载,资源来自一个同营大佬:链接:https://pan.baidu.com/s/1bmHXNluDj4EhVqOkBKD-Ow 提取码:www2
使用
安装好以后差不多是这样 各部分释义
- 清理工作空间
- src视频 分解图像
- dst视频 分解图像
3.)dst视频分解图像(全帧率) 3.)剪辑视频(视频拖到我身上) 3.optional) 图像降噪 - src提取面部
4)src手动提取面部 4)src自动提取面部 4.1) src查看对齐结果 4.2) 面部调整 4.2) 面部排序 4.2) 面部文件打包 4.2 )面部文件解包 4.2) 面部元数据储存 4.2) 面部元数据恢复 4.2) 面部增强 4.2) 生成带标注的debug图片 4.2) 原始文件名恢复 - dst提取面部
5) dst手动提取面部 5) dst手动提取面部(删除debug图片后) 5) dst自动提取面部+手动修复 5) dst自动提取面部 5.1)查看对齐结果 5.1)查看对齐结果的debug图片 5.2)面部调整 5.2)面部排序 5.2)面部文件打包 5.2)面部文件解包 5.2)面部文件名恢复 5.XSeg.1)src遮罩编辑 5.XSeg.1)src遮罩移除 5.XSeg.1)src遮罩抓取 5.XSeg.2)dst遮罩编辑 5.XSeg.2)dst遮罩移除 5.XSeg.2)dst遮罩抓取 5.XSeg.3)训练遮罩 5.XSeg.3.1)src训练遮罩-移除 5.XSeg.3.1)src训练遮罩-应用 5.XSeg.3.2)dst训练遮罩-移除 5.XSeg.3.2)dst训练遮罩-应用 5.XSeg.G1)src整脸遮罩 5.XSeg.G2)dst整脸遮罩 - 训练模型
6)训练AMP SRC-SRC 6)训练AMP train AMP 6)训练Quick96 6)训练SAEHD 6.optional)导出AMP为dfm文件 6.optional)导出SAEHD为dfm文件 - 应用模型
7)应用AMP 7)应用quick96 7)应用SAEHD - 合成视频
8)合成AVI视频 8)合成MOV(无损)视频 8)合成MP4(无损)视频 8)合成MP4视频 - 附加
10)启动EBS 10)转为仅CPU模式
基本使用
第一步
运行 帧率回车 格式jpg
第二步
运行 仍然jpg
第三步
运行
之后基本上一路回车即可 提取出来的保存在\workspace\data_src\aligned路径下
第四步
运行 仍然一路回车 保存路径类似上
第五步
运行 这次数据较多,新手仍然一路回车。 运行成功则会打开下图界面: 训练时间有点长,根据显卡性能的不同时间也不同。 当上图第二列,第四列,第五列图像都较为清晰,或者窗口中loss值小于0.2表明训练效果较好。 按p可以刷新训练成果。
第六步
运行 交互输入y 线程不要超过8 之后会出现交互合成页面 这里是我节的截的地方的图片,因为我的是英文界面,用这个作为参考。 然后按tab开始交互,常用wsed四个键位,分别用来调节羽化和侵蚀,简单方法是修改过第一帧图片后直接按shift+>一键合成。
第七步
运行 合成mp4视频,码率回车。 最终合成视频在workspace目录下的result.mp4
遇到的问题
除了第一次train以外都很顺利,百分之八十以上的问题原因都是没弄虚拟内存或者虚拟内存不够,这里是同营大佬推荐我64G的虚拟内存以后才运行成功。
|