查看: 21997|回复: 115

【新手必看】DFL通用炼丹流程

  [复制链接]

1万

积分

378

帖子

4884

符石

混元大罗金仙

Rank: 13Rank: 13Rank: 13Rank: 13Rank: 13

积分
10001

灌水之王论坛元老咸鱼勋章

发表于 2023-1-31 12:41:50 | 显示全部楼层 |阅读模式
老手请自动略过,本文仅针对不熟悉炼丹过程中各个步骤开启时机的新人
群里找到个文档,但是步骤中个参数开启/关闭的对比看着太费眼所以自己整理成图表了:
表格中背景色为深色的格子,表示此参数较上一阶段发生了变化,需要注意
训练步骤.jpg

精细步骤如下(原文档没留下姓名)
DF模型:首先准备好预习练好的模型,或成品模型,和质量很好的SRC人脸集和随机DST人脸集(多人,人脸全扔进dst里边即可,只能拿来训练,若要合成请训练完成后,删除掉多余人脸只留下单人)。所有成品模型训练的原SRC不是自己所用的SRC,liae模型均删除xx_SAEHD_inter_AB.npy文件当作预训练模型处理。xx_SAEHD_inter_AB.npy前面的xx是你自己的模型名字。除去真脸选项均可按照下方来练
第一快速成型阶段:
开启:遮罩训练:Masked training  ,
开启或关闭:SRC随机反转:Flip SRC faces randomly,(SRC素材不足的开,足够的和有脸部特征,比如美人痣之类的不要开SRC反转。)
开启:DST随即反转:Flip DST faces randomly,
BS值:推荐4或8(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
关闭:侧脸优化Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用AdaBelief 优化器?:Use AdaBeliefoptimizer?
关闭:学习率下降Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples,
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power  选择值:0
关闭:真脸强度True face' power   选择值:0
关闭:背景风格强度 Background style power  选择值:0
关闭:颜色转换模式 Color transfer for src faceset  选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1,并模型自动保存3-4次时的loss值显示下降速度很慢,或者反弹时可以停止。

第二精确处理阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用AdaBelief 优化器?:Use AdaBeliefoptimizer?
关闭:学习率下降Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power  选择值:0
关闭:真脸强度True face' power   选择值:0
关闭:背景风格强度 Background style power  选择值:0
关闭:颜色转换模式 Color transfer for src faceset  选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
保持参数训练loss值降的很少,或反弹停止。

第三精确处理阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?关闭:学习率下降 Use learning rate dropout.
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power  选择值:0
关闭:真脸强度True face' power   选择值:0
关闭:背景风格强度 Background style power  选择值:0
关闭:颜色转换模式 Color transfer for src faceset  选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.3及以下,或降的很少或反弹,停止。

第四精确处理阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power  选择值:0
关闭:真脸强度True face' power   选择值:0
关闭:背景风格强度 Background style power  选择值:0
关闭:颜色转换模式 Color transfer for src faceset  选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.1及以下,或降的很少或反弹,停止。

第五精确优化阶段:
这时loss值已经下降很慢,或者下降不下去并且看起来不足够像SRC,进行这一步
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
关闭:侧脸优化Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
关闭:学习率下降Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)推荐0.01
关闭:GAN强度 GAN power  选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
(此阶段开启:模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了:真脸强度 True face' power,如果RSC脸型没有DST脸大,就会出现SRC脸下巴,下面又有个DST的下巴,或者SRC侧脸边上又有个DST的侧脸。开启这两个参数,会让融合的更好。)
此阶段loss值下降过慢或下不去后停止

第六精确优化阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
关闭:学习率下降Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)推荐0.01
关闭:GAN强度 GAN power  选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止

第七精确优化阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
关闭:学习率下降Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)推荐0.01
关闭:GAN强度 GAN power  选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止

第八精细处理阶段:
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐16(根据实际情况而定)
关闭:眼嘴优先:Eyesand mouth priority
关闭:侧脸优化Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 选择值:0
开启:GAN强度 GAN power  推荐值:0.01
关闭:真脸强度True face' power   选择值:0
关闭:背景风格强度 Background style power 选择值:0
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段注意备份,以免崩溃。代送次数最少2W-3W,根据实际情况而定。

完成阶段:
所有阶段完成后平时换视频使用以下参数
开启:遮罩训练:Masked training  
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转。
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:UseAdaBelief optimizer?
关闭:学习率下降Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0.01
关闭:GAN强度 GAN power  选择值:0
关闭:真脸强度True face' power   选择值:0
开启:背景风格强度 Background style power  选择值:0.01
开启:颜色转换模式 Color transfer for src faceset  选择值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练

评分

参与人数 1金钱 +1 收起 理由
独孤求败 + 1 很给力!

查看全部评分

Zhatv换脸论坛免责声明
全站默认解压密码:zhatv.cn
【Zhatv】论坛里的文章仅代表作者本人的观点,与本网站立场无关。
所有文章、内容、信息、资料,都不保证其准确性、完整性、有效性、时效性,请依据情况自身做出判断。
因阅读本站内容而被误导等其他因素所造成的损失责任自负,【Zhatv】不承担任何责任。

本帖被以下淘专辑推荐:

通用直播丹代练

QQ:1453174

337

积分

5

帖子

109

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
337
发表于 2024-3-15 16:40:21 | 显示全部楼层
另外,开启“学习遮罩之外的区域,以帮助边缘抹平”,取值0.5,似乎对刘海有一定增强作用,在使用XSeg,侵蚀取“-130”,羽化“30”,可以覆盖目标额头部分,并很好地与原发型融合。此方法适用于照片换脸,不适合视频换脸。但是如果配合AE,则可以用于部分视频换脸。

评分

参与人数 2金钱 +6 贡献 +2 符石 +10 收起 理由
奸商 + 5 + 2 + 10 我很赞同!
五折 + 1 我很赞同!

查看全部评分

回复

使用道具 举报

568

积分

34

帖子

194

符石

元婴丹师

Rank: 4Rank: 4Rank: 4Rank: 4

积分
568
发表于 2023-2-2 02:40:46 | 显示全部楼层
相当完整 迷雾中的明灯
回复

使用道具 举报

568

积分

34

帖子

194

符石

元婴丹师

Rank: 4Rank: 4Rank: 4Rank: 4

积分
568
发表于 2023-2-2 02:43:44 | 显示全部楼层
那么正好把liae模型真脸选项也总结一下添加在第几部呢
回复

使用道具 举报

1万

积分

378

帖子

4884

符石

混元大罗金仙

Rank: 13Rank: 13Rank: 13Rank: 13Rank: 13

积分
10001

灌水之王论坛元老咸鱼勋章

 楼主| 发表于 2023-2-2 06:01:02 | 显示全部楼层
ronld 发表于 2023-2-2 02:43
那么正好把liae模型真脸选项也总结一下添加在第几部呢

所谓通用就是没写的默认为不开,没有的参数默认不用
通用直播丹代练

QQ:1453174
回复

使用道具 举报

98

积分

6

帖子

36

符石

筑基丹师

Rank: 2Rank: 2

积分
98
发表于 2023-6-8 19:20:12 | 显示全部楼层
给力给力
[发帖际遇]: 一个炼丹炉砸在了 Jason 头上,Jason 赚了 5 符石. 幸运榜 / 衰神榜
回复

使用道具 举报

164

积分

1

帖子

147

符石

筑基丹师

Rank: 2Rank: 2

积分
164
发表于 2023-6-23 17:42:18 | 显示全部楼层
我为你痴为你迷,我给哥哥举大旗

评分

参与人数 1金钱 +1 收起 理由
老枪 + 1 淡定

查看全部评分

回复

使用道具 举报

475

积分

16

帖子

121

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
475
发表于 2023-6-25 21:59:31 | 显示全部楼层
大佬,我看到所有步骤都避开了“嘴眼优先”和“学习率下降”同时开启的情况,这是需要留心遵守的选项吗?还是说根据情况选择?比如说嘴眼源素材齐全就可以同时开启、不全就不要同时开?
回复

使用道具 举报

4835

积分

89

帖子

3501

符石

地仙丹师

Rank: 7Rank: 7Rank: 7

积分
4835

土豪勋章

发表于 2023-6-26 03:57:37 | 显示全部楼层
koosun 发表于 2023-6-25 21:59
大佬,我看到所有步骤都避开了“嘴眼优先”和“学习率下降”同时开启的情况,这是需要留心遵守的选项吗?还 ...

这份教程是给新手看的,老手可以随意调整开关顺序,硬件足够的情况下全开都行
[发帖际遇]: davio 乐于助人,奖励 3 符石. 幸运榜 / 衰神榜
接直播专丹代练
QQ:41638873
黑产勿扰
回复

使用道具 举报

475

积分

16

帖子

121

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
475
发表于 2023-6-26 19:48:49 | 显示全部楼层
davio 发表于 2023-6-26 03:57
这份教程是给新手看的,老手可以随意调整开关顺序,硬件足够的情况下全开都行 ...

好的,没这讲究的话我就稍微大胆点去组合了
[发帖际遇]: 一个炼丹炉砸在了 koosun 头上,koosun 赚了 4 符石. 幸运榜 / 衰神榜
回复

使用道具 举报

1256

积分

34

帖子

478

符石

化神丹师

Rank: 5

积分
1256
发表于 2023-7-14 19:07:18 | 显示全部楼层
太详细了,非常有用,感谢
回复

使用道具 举报

小黑屋|ZhaTV ( 滇ICP备15003127号-4 ) |网站地图

GMT+8, 2024-7-17 04:49

Powered by Zhatv.cn

© 2022-2023

快速回复 返回顶部 返回列表