训练初期，关闭遮罩，有道理吗？

ntremok

豆包、千问、ChatGPT都是建议在6-8万前关闭遮罩训练
（Gemini、Grok的意见不一样）

6-8万前，使用无遮挡的dst，关闭masked training，说是让模型学习全脸特征，避免遮罩干扰，
6-8万之后，加入有遮挡的dst之后，再开启masked training，让模型学会 “区分遮挡物与人脸区域”







以上的说法有道理吗？
（这个只是dst有遮时候，的训练方法，如果无遮挡可能有不一样）

独孤求败

是有一定的道理，最好连已经应用上的遮罩都卸掉，让地标与背景都训练，使之边界平滑过渡，训练到一定迭代，再写入应用遮罩，训练遮罩内的范围为主。

ntremok

独孤求败 发表于 2025-11-12 22:20
是有一定的道理，最好连已经应用上的遮罩都卸掉，让地标与背景都训练，使之边界平滑过渡，训练到一定迭代， ...

好的。感谢分享
要练到瑕疵少一点，似乎需要注意很多方面

benz

独孤求败 发表于 2025-11-12 22:20
是有一定的道理，最好连已经应用上的遮罩都卸掉，让地标与背景都训练，使之边界平滑过渡，训练到一定迭代， ...

大佬，预训练阶段有没有必要打开pretrain？我看有些人是不开pretrain直接src-src训练的

独孤求败

benz 发表于 2025-12-21 10:27
大佬，预训练阶段有没有必要打开pretrain？我看有些人是不开pretrain直接src-src训练的 ...

pretrain就是预训练，你可以找现成他人训练好的模型，直接用上，自己预训练是挺麻烦的
我自己是没有过预训练，直接就开干，效果也挺好的

benz

独孤求败 发表于 2025-12-21 13:15
pretrain就是预训练，你可以找现成他人训练好的模型，直接用上，自己预训练是挺麻烦的
我自己是没有过预 ...

大佬，我之前都是复用别人的模型的，现在想试试自己预训练一个模型看看效果。看到有些人说的可以用src-src来替代预训练阶段。我看过关于预训练的那部分代码，是强制关闭了扭曲、学习率和各种power。那么是否存在关闭了扭曲、学习率和各种power之后的src-src对练来替代预训练阶段？但是有些人说预训练阶段的训练效果是冻结在encoder.npy和decoder.npy而不是跟正训一样在inter_AB.npy，所以需要预训练。
请问大佬，这两种说法哪个正确？我懂得不多