扭曲、眼嘴、侧脸有必要循环升bs吗？

ntremok

例如，开扭曲之后，bs4跑到loss0.37，
打开眼嘴，bs4也跑到0.37附近，
关闭烟嘴、打开侧脸，bs4也跑到0.37附近。

接着bs改成8，按照上面的步骤，再循环一次，loss去到0.32
接着bs改成16，再按照上面的步骤，再循环一次，loss去到0.3
接着bs改成20，再按照上面的步骤，再循环一次，loss去到0.25

这样做的考虑是因为我觉得眼嘴、侧脸是相互关联的，
如果我眼嘴、侧脸的loss比较低，那对整体loss下降的速度应该是有帮助的吧？
如果我不均衡的处理眼嘴、侧脸的loss，那应该也会拖慢整体loss的下降吧？

没打开眼嘴的情况下，loss是0.37，
如果我直接将bs升到16，而不先把眼嘴训练到loss0.37附近的话，
那等我练完bs16，loss降得很低了，我再打开眼嘴的话，其实loss还是很高的，甚至是0.8、0.9，
所以，是不是按照上面的步骤，不断的循环，效率高一点？

我看其他人的步骤是：
一、开扭曲，bs4；然后，loss降得很低的时候，才开眼嘴bs12；然后，关眼嘴，开侧脸bs12
二、然后bs开到最大
我觉得这个步骤，是不是不够均衡？
会不会造成正脸跑的很到位了，但眼嘴、侧脸还差很多，最终影响到整体效率
还是说，你觉得这两种步骤的效率，差不了多少？

五折

我通常是loss曲线趋近平稳之后就一直最大BS跑了

ntremok

五折 发表于 2023-12-17 16:56
我通常是loss曲线趋近平稳之后就一直最大BS跑了

好的。我是这样看的
例如，某个阶段loss0.3，bs12，是不是比bs20，更容易让loss下降
如果是的话，那我就用bs12，
如果效率差不多的话，那就都可以