查看: 1905|回复: 9

【先挖个坑】关于预训、底丹

[复制链接]

1万

积分

378

帖子

4884

符石

混元大罗金仙

Rank: 13Rank: 13Rank: 13Rank: 13Rank: 13

积分
10001

灌水之王论坛元老咸鱼勋章

发表于 2023-12-31 19:52:23 | 显示全部楼层 |阅读模式

什么是预训练?
预训练是一种深度学习模型训练的策略,通常在大规模的数据集上进行。预训练的目标是通过在一个相关但较大的任务上训练模型,使得模型学习到通用的特征表示。这样的预训练模型在其他具体任务上的表现通常更好,因为它已经学习到了普适的特征。


预训练的好处在于,通过利用大规模数据进行训练,模型可以学习到更泛化的特征表示,从而在具体任务上表现更好。这对于数据较少的任务或者计算资源有限的情况下特别有用。预训练的模型也经常用于迁移学习,可以将预训练模型的部分或全部用于新的任务,以提高模型的性能。


预训练有什么作用?
加速训练过程:通过预训练,在大规模数据上学习到的通用特征表示可以作为初始化参数,加速模型在特定任务上的训练过程。这是因为预训练的参数已经接近最优,并且已经捕捉到了输入数据中的一些通用模式,这样在目标任务上的优化过程更容易收敛。


提高性能:预训练的模型通常在具体任务上表现更好。这是因为在预训练阶段,模型学习到了大量的数据中的通用特征,这些特征对于许多任务都是有用的。在目标任务中,预训练的模型能够更好地利用这些通用特征,从而提高性能。


解决数据不足问题:在许多实际任务中,数据往往是有限的,特别是深度学习模型需要大量的数据进行训练。通过预训练,可以利用大规模数据集进行通用特征的学习,然后将这些学到的特征应用于目标任务,从而克服数据不足的问题。


迁移学习:预训练的模型可以作为迁移学习的基础。将预训练模型的参数应用于新的相关任务,可以利用预训练模型在大规模数据上学习到的通用特征,从而在新任务上提高性能。这对于目标任务数据较少的情况下特别有用。


提高泛化能力:预训练有助于提高模型的泛化能力,即在未见过的数据上表现良好。通过在大规模数据上学习通用特征,模型更能够从输入数据中捕捉普遍的模式,而不是过度拟合训练集。


预训练和训练之间的本质区别:
阶段和目标:


预训练阶段:在预训练阶段,模型使用大规模的数据集(通常是无标签数据集)进行训练,目标是学习通用的特征表示。这些通用特征可以应用于各种任务,因为它们反映了数据中的一般模式,而不是特定任务的信息。
训练阶段:在训练阶段,模型使用特定任务的有标签数据集进行训练,目标是根据该任务的特定目标函数调整模型参数,使其在该任务上表现良好。
数据集:


预训练阶段:预训练通常使用大规模无标签数据集,因为其目标是学习通用特征表示,无需特定标签信息。
训练阶段:训练使用特定任务的有标签数据集,因为需要根据任务的特定标签进行监督式学习,优化模型在该任务上的性能。
特征表示:


预训练阶段:预训练的目标是学习数据的通用特征表示,使得模型能够捕捉数据中的一般模式和结构。
训练阶段:在训练阶段,预训练的模型参数(通用特征表示)可以作为初始化参数,然后根据特定任务的目标函数进一步微调模型参数,使其更适应该任务。
任务目标:


预训练阶段:预训练的目标是促使模型学习更加泛化的特征,使其能够在各种任务上有良好的表现。
训练阶段:训练的目标是针对特定任务,最小化损失函数并优化模型参数,使其能够在该任务上达到最佳性能。
综上所述:预训练和训练是两个不同的阶段,它们的目标、数据集和特征表示等方面都有所区别。预训练提供了一种有效的方式来初始化模型参数,并使模型受益于大规模数据的通用特征表示,从而在特定任务上表现更好。

==========================================================================

下面用人话来表述:
预训相当于在你学习英文句子之前,先学习字母、单次、语法和一些常见短语,并且大量的抄写、朗读英文句子。而正训直接就是整句整段的英文学习,你需要开始自己编写句子了。预训就是在给正训打基础。而经过预训之后的模型,就是我们所谓的底丹,使用这个模型进行正训能够极大的加快你的训练速度,尽早的达成你的训练目标。所以好的经过预训的模型,就是俗称的神丹、仙丹!

一些纯纯的新手没弄明白的一点补充:
底丹的使用:
下载你想要的底丹(根据你的显卡性能、分辨率及其他参数综合挑选),解压放置到model目录,dst和src放置你自己准备的素材,然后开启训练,注意“是否启用预训练模式 use pretrain mode)改为n

这帖子先挖个坑放着吧,以后慢慢补充

评分

参与人数 1金钱 +1 收起 理由
独孤求败 + 1 很给力!

查看全部评分

Zhatv换脸论坛免责声明
全站默认解压密码:zhatv.cn
【Zhatv】论坛里的文章仅代表作者本人的观点,与本网站立场无关。
所有文章、内容、信息、资料,都不保证其准确性、完整性、有效性、时效性,请依据情况自身做出判断。
因阅读本站内容而被误导等其他因素所造成的损失责任自负,【Zhatv】不承担任何责任。
通用直播丹代练

QQ:1453174

876

积分

53

帖子

129

符石

元婴丹师

Rank: 4Rank: 4Rank: 4Rank: 4

积分
876
发表于 2024-1-1 20:30:31 | 显示全部楼层
本帖最后由 sg3rom 于 2024-1-1 20:38 编辑

谢谢。
1 那预训练的神丹和训练的src dst之间有什么要求吗
2 新下载的软件里workspace的model里没有底丹啊?
回复

使用道具 举报

1万

积分

378

帖子

4884

符石

混元大罗金仙

Rank: 13Rank: 13Rank: 13Rank: 13Rank: 13

积分
10001

灌水之王论坛元老咸鱼勋章

 楼主| 发表于 2024-1-1 23:28:37 | 显示全部楼层
sg3rom 发表于 2024-1-1 20:30
谢谢。
1 那预训练的神丹和训练的src dst之间有什么要求吗
2 新下载的软件里workspace的model里没有底丹啊 ...

素材要求在基础教程中已经有了
底丹从论坛下

多看看基础文章
通用直播丹代练

QQ:1453174
回复

使用道具 举报

1425

积分

25

帖子

922

符石

化神丹师

Rank: 5

积分
1425
发表于 2024-1-25 17:20:34 | 显示全部楼层
因为我只玩儿专丹,不知道如果SRC只是一个人,还需要预训练吗?
回复

使用道具 举报

300

积分

6

帖子

154

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
300
发表于 2024-3-7 23:13:44 | 显示全部楼层
所以说,预训练模型就是底丹了吗?
回复

使用道具 举报

1万

积分

378

帖子

4884

符石

混元大罗金仙

Rank: 13Rank: 13Rank: 13Rank: 13Rank: 13

积分
10001

灌水之王论坛元老咸鱼勋章

 楼主| 发表于 2024-3-8 00:19:30 | 显示全部楼层
伽利略 发表于 2024-3-7 23:13
所以说,预训练模型就是底丹了吗?

是的~~~预训完了就叫底丹
通用直播丹代练

QQ:1453174
回复

使用道具 举报

231

积分

3

帖子

150

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
231
发表于 2024-3-31 10:26:54 | 显示全部楼层
那请问对预训练的素材有什么要求吗?是清晰为主,还是角度齐全为主?
回复

使用道具 举报

108

积分

6

帖子

27

符石

筑基丹师

Rank: 2Rank: 2

积分
108
发表于 2024-5-7 03:45:04 | 显示全部楼层
丹都嗷嗷贵  唉
回复

使用道具 举报

280

积分

9

帖子

141

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
280
发表于 2024-5-30 11:15:48 | 显示全部楼层
新人初到,后续有没有更详细的教程
回复

使用道具 举报

343

积分

19

帖子

95

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
343
发表于 2024-5-31 14:01:21 | 显示全部楼层
tiange999 发表于 2024-5-7 03:45
丹都嗷嗷贵  唉

你身价 27 ,你都可以  挥霍一把了。
回复

使用道具 举报

小黑屋|ZhaTV ( 滇ICP备15003127号-4 ) |网站地图

GMT+8, 2024-7-17 21:24

Powered by Zhatv.cn

© 2022-2023

快速回复 返回顶部 返回列表