分阶段微调是否合适？ （微调上的细节问题）

[Rocky77JHxu]

您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。

在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？

因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？

这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！

[aJupyter]

都可以尝试，不一定哪种方案好
我们采取的是前者

[Rocky77JHxu]

都可以尝试，不一定哪种方案好 我们采取的是前者

好的，非常感谢！

[aJupyter]

建议关注仓库，后续考虑放出一些细节or视频教程

[Rocky77JHxu]

建议关注仓库，后续考虑放出一些细节or视频教程

好的，谢谢。

[chg0901]

重新开一下吧， 我等着在emollm3.0上训练下爹系男友试试，爹系男友V2.0训了3个epoch，其实有点多

[chg0901]

您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。

在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？

因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？

这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！

最近有个基于internlm做的项目， 它采用的方法就是多轮次微调训练的方法，

但是是否真正有效，还是要取决于数据集，微调方法和参数的，

[Rocky77JHxu]

您好，您们的工作分享对于LLM初学者来说有着很大的启发！我也是其中之一。
在浏览完所有自述文件后，我观察到您们有多个数据集，特别是包含了大量角色扮演的数据集。我想请教下您们对于多个角色，是通过微调不同的角色模型，还是通过分阶段微调来对一个模型不断增强？如果是分阶段微调的话，具体是怎么做的呢？
因为我之前尝试实战了一个医疗大模型的微调，我发现医疗下仍然有很多细分场景，比如智能问诊，医药问答，以及您们工作中所提到的心理健康等等。我在思考这些细分场景是全部塞入一个大数据集内统一微调，还是分阶段微调合适呢？
这个问题相对来说偏于个人，如果能收到您们的答复，我将不胜感激！

最近有个基于internlm做的项目， 它采用的方法就是多轮次微调训练的方法，

但是是否真正有效，还是要取决于数据集，微调方法和参数的，

可以了解下分阶段微调的策略是什么样的嘛？

[chg0901]

1. 相同数据，微调多次，里面有初始化的问题
2. 不同数据，微调多次，类似增强学习的程度
3. 结合以上两种