用Xtuner进行Alpaca格式数据集的训练 数据集下载:https://huggingface.co/datasets/FarReelAILab/Machine_Mindset_MBTI_dataset 训练教程:https://github.com/InternLM/tutorial/blob/main/xtuner/README.md 自定义数据集的模型训练基本步骤: 1、安装对应的环境 2、调用相应的代码与开源大模型进行交互,生成原始的数据集CSV --- 生成数据,如有则不需要 3、将生成的数据集CSV转成对应的alpaca格式 --- 对应格式要正确 4、下载对应的模型基座,下载对应的训练配置文件 5、修改对应的配置文件的路径,修改模型路径和数据集路径 6、调用训练脚本进行相关训练 7、将训练后的参数转换成hf格式,与基座模型进行merge合并对应的权重 8、启动进行测试
www.bilibili.com