很多人想要复现一个ChatGPT平替版,却在基于千亿大模型的高昂成本面前望而却步了。 最近,Colossal-AI刚刚开源了一个复制ChatGPT训练过程的解决方案,允许以极低的成本复制ChatGPT训练。 这次开源的亮点包括: - 开源完整基于 PyTorch 的 ChatGPT 复现流程,涵盖全部 3 个阶段,可实现从预训练模型到 ChatGPT 的蜕变; - 体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足; - 相比原生 PyTorch,最高可提升单机训练速度 7.73 倍,一行代码即可使用; - 长期以来预训练大模型都由少数大型私营科技公司垄断,而Colossal-AI的开放协作模式,无论你是是个人开发者,还是算力、数据、模型等可能合作方,都有机会参与其中,大显身手! 这套复现方案地址我已经整理好了。需要的小伙伴在评论区留言即可。
www.bilibili.com