大模型训练揭秘:从15万亿token到智能对话 你每天用ChatGPT,但你知道它是怎么炼成的吗? 从互联网抓取27亿网页,过滤成44TB纯文本,切成15万亿个token——这只是第一步预训练。 然后是监督微调,让它学会对话。 最后用强化学习,教它像人一样思考。 GPT-2只有16亿参数,GPT-4据说1.8万亿个。 上下文窗口从1000个token暴涨到100万个。 这背后是数十亿美元的GPU,每秒百万次调参。 点击发送的瞬间,你在和一个吞下整个互联网的怪物对话。 它不是魔法,是工程。是规
www.bilibili.com