因为ChatGLM的网页Demo实在不好用就拿ChatGPT的改了一下。下载模型后放在根目录即可(注意文件夹名应该是chatglm-6b),如果是通过网盘下载的直接运行bat文件就好,通过git下载的看一眼readme就行了。 然后关于硬件,我强烈不建议使用CPU运行,内存占用极高且速度极慢。GPU虽然最低要求是6G,但实际上得8G起步,而且一段对话长度越长占的显存越多。 通过保存/读取记录,你可以对ChatGLM的对话进行修改。 作为一个小型LLM,ChatGLM的表现可以说相当惊艳了,当然和上千亿参数的大模型比肯定是不足的,但是能单卡部署的模型里她的效果是最好的。更何况是开源的,开源万岁!前两天斯坦福刚用self-instruct把LLaMA-7B拉到和davinci(GPT-3-175B)一样的水准,期待后续的民间finetune。 简易WebUI(不含模型): GitHub:https://github.com/OedoSoldier/chatglm_webui 链接: https://pan.baidu.com/s/1yzApUqdWEUSmrmqTCSTffA?pwd=19ar 提取码: 19ar 模型: https://huggingface.co/THUDM/chatglm-6b
www.bilibili.com