1.下载google play
2.在google play搜索PocketPal,点击下载
3.打开软件点击Models,点+,点Hugging Face搜索大模型
4.尽量下载名字带Q4_NL(4bit量化 normal 压缩)的模型,回答比较精准。
5.解释一下部分量化标识命名规则:NL 平衡精度与速度(Normal)、M 中等优化(middle)、 XS 极致压缩(Extra Small)、K 极限压缩(K-special)、Qx 量化位数(手机上运行 Q4 最佳)。
6.在加载好模型后
www.bilibili.com