mac pro 安装ChatGLM2-6B
一、下载本地仓库
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B二、安装pip
curl https://bootstrap.pypa.io/get-pip.py | python3
#查看版本
pip3 --version
#查看python3安装包列表
pip3 list参考：http://www.manongjc.com/detail/62-zuwklvrkupvaytn.html
三、安装依赖
pip3 install -r requirements.txt
pip3 install protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate四、从本地加载模型
brew install git-lfsgit lfs installpython3 -m pip install urllib3==1.26.6#如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢，可以只下载模型实现GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b然后从这里手动下载模型参数文件
| chatglm2-6b-int4 |
并将下载文件放到mac目录：/Users/用户名/apps/model/chatglm2-6b-int4。
如果对比tokenizer.model 文件跟Git上的大小，如果大小不一致，需要从git上下载过来。
参考：python 问题修复ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+_liwenchao1995的博客-CSDN博客
五、网页版demo
打开Users/用户名/apps/ChatGLM2-6B/web_demo.py.修改代码
## 添加进去就行，控制内存池的高水位线比率，不然执行GLM后一段时间会因为内存占用过高报错
import os
os.environ['PYTORCH_MPS_HIGH_WATERMARK_RATIO'] = '0.0'
tokenizer = AutoTokenizer.from_pretrained("/Users/yanhongzhang/apps/model/chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("/Users/yanhongzhang/apps/model/chatglm2-6b-int4", trust_remote_code=True).float()#修改后，开启共享
demo.queue().launch(share=True, inbrowser=True)pip3 install gradio
pip3 listpip3 install torch torchvision torchaudiopython3 web_demo.py
六、API部署
pip install fastapi uvicorn
python api.pycurl -X POST "http://127.0.0.1:8000" \-H 'Content-Type: application/json' \-d '{"prompt": "你好", "history": []}'七：相关参考
https://zhuanlan.zhihu.com/p/636711594
https://xie.infoq.cn/article/f71813ca7b3cedd231600453a
https://www.bilibili.com/read/cv22604870
https://github.com/THUDM/ChatGLM2-6B
https://www.dianjilingqu.com/761793.html
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！