清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

清华公布了中英双语对话模型 ChatGLM-6B,具有60亿的参数,初具问答和对话功能。最!最!最重要的是它能够支持私有化部署,大部分实验室的服务器基本上都能跑起来。 因为条件特殊,实验室网络不通,那么如何进行离线部署呢?

清华公布了中英双语对话模型 ChatGLM-6B,具有60亿的参数,初具问答和对话功能。最!最!最重要的是它能够支持私有化部署,大部分实验室的服务器基本上都能跑起来。
因为条件特殊,实验室网络不通,那么如何进行离线部署呢?
经过一上午的折腾终于搞定了,总结了这么一个部署文档供大家讨论学习(其实,比在线部署还快哟~)。除去下载模型以及依赖包的时间,部署十分钟搞定!!

比较详细的介绍了chatglm-6B本地部署Linux版(含相关依赖资源获取方式);
(如果怕麻烦,也可以直接拉到文章最后直接获取chatglm-6B所有相关依赖资源)

 

环境的配置参考:

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

我的显存太小,只有8G,所以我用量化等级INT4的, 然后我们执行一下给出的例子,注意如果执行的过程中感觉卡死了,直接Ctrl+C终止重新执行

重新开始吧

安装Miniconda
在官网下载python版本为3.10的Miniconda版本,因为Miniconda自带python。

https://docs.conda.io/en/latest/miniconda.html#linux-installers

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的





将Miniconda下载安装包放到你要放的目录。
如:/home/work/miniconda,然后执行下面的安装代码

sh Miniconda3-latest-Linux-x86_64.sh

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

执行完之后按照提示进行enter就好了。
注意:最后选择“yes”,这样每次启动,它都会自动给你切换到conda的base环境中。

创建虚拟机环境
为chatglm-6b创建一个单独的python虚拟机环境,命名为:chatglm,后面把跑chatglm-6b模型的所有依赖都安装在这个环境中

#  注:因为是离线安装这里选择clone的方式创建,直接创建会报错
conda create -n chatglm --clone base

# 获取环境列表
conda env list

#切换chatglm环境
conda activate chatglm

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的




安装模型需要的所有依赖
chatglm-6b在centos上用到的所有依赖全都打包在packages里面了(离线安装包),将其也放到/home/work/chatglm/packages,然后执行命令:

pip install --no-index --find-links=/home/work/chatglm/packages  -r requirements.txt

获取模型文件
在线安装:通过Hugging Face获取,连接地址:https://huggingface.co/THUDM/chatglm-6b/tree/main,下载所有的文件,在该模型下新建chatglm_model文件夹,把下载的文件放进去。
离线安装可直接下载底部我们提供的离线安装包。

获取项目webui
在线安装通过github开源项目地址:https://github.com/Akegarasu/ChatGLM-webui,下载所有文件,在该模型下新建webui文件夹,将下载的文件放进去。
离线安装可直接下载底部我们提供的离线安装包。

启动webui
先检查下文件夹目录:

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的




没有问题的话,进入webui目录,执行如下命令:

python webui.py --model-path /home/work/chatglm/chatglm_model --listen --port 8898 --precision fp16

所有参数解释具体如下:

执行完以上命令之后,等待模型加载完成,通过IP+端口就可以访问服务

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

 

还挺费GPU的。。

清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

 

 

下载权限

查看
  • 免费下载
    评论并刷新后下载
    登录后下载

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余
免责说明

本站资源部分来自网友投稿,如有侵犯你的权益请联系管理员或给邮箱发送邮件PubwinSoft@foxmail.com 我们会第一时间进行审核删除。
站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!请在下载24小时内删除!


如果遇到评论下载的文章,评论后刷新页面点击对应的蓝字按钮即可跳转到下载页面
本站资源少部分采用7z压缩,为防止有人压缩软件不支持7z格式,7z解压,建议下载7-zip,zip、rar解压,建议下载WinRAR

给TA打赏
共{{data.count}}人
人已打赏
ChatGPTFree资源WeChat

个人微信接入ChatGPT

2023-4-11 13:30:55

ChatGPT

将ChatGPT集成到浏览器:无需账号+无需秘钥+直连ChatGPT

2023-4-15 21:32:34

3 条回复 A文章作者 M管理员
  1. lsm01

    结尾处对人物的赞美,情真意切,感人至深

  2. 风起时

    爱我都说不出口,还说什么不是借口。1

  3. Hello

    天下没有不散的宴席。但是只要你和自己没有走散,就没什么可担心的。

个人中心
购物车
优惠劵
有新私信 私信列表
搜索