清华ChatGLM-6B模型本地部署 十分钟部署 效果杠杠的

清华公布了中英双语对话模型 ChatGLM-6B，具有60亿的参数，初具问答和对话功能。最！最！最重要的是它能够支持私有化部署，大部分实验室的服务器基本上都能跑起来。
因为条件特殊，实验室网络不通，那么如何进行离线部署呢？
经过一上午的折腾终于搞定了，总结了这么一个部署文档供大家讨论学习（其实，比在线部署还快哟~）。除去下载模型以及依赖包的时间，部署十分钟搞定！！

比较详细的介绍了chatglm-6B本地部署Linux版（含相关依赖资源获取方式）；
（如果怕麻烦，也可以直接拉到文章最后直接获取chatglm-6B所有相关依赖资源）

环境的配置参考：

我的显存太小，只有8G，所以我用量化等级INT4的, 然后我们执行一下给出的例子，注意如果执行的过程中感觉卡死了，直接Ctrl+C终止重新执行

重新开始吧

安装Miniconda
在官网下载python版本为3.10的Miniconda版本，因为Miniconda自带python。

https://docs.conda.io/en/latest/miniconda.html#linux-installers

将Miniconda下载安装包放到你要放的目录。
如：/home/work/miniconda，然后执行下面的安装代码

sh Miniconda3-latest-Linux-x86_64.sh

执行完之后按照提示进行enter就好了。
注意：最后选择“yes”，这样每次启动，它都会自动给你切换到conda的base环境中。

创建虚拟机环境
为chatglm-6b创建一个单独的python虚拟机环境，命名为：chatglm，后面把跑chatglm-6b模型的所有依赖都安装在这个环境中

#  注：因为是离线安装这里选择clone的方式创建，直接创建会报错
conda create -n chatglm --clone base

# 获取环境列表
conda env list

#切换chatglm环境
conda activate chatglm

安装模型需要的所有依赖
chatglm-6b在centos上用到的所有依赖全都打包在packages里面了（离线安装包），将其也放到/home/work/chatglm/packages，然后执行命令：

pip install --no-index --find-links=/home/work/chatglm/packages  -r requirements.txt

获取模型文件
在线安装：通过Hugging Face获取，连接地址：https://huggingface.co/THUDM/chatglm-6b/tree/main，下载所有的文件，在该模型下新建chatglm_model文件夹，把下载的文件放进去。
离线安装可直接下载底部我们提供的离线安装包。

获取项目webui
在线安装通过github开源项目地址：https://github.com/Akegarasu/ChatGLM-webui，下载所有文件，在该模型下新建webui文件夹，将下载的文件放进去。
离线安装可直接下载底部我们提供的离线安装包。

启动webui
先检查下文件夹目录：

没有问题的话，进入webui目录，执行如下命令：

python webui.py --model-path /home/work/chatglm/chatglm_model --listen --port 8898 --precision fp16

所有参数解释具体如下：

还挺费GPU的。。