登录
原创

CodeGeeX2 linux ubuntu20.04部署教程

发布于 2023-09-07 阅读 16120
  • 算法
  • 开源
  • 机器学习
原创

基础环境:
系统:ubuntu20.04
环境:alicloud
显卡:T4
CPU:4C
内存:16G
CUDA版本:11.4
python版本:3.9.9

部署过程:
1、获取代码,并正确安装依赖

#1、确保python版本 2、确保pip已更新 3、确保pip路径已被加载
git clone https://ghproxy.com/https://github.com/THUDM/CodeGeeX2
cd CodeGeeX2/
python3.9 -m pip install -r requirements.txt
python3.9 -m pip install ipython #(可选)

2、进入python环境(ipython亦可)

#1、16G现存直接运行codegeex2-6b模型(大约15G)出现返回为空,必须要使用codegeex2-6b-int4(大约4G)模型进行加载 2、执行demo环境可能会存在缺少依赖包情况,按照提示进行安装即可 3、执行对应测试代码可能出现网络不通的情况,多执行几次即可
#step1
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(“THUDM/codegeex2-6b-int4”, trust_remote_code=True)
model = AutoModel.from_pretrained(“THUDM/codegeex2-6b-int4”, trust_remote_code=True, device=‘cuda’) # 如使用CPU推理,device=‘cpu’
model = model.eval()

#等待下载成功后执行以下步骤
#step2
prompt = “# language: Python\n# write a bubble sort function\n”
inputs = tokenizer.encode(prompt, return_tensors=“pt”).to(model.device)
outputs = model.generate(inputs, max_length=256, top_k=1) # 示例中使用greedy decoding,检查输出结果是否对齐
response = tokenizer.decode(outputs[0])
print(response)
step1可能会出现网络报错,多执行几次即可
20230907 at 1.36 PM.jpg

step2正常结果:
20230907 at 1.38 PM.jpg

如果出现都是"\n"情况,则检查是不是加载了codegeex2-6b模型

3、安装chtglm-cpp(可选)

#1、确保python版本 2、确保pip已更新 3、确保pip路径已被加载 4、根据提示补全缺失的包
CMAKE_ARGS=“-DGGML_CUBLAS=ON” python3.9 -m pip install -U chatglm-cpp
cd demo/
python3.9 run_demo.py --listen 0.0.0.0 --quantize 4 --chatglm-cpp
安装时候可能会出现各种包的缺失,正常安装即可
20230907 at 1.43 PM.jpg

正常启动后,结果如下:
20230907 at 1.47 PM.jpg

20230907 at 1.48 PM.jpg

部署参考文档:https://github.com/THUDM/CodeGeeX2

https://github.com/THUDM/CodeGeeX2/blob/main/docs/zh/inference_zh.md

https://blog.51cto.com/u_16210210/6986986

评论区

leon
0粉丝

励志做一条安静的咸鱼,从此走上人生巅峰。

0

0

0

举报