一、 查看 GPU 信息

我用过 google 的colab、kaggle、这两兄弟限制太高，将就用用就行。现在完整的流程是用腾讯的 cloud studio 完成的。

1、查看环境配置是否支持nvidia（英伟达）

nvidia-smi

2、这个命令是开启每秒显示一次显卡GPU使用情况

nvidia-smi -l 1

二、安装 git lfs

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

apt-get install git-lfs

三、安装 llama-factory （尽量安装指定稳定的版本）

1、下载

git clone --branch v0.9.2 https://github.com/hiyouga/LLaMA-Factory.git

2、安装

cd LLaMA-Factory && pip install -e '.[torch,metrics]'

四、安装 pytorch

1、打开官网按当前环境下载配置

https://pytorch.org

五、安装 llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git
# git clone --branch master https://github.com/ggerganov/llama.cpp.git

cd llama.cpp && mkdir build && cd build && cmake .. -DGGML_CUDA=ON -DLLAMA_CURL=OFF && cmake --build . --config Release -j$(nproc)

cd llama.cpp/gguf-py && pip install --editable .

LLM（LoRA + LLamaFactory + LLama.cpp + 腾讯cloud studio + 魔塔ModelScope）微调大模型完整流程（二）