cuda及pytorch对应版本安装

由于单机两张卡，4090+2080Ti,在跑qwen1.5-14B模型的时候用到了两张卡，其中提示到flash-attn2只支持ampere或更新的GPU，查了下发现它暂时还不支持2080，搜了下网上说可以降到flash-attn1.x。于是尝试了pip install flash-attn=1.0.9.

但报错，看了下是cuda版本不对导致的。于是打算重新安装，升级到cuda12.2。

安装cudatoolkit

选择驱动、toolkit对应的版本 https://developer.nvidia.com/cuda-toolkit-archive

wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run
sudo sh cuda_12.2.2_535.104.05_linux.run

保存并加载环境变量

export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

source ~/.bashrc

安装cuDNN

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cudnn-cuda-12

安装pytorch

https://pytorch.org/get-started/locally/ conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

flash-attn

不过最后试了下，flash-attention还是没OK，目前看qwen1.5的config.json里也没有关闭flash-attn的选项了，估计只能等它更新或者flash-attn支持2080了（看官方说应该后续会支持)。