RTX 4080S , RTX 2070S 활용하는 torch 설치하기
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
GPU 설치되어 있는 GPU Driver 에 따라서 상황이 달라질수도 있으나 , 안정적이고 최근이라고 판단한 NVIDIA CUDA 12.7.33 driver 를 사용할 수 있는 2024년12월기준으로는
pytorch 등을 CPU를 사용하지 않고, GPU를 활용하여 torch가 동작시킬 수 있었다
테스트환경
RTX2070S 와 RTX4080S 에서 확인
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\libnvvp;C:\Python311\Scripts\;C:\Python311\;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libnvvp;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvp;
cuda 버젼 설치확인
(finetuning-py3.11) M:\WORK_LLM\finetuning>python check_gpu.py
version 12.4
cuda 버젼 설치확인 script
(finetuning-py3.11) M:\WORK_LLM\finetuning>type check_gpu.py
#pip conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
import torch
if torch.cuda.is_available():
device = torch.device('cuda')
print('version', torch.version.cuda)
else:
print("cuda not available")
테스트 NVIDIA 환경
(finetuning-py3.11) M:\WORK_LLM\finetuning>nvidia-smi
Wed Dec 25 12:55:46 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 566.03 Driver Version: 566.03 CUDA Version: 12.7 |
|-----------------------------------------+------------------------+----------------------+
(finetuning-py3.11) M:\WORK_LLM\finetuning>nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Wed_Oct_30_01:18:48_Pacific_Daylight_Time_2024
Cuda compilation tools, release 12.6, V12.6.85
Build cuda_12.6.r12.6/compiler.35059454_0
현재 pytorch 와 NVIDA cuda toolkit 의존성은 이렇지만
보편적인 설치는 상황에 따라 바뀌므로
CUDA install guide 링크를 참고하는 것을 추천한다.
https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
- py -m pip install --upgrade setuptools pip wheel
- pip install nvidia-pyindex
- py -m pip install nvidia-cuda-runtime-cu12
개별모듈설치예시
py -m pip install nvidia-XXXXXMetapackages
The following metapackages will install the latest version of the named component on Windows for the indicated CUDA version. cu12” should be read as “cuda12”.
nvidia-cublas-cu12
nvidia-cuda-runtime-cu12
nvidia-cuda-cupti-cu12
nvidia-cuda-nvcc-cu12
nvidia-cuda-nvrtc-cu12
nvidia-cuda-sanitizer-api-cu12
nvidia-cufft-cu12
nvidia-curand-cu12
nvidia-cusolver-cu12
nvidia-cusparse-cu12
nvidia-npp-cu12
nvidia-nvfatbin-cu12
nvidia-nvjitlink-cu12
nvidia-nvjpeg-cu12
nvidia-nvml-dev-cu12
nvidia-nvtx-cu12
nvidia-opencl-cu12
These metapackages install the following packages:
nvidia-cublas-cu126
nvidia-cuda-runtime-cu126
nvidia-cuda-cupti-cu126
nvidia-cuda-nvcc-cu126
nvidia-cuda-nvrtc-cu126
nvidia-cuda-sanitizer-api-cu126
nvidia-cufft-cu126
nvidia-curand-cu126
nvidia-cusolver-cu126
nvidia-cusparse-cu126
nvidia-npp-cu126
nvidia-nvfatbin-cu126
nvidia-nvjitlink-cu126
nvidia-nvjpeg-cu126
nvidia-nvml-dev-cu126
nvidia-nvtx-cu126
nvidia-opencl-cu126python 과 LLM 은 복잡한 설치환경을 요구하기 때문에 conda 써보았다가 개별 프로젝트에 따라서 패키지버젼차이로 poetry를 많이 사용한다.
꼬리에 꼬리를 무는 관계처럼 보이는데 현재는 pip로 설치하는 방법이 없기 때문에
poetry를 설치하기 위해서 사전에 Windows 용 curl을 미리 설치하는것이 필요하다.
이 curl은 Chocolatey,Scoop 같은 또다른 패키지 설치툴 필요하기도 하다.
curl로 poetry 설치방법
C:\Python311>curl -sSL https://install.python-poetry.org | python.exe
Retrieving Poetry metadata
Retrieving Poetry metadata
The latest version (1.8.5) is already installed.
댓글