기본 콘텐츠로 건너뛰기

12월, 2024의 게시물 표시

llama 계열 gguf 제공되는 경우 가져와서 사용하는 예제

llama 계열의 모델이 친절하게 gguf 형태로 제공되는 경우 어떻게 다운받고 어떻게 ollama에 추가하는지 예전에 gguf 파일을 등록하는 유튜브 강의를 보고 메모해두것을 기반으로 2024년 12월31일 추운 겨울 밤 기억을 백업해 봅니다 수동으로 작성한 것은 지우고 copilot으로 포맷을 정리해서 업데이트합니다. Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M 한국어 모델 추가하기 시작 : MS Copilot과의 질의응답 중 llama 3.2 기반의 한국어 학습 모델을 발견. 현재 사용 모델 : EEVE-Korean-10.8B (약 7.7 GB) 모델 사용 중. llama 3.2 기반 한국어 모델 소개 : 모델 설명 링크 gguf 파일 다운로드 링크 모델 설정 파일 (Modelfile) : FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf PARAMETER temperature 0.6 PARAMETER top_p 0.9 TEMPLATE """<|start_header_id|>system<|end_header_id|> Cutting Knowledge Date : December 2023 {{ if .System }}{{ .System }} {{- end }} {{- if .Tools }} When you receive a tool call response, use the output to format an answer to the orginal user question. You are a helpful assistant with tool calling capabilities. {{- end }} <|eot_id|> {{- range $i , $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 }} {{- if eq .Role "u...

RTX GPU를 가진환경에서 torch 설치하기 2024.12기준

  RTX 4080S , RTX 2070S 활용하는 torch 설치하기 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 GPU 설치되어 있는 GPU Driver 에 따라서 상황이 달라질수도 있으나 , 안정적이고 최근이라고 판단한 NVIDIA CUDA 12.7.33 driver 를 사용할 수 있는 2024년12월기준으로는  pytorch 등을 CPU를 사용하지 않고, GPU를 활용하여 torch가 동작시킬 수 있었다 테스트환경 RTX2070S 와 RTX4080S 에서 확인 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\libnvvp;C:\Python311\Scripts\;C:\Python311\;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libnvvp;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvp; cuda 버젼 설치확인 (finetuning-py3.11) M:\WORK_LLM\finetuning>python check_gpu.py version 12.4 cuda 버젼 설치확인 script (finetuning-py3.11) M:\WORK_LLM\finetuning>type check_gpu.py #pip conda install pytorch torchvision torchaudio pytorch-cuda=12.1 ...