기본 콘텐츠로 건너뛰기

2024의 게시물 표시

llama 계열 gguf 제공되는 경우 가져와서 사용하는 예제

llama 계열의 모델이 친절하게 gguf 형태로 제공되는 경우 어떻게 다운받고 어떻게 ollama에 추가하는지 예전에 gguf 파일을 등록하는 유튜브 강의를 보고 메모해두것을 기반으로 2024년 12월31일 추운 겨울 밤 기억을 백업해 봅니다 수동으로 작성한 것은 지우고 copilot으로 포맷을 정리해서 업데이트합니다. Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M 한국어 모델 추가하기 시작 : MS Copilot과의 질의응답 중 llama 3.2 기반의 한국어 학습 모델을 발견. 현재 사용 모델 : EEVE-Korean-10.8B (약 7.7 GB) 모델 사용 중. llama 3.2 기반 한국어 모델 소개 : 모델 설명 링크 gguf 파일 다운로드 링크 모델 설정 파일 (Modelfile) : FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf PARAMETER temperature 0.6 PARAMETER top_p 0.9 TEMPLATE """<|start_header_id|>system<|end_header_id|> Cutting Knowledge Date : December 2023 {{ if .System }}{{ .System }} {{- end }} {{- if .Tools }} When you receive a tool call response, use the output to format an answer to the orginal user question. You are a helpful assistant with tool calling capabilities. {{- end }} <|eot_id|> {{- range $i , $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1 }} {{- if eq .Role "u...

RTX GPU를 가진환경에서 torch 설치하기 2024.12기준

  RTX 4080S , RTX 2070S 활용하는 torch 설치하기 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 GPU 설치되어 있는 GPU Driver 에 따라서 상황이 달라질수도 있으나 , 안정적이고 최근이라고 판단한 NVIDIA CUDA 12.7.33 driver 를 사용할 수 있는 2024년12월기준으로는  pytorch 등을 CPU를 사용하지 않고, GPU를 활용하여 torch가 동작시킬 수 있었다 테스트환경 RTX2070S 와 RTX4080S 에서 확인 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\libnvvp;C:\Python311\Scripts\;C:\Python311\;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\libnvvp;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvp; cuda 버젼 설치확인 (finetuning-py3.11) M:\WORK_LLM\finetuning>python check_gpu.py version 12.4 cuda 버젼 설치확인 script (finetuning-py3.11) M:\WORK_LLM\finetuning>type check_gpu.py #pip conda install pytorch torchvision torchaudio pytorch-cuda=12.1 ...

Github CLI 써보기

 Github CLI 써보기 GitHub에 접근할때 git만 사용했는데 github에서 제공하는 인터페이스를 써본다. https://cli.github.com/manual/ git 으로 하는것과 무슨차이가 있겠나 싶긴했는데  gh를 처음에 설정하는 귀찮음을 동반하지만 gh로 로그인을 할때 API로 한번 인증해두면 코드 가져올때 나쁘지 않은것 같다. gh auth login github에 있는 repo 당겨오는 예시 gh repo clone johlim/hello-world cd hello-world git log --graph