기본 콘텐츠로 건너뛰기

3월, 2025의 게시물 표시

자신이 가진 CPU/GPU환경에 맞는 LLM을 골라보자

Reason: Searching for lightweight LLMs that can be used in VS Code. reference https://github.com/aidatatools/ollama-benchmark how to Run llm_benchmark run --no-sendinfo --custombenchmark=C:\Python311\Lib\site-packages\llm_benchmark\data\custombenchmarkmodels.yml C:\Python311\Lib\site-packages\llm_benchmark\data\custombenchmarkmodels.yml # Author: Peter Lim # License: # Created: 2025-03-30 version : 1.0 models :   - model : deepseek-r1:1.5b   - model : deepseek-r1:8b   - model : deepseek-coder-v2   - model : gemma:2b   - model : gemma2:9b   - model : gemma3:4b   - model : phi:2.7b   - model : phi3:3.8b   - model : phi4:14b   - model : mistral:7b

FastAPI 개발환경 구성하기

Pure Windows는 적합하지 않을 것 같아  WSL에서 Docker 기반으로 환경을 구성하고 Docker Desktop 설치후 WSL 환경에서 Docker image 로 my-fastapi-app 를 준비함 "  docker build -t my-fastapi-app . "   WSL 환경에서 Docker container 로 fastapi-app 로 데몬으로 준비, 포트 8000 연결조건 docker run -d -p 8000:8000 --name fastapi-app my-fastapi-app WSL 환경에서 Docker containter를 종료시 삭제조건과 app폴더를 연결하는 조건  docker run -d -p 8000:8000 --rm -v $(pwd):/app my-fastapi-app WSL 환경에서 Docker containter에게 이름  fastapi-app 지정하는 조건 docker run -d -p 8000:8000 -v $(pwd):/app --name fastapi-app my-fastapi-app WSL 에서 Docker container  fastapi-app  에 연결하기 docker exec -it fastapi-app /bin/bash