### Ollama를 활용한 로컬 LLM 모델 테스트 정리
Ollama를 사용하여 다양한 LLM(Local Language Model)을 테스트한 결과를 두 가지 주요 관점에서 평가할 수 있었습니다:
1. **한국어 처리 성능의 한계**: 대부분의 모델이 한국어를 제대로 처리하지 못하거나, 일부 깨짐 현상이 발생했습니다.
2. **지연 시간(Latency)**: 모델 응답 속도가 느려 실사용에 어려움이 있었습니다.
### 테스트 환경
- **PC 사양**: Intel i7, DDR 32GB, RTX 4080S (12GB VRAM)
- **제약 사항**: Llama 3.3 70B 모델은 VRAM 부족으로 로딩 불가.
### 모델별 평가 결과
### 결론
- 한국어 처리가 중요한 경우, 현재 Ollama 기반 LLM은 한계가 있습니다.
- 고성능 모델은 지연 시간이 길거나 메모리 한계로 인해 로딩이 어려운 경우가 많습니다.
- 빠른 응답 속도를 원한다면 Gemma2와 같은 경량 모델이 적합하지만, 성능은 제한적일 수 있습니다.
참고할 내용들
Citations:
[1] https://www.youtube.com/watch?v=GsZ9w04smVE
[2] https://codingopera.tistory.com/77
[3] https://www.gpters.org/dev/post/ollamareul-iyonghan-hangeulpan-rokeol-llm-74iRcn2ODbKSbMF
[4] https://www.youtube.com/watch?v=mmTgOHYnKR0
[5] https://fornewchallenge.tistory.com/entry/%EC%95%BC%EB%86%80%EC%9E%90-%ED%95%9C%EA%B5%AD%EC%96%B4-%EC%96%B8%EC%96%B4-%EB%AA%A8%EB%8D%B8-EEVE%EC%99%80-Ollama%EB%A1%9C-%EA%B5%AC%ED%98%84%ED%95%98%EB%8A%94-%EB%A1%9C%EC%BB%AC-RAG
[6] https://www.youtube.com/watch?v=ILqsZI0PnyE
[7] https://benant.wordpress.com/2024/04/22/llama-3-%ED%95%9C%EA%B5%AD%EC%96%B4-%EC%84%B1%EB%8A%A5%EC%9D%80/
[8] https://www.inflearn.com/community/questions/1409677/ollama%EB%A1%9C-%EC%82%AC%EC%9A%A9%EA%B0%80%EB%8A%A5%ED%95%9C-%ED%95%9C%EA%B8%80-%EC%9E%84%EB%B2%A0%EB%94%A9-llm-%EB%AA%A8%EB%8D%B8-%EC%B6%94%EC%B2%9C
[9] https://hyunicecream.tistory.com/121
댓글