16GB VRAM GPU 활용 흐름 (#Strata)

1. 로컬 LLM 학습용

내용: 오픈 모델(Open Model) 출시로 로컬 LLM(Local LLM, 사용자 하드웨어에서 직접 구동하는 대규모 언어 모델)에 대한 관심이 생겨 RTX 4080S(16GB)를 구입하여 학습을 시작했습니다. 그러나 클라우드 LLM 서비스(Cloud LLM Service)의 급격한 발전 속도를 로컬 환경이 따라가기 어려워 관심이 시들어졌습니다.

2. Agent 의 지능

내용: 오픈클로(OpenClaw)의 등장으로 API 없이 VRAM 16GB에서 로컬 구동하는 방법을 찾아 세팅했습니다. 다만 제 GPU 환경에서는 도구 사용(Tool Use)과 한국어 처리에 적합한 모델이 Qwen 3.5 8B뿐이었는데, 지능이 다소 낮아 실수가 잦았고 이에 따라 실사용 용도로는 신뢰도가 낮았습니다. 당시에는 읽지 않은 메일 요약 및 삭제 정도의 단순한 작업만 수행했습니다.

3. Strata를 통한 Agent 지능의 발전

내용: 스트라타(Strata)를 도입하며 Qwen 3.8 모델을 구동할 수 있게 되었고, 비로소 실무적인 작업이 가능해졌습니다.

4. VRAM 16GB 한계와 과제

내용: 하지만 컨텍스트 길이(Context Length, 모델이 한 번에 처리할 수 있는 최대 텍스트 입력/출력 길이) 제한으로 인한 잦은 데이터 압축 현상은 감수해야 하는 부분입니다. 이로 인해 응답 속도가 느려지는 구간이 많이 발생합니다. 평상시 성능은 약 78 토큰/초(token/s)로 준수하지만, 중간중간 잦은 압축 작업으로 인해 전체 소요 시간이 길어져 불편함이 있습니다.
향후 계획: 현재 컨텍스트 길이 제한 문제를 해결할 방법을 계속 찾고 있습니다.

2026년10월29일 기준 최적화 결과 (--max-context,"262144",)

I:\Strata-app>cat strata-iq2_xs.json
{
"exe": "component:strata-engine",
"backend": "cuda",
"args": [
"--pack",
"I:\\Strata-data\\packs\\iq2_xs",
"--native",
"I:\\Strata-data\\models\\IQ2_XS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00001-of-00002.gguf",
"--ple-gguf",
"I:\\Strata-data\\models\\IQ2_XS\\Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00002-of-00002.gguf",
"--expert-profile",
"I:\\Strata-app\\data\\expert-profile.bin",
"--expert-cache",
"auto",
"--prefill",
"auto",
"--spec",
"4",
"--spec-min-p",
"0.5",
"--mtp",
"I:\\Strata-data\\mtp\\rt",
"--max-context",
"262144",
"--kv",
"k8v4",
"--kv-resident",
"32768"
],
"cwd": "I:\\Strata-app",
"tokenizer": "I:\\Strata-data\\packs\\iq2_xs\\tokenizer",
"model_name": "qwen3.8-flash-next-iq2_xs",
"log": "I:\\Strata-app\\strata-iq2_xs.log",
"lib_dirs": [
"I:\\Strata-app\\.venv\\Lib\\site-packages\\nvidia\\cu13\\bin\\x86_64"
],
"port": 8080,
"host": "0.0.0.0",

"gpu": 0,
"gpus_asked": true
}

Description

exe

설명: 실행할 엔진 컴포넌트 지정
상세: component:strata-engine을 통해 스트라타 엔진 구동 파일 호출

backend

설명: 연산 백엔드 지정
상세: cuda를 사용하여 NVIDIA GPU 하드웨어 가속 활용
args설명: 엔진에 전달할 구체적인 실행 인자(Arguments) 모음
--pack: 모델 패키지 디렉토리 경로 지정 (I:\Strata-data\packs\iq2_xs)
--native: 기본 GGUF 모델 파일 경로 지정 (Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00001-of-00002.gguf)
--ple-gguf: 추가 GGUF 파츠 파일 경로 지정 (Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00002-of-00002.gguf)
--expert-profile: 전문가 프로필 바이너리 파일 경로 지정
--expert-cache: 전문가 캐시(Expert Cache) 관리 방식 설정 (auto)
--prefill: 프롬프트 사전 입력(Prefill) 최적화 방식 설정 (auto)
--spec: 추론 가속을 위한 스펙큘레이티브 디코딩(Speculative Decoding) 설정값 (4)
--spec-min-p: 스펙큘레이티브 디코딩 최소 확률 임계값 (0.5)
--mtp: 멀티 토큰 예측(Multi-Token Prediction) 관련 리소스 경로 지정
--max-context: 모델이 처리할 수 있는 최대 컨텍스트(Context, 문맥) 길이 설정 (262144)
--kv: 키-값(Key-Value) 캐시 양자화(Quantization) 포맷 설정 (k8v4, 키 8비트, 값 4비트)
--kv-resident: VRAM 상주 키-값 캐시 크기 설정 (32768)

cwd

설명: 프로세스가 실행될 작업 디렉토리(Current Working Directory) 경로 (I:\Strata-app)

tokenizer

설명: 텍스트를 토큰으로 변환하거나 역변환하는 토크나이저 파일 경로 지정

model_name

설명: 내부적으로 식별되는 모델 이름 (qwen3.8-flash-next-iq2_xs)

log

설명: 실행 로그가 저장될 파일 경로 (I:\Strata-app\strata-iq2_xs.log)

lib_dirs

설명: CUDA 구동을 위해 참조할 외부 라이브러리 및 종속성 디렉토리 경로 지정 (nvidia\cu13\bin\x86_64)

port

설명: 로컬 서버가 수신 대기할 포트 번호 (8080)

host

설명: 서버 바인딩 주소 (0.0.0.0으로 설정되어 모든 네트워크 인터페이스에서 접근 허용)

gpu / gpus_asked

설명: GPU 사용 여부 및 지정
상세: gpu: 0은 첫 번째 GPU를 지정하며, gpus_asked: true는 GPU 가속 사용 요청을 활성화함