| Daewook's Dev Log

프롬프트 캐싱으로 LLM 비용 50~90% 줄이기: OpenAI·Anthropic 실전 설계와 히트율 최적화

2026-06-08 · AI / LLM

프로덕션 LLM 비용이 새는 가장 흔한 지점은 “매 요청마다 똑같은 긴 prefix( system instructions, tool schema, 정책, 예시, RAG 상단 컨텍스트 )를 다시 prefill”하는 구간입니다.

6월 2026 오픈소스 LLM/VLM 판도: Llama는 ‘멈춤’, Mistral은 ‘정리’, Qwen은 ‘가속’—그리고 라이선스가 승패를 가른다

2026-06-08 · News / AI

2026년 6월 시점의 오픈소스(정확히는 open-weight) LLM/VLM 트렌드는 “누가 더 똑똑한 모델을 냈나”보다 “누가 지속적으로 공개하고, 파생 생태계를 키우며, 라이선스로 상용화 마찰을 줄였나”로 무게중심이 옮겨갔습니다.

MMLU·HumanEval 점수에 속지 않는 법: LLM 평가를 “프로덕션 의사결정”으로 바꾸는 해석 프레임

2026-06-07 · AI / LLM

LLM을 도입/교체할 때 가장 흔한 실패는 벤치마크 점수(예: MMLU, HumanEval)를 ‘성능의 진실’로 오해하는 겁니다. 2026년 6월 기준으로도 여전히 모델 릴리즈 노트에는 “MMLU xx%, HumanEval yy%”가 전면에 나오지만, 실무에서는 다음 문제가 반복됩니다.

LoRA vs QLoRA, “내 GPU/데이터/품질 목표”에 맞춰 고르는 실전 파인튜닝 튜토리얼

2026-06-07 · AI / LLM

LLM을 내 도메인(사내 용어, 고객 질의 패턴, 스타일 가이드, 특정 포맷 출력)에 맞추려면 결국 fine-tuning이 가장 강력합니다. 문제는 비용(시간/VRAM)과 운영 복잡도죠.

Streamlit vs Gradio, “빠른 AI 데모 UI”를 기준으로 제대로 굴리는 법

2026-06-06 · AI / Prototyping

LLM/RAG/vision 모델을 “지금 당장” 이해관계자에게 보여줘야 할 때 가장 자주 부딪히는 문제는 UI가 아니라 데모의 운영성입니다.

vLLM·TGI·Ollama로 “진짜 운영 가능한” LLM 서빙 스택 짜는 법 (로컬/온프렘 최적화까지)

2026-06-06 · AI / MLOps

LLM을 “돌아가게” 만드는 건 쉽습니다. 문제는 여러 사용자가 동시에 쓰는 순간부터 시작합니다: KV cache 폭증으로 OOM, 요청별 지연시간 요동, 배치가 안 잡혀 GPU utilization이 들쭉날쭉, 모델 로딩이 느려서 재시작이 곧 장애가 되는 식이죠.

말 끊김 없이 “대화가 되는” 2026년형 실시간 음성 에이전트: STT/TTS 파이프라인 vs Speech-to-Speech, WebRTC로 끝내기

2026-06-05 · AI / Multimodal

실시간 음성 에이전트에서 개발자가 실제로 겪는 문제는 단순히 STT 정확도가 아닙니다. “사용자가 말 끝나자마자 1초 안에 첫 소리가 나오는가”, “중간에 끼어들면(barge-in) 자연스럽게 멈추는가”, “네트워크가 흔들려도 세션이 살아남는가” 같은 대화 UX/시스템 문제가 핵심입니다…