| Daewook's Dev Log

서버리스 LLM 배포의 현실: Modal·RunPod·AWS Lambda에서 cold start를 “구조적으로” 없애는 방법

2026-06-23 · Infrastructure / Serverless

서버리스 LLM 배포가 해결하는 문제는 명확합니다: 트래픽이 들쭉날쭉한 추론 서비스에서 “항상 켜둔 GPU” 비용을 피하면서도, 배포/스케일링/운영 부담을 줄이는 것. 문제는 더 명확합니다: cold start가 곧 UX가 됩니다.

합성 데이터(Synthetic Data)로 LLM 파인튜닝을 “공급망”처럼 굴리는 법 — 2026년 6월 기준 실전 파이프라인

2026-06-23 · AI / Data

LLM 파인튜닝에서 가장 비싼 비용은 GPU가 아니라 “좋은 데이터”입니다. 특히 (1) 로그/대화가 민감정보를 포함하거나, (2) 케이스 커버리지가 부족하거나, (3) 레이블링 인력이 없거나, (4) 평가 기준이 애매한 도메인(고객지원, 정책 준수, 보안, 의료/법률 등)에서는 합성…

RAG 성능의 80%는 Chunking에서 결정된다: Document Splitting/Overlap/Semantic Chunking 실전 전략

2026-06-22 · AI / RAG

RAG에서 “검색은 됐는데 답이 이상하다/근거가 약하다/헛소리를 한다”의 상당수는 embedding 모델이나 vector DB가 아니라 document splitting(=chunking) 설계 문제로 귀결됩니다. 고정 길이로 잘라 넣으면 다음 문제가 반복됩니다.

Prompt Injection이 “챗봇 해킹”을 넘어 에이전트 공급망 리스크가 된 이유

2026-06-22 · News / AI

2026년 6월 기준 AI 보안 이슈의 중심은 여전히 prompt injection/jailbreak이지만, 양상이 바뀌었습니다.

Streamlit vs Gradio로 “이번 주 안에” AI 데모 UI 뽑아내는 법 (2026년 6월 기준 심층 가이드)

2026-06-21 · AI / Prototyping

LLM/RAG/멀티모달 같은 AI 기능은 “모델 성능”만큼이나 데모 UX가 성패를 가릅니다. 문제는 대부분의 팀이 (1) 백엔드는 FastAPI로 잘 만들었는데 (2) 프론트는 리소스가 없고 (3) PM/세일즈/내부검증을 위해 빠르게 클릭 가능한 UI가 필요하다는 점입니다.

자율적으로 “찾고-검증하고-다시 찾는” Agentic RAG 구현법 (2026년 6월 실전 패턴)

2026-06-21 · AI / Agent

전통적인 RAG는 보통 (1) 한 번 검색 → (2) 컨텍스트 주입 → (3) 답변 생성으로 끝납니다. 하지만 실무 질문은 대개 “검색 쿼리를 어떻게 쪼개야 하지?”, “지금 가져온 근거가 부족한데?”, “서로 충돌하는 문서가 있는데?” 같은 후속 의사결정이 필요합니다.