합성 데이터로 LLM 파인튜닝을 “공장화”하는 법: Synthetic Data Pipeline 심층 분석
현업에서 파인튜닝이 막히는 지점은 거의 항상 같습니다. “학습시킬 만한 데이터가 없다(또는 비싸다)” 입니다.
현업에서 파인튜닝이 막히는 지점은 거의 항상 같습니다. “학습시킬 만한 데이터가 없다(또는 비싸다)” 입니다.
전통적 RAG는 보통 retrieve → (rerank) → generate 파이프라인이 고정이라, 질문이 애매하거나(재질문 필요), 문서가 방대하거나(추가 탐색 필요), 근거가 부족한데도 답을 생성하는(환각) 상황에서 취약합니다.
LLM API를 프로덕션에서 돌리면 “가끔”이 아니라 “언젠가 반드시” 429 Too Many Requests(rate limit)와 간헐적 5xx/overload를 만납니다.
2026년 4월 AI 반도체 뉴스의 핵심은 “학습(Training) 독점은 여전하지만, 추론(Inference)에서는 균열이 실서비스 형태로 보이기 시작했다”는 점입니다.
에이전트를 “대화형 챗봇”이 아니라 “며칠~몇 달 동안 일하는 소프트웨어 프로세스”로 운영하기 시작하면, 실패 원인의 절반은 모델이 아니라 memory/state에서 터집니다. 흔한 증상은 이렇습니다.
Model Context Protocol(MCP)은 LLM/에이전트가 “외부 세계(데이터/액션)”와 연결되는 표준 인터페이스입니다.
일반적인 Vector RAG는 “질문과 가장 비슷한 chunk 몇 개”를 가져오는 데는 강하지만, 관계(relationship) 가 답의 핵심인 문제에서 자주 무너집니다. 예를 들면:
RAG/semantic search를 “돌아가게” 만드는 것과 “정확하게” 만드는 것의 차이는 대부분 embedding에서 시작합니다.
RAG에서 “답이 문서에 있는데도 못 찾는” 문제의 상당수는 retriever나 LLM이 아니라 chunking(문서 청킹/분할) 에서 시작합니다. 특히 다음 증상은 chunking 냄새가 진합니다.
2026년 4월은 “AI 코딩 도우미”가 아니라 repo를 이해하고 브랜치를 파서 PR까지 밀어 넣는 coding agent가 표준 워크플로로 굳어지는 달이었습니다.