합성 데이터로 LLM을 “내 도메인에 맞게” 재교육하는 법: SDG→필터링→SFT 파이프라인 심층 가이드
· AI / Data
LLM 파인튜닝에서 가장 흔한 병목은 “좋은 학습 데이터가 없다”입니다. 특히 사내 도메인(고객지원, 결제/정산, 보안관제, 제조/물류 등)은 (1) 개인정보/저작권/계약 이슈로 원문 로그를 그대로 쓰기 어렵고, (2) 실제로는 케이스가 충분히 다양하지 않으며, (3) 라벨링 비용이 큽…
Default
AI 스타트업 투자·M&A, 2026년 9월의 키워드는 ‘Agent + Routing + Physical AI’다
· News / AI
2026년 9월 초 AI 스타트업 투자/인수합병 뉴스는 한 문장으로 요약하면 “모델 그 자체보다, 에이전트를 운영하는 ‘플랫폼/플러밍(plumbing)’과 현실 세계로 내려오는 ‘Physical AI’에 돈이 몰린다”입니다.
실시간 음성 에이전트: STT→LLM→TTS “스트리밍 파이프라인”으로 1초 체감지연 깨는 구현 가이드
· AI / Multimodal
실시간 음성 대화(voice agent)가 어려운 이유는 모델 성능보다 지연(latency)과 인터럽트(barge-in) 때문입니다. “말을 끝까지 듣고 → 전사하고 → 답 만들고 → 읽어주는” 순차 처리로는, 사용자는 전화 IVR 같은 답답함을 느낍니다.
Chain-of-Thought(CoT) “고급” 프롬프트 최적화: 기준, 성능·비용·안정성을 동시에 잡는 설계 패턴
· AI / LLM
CoT(Chain-of-Thought)는 “모델이 중간 추론 단계를 거치도록 유도해” 복잡한 문제(멀티스텝 의사결정, 제약 많은 생성, 정합성 검증)를 더 잘 풀게 만드는 프롬프팅 계열입니다.
LLM 백엔드에서 “Celery + Redis 비동기 큐/워커”를 2026년에 제대로 쓰는 법: 스트리밍·멱등성·visibility_timeout까지
· Backend / Architecture
LLM 백엔드의 비동기 처리는 “느린 작업을 요청-응답 경로에서 분리”하는 문제를 해결합니다. 특히 (1) OpenAI/사내 모델 호출이 수 초~수 분 걸리거나, (2) 한 요청이 여러 외부 API/스토리지 왕복을 포함하거나, (3) 실패 시 재시도/지연 재시도가 필요할 때 HTTP 핸…
프롬프트 캐싱으로 LLM 비용 30~80% 줄이기: OpenAI vs Anthropic 실전 설계/히트율 튜닝
· AI / LLM
LLM 비용이 새는 대표 구간은 “매 요청마다 반복되는 긴 prefix(시스템 지시문, tool schema, 코드베이스 요약, 정책, 예시 few-shot)”를 매번 full price로 다시 prefill하는 순간입니다.
중복이 성능을 훔친다: 2026년식 학습 데이터 큐레이션 Dedup + Dataset Quality 전처리 실전 설계
· AI / Data
2026년 8월 기준으로 “학습 데이터 큐레이션”에서 가장 흔하게 성능을 갉아먹는 요인은 모델/하이퍼파라미터가 아니라 데이터 중복(duplicate/near-duplicate)과 품질 편차입니다.
IDE가 “자동완성”을 넘어 “에이전트 OS”로 변한 한 달
· News / AI
2026년 8월은 AI 개발자 도구가 IDE/CLI 안에서 ‘대화’하는 수준을 넘어, 장시간 실행되는 ‘agentic workflow’를 관리하는 방향으로 급가속한 달이었습니다.
Agentic RAG로 “스스로 찾고, 평가하고, 다시 찾는” 자율 정보검색 에이전트 만들기
· AI / Agent
Naive RAG(질문 → retrieval 1회 → 답변)는 질문이 모호하거나(“성능이 왜 느려?”), 다단계 원인 추적이 필요하거나(장애 분석), 문서가 방대하고 중복이 많은(사내 위키/코드베이스) 상황에서 쉽게 무너집니다.
MMLU·HumanEval 점수, 이제 그대로 믿으면 안 된다: LLM 벤치마크 해석 실전 가이드
· AI / LLM
LLM 성능을 “수치로” 비교해야 하는 순간이 있습니다. 모델 교체(비용/지연), fine-tuning 효과 검증, 릴리즈 회귀(regression) 탐지, 고객사 PoC 등.