| Daewook's Dev Log

토큰을 “덜 쓰고, 더 싸게” 쓰는 LLM Routing 설계 (비용 최적화 심층 가이드)

2026-04-19 · AI / LLM

이 글의 목표는 2026년 4월 시점 LLM API 운영에서 비용을 줄이는 2축을 실전 관점에서 정리하는 것입니다.

중복이 “학습 비용”을 태운다: 데이터 큐레이션 Dedup + Dataset Quality 전처리 실전 설계

2026-04-19 · AI / Data

LLM/검색/분류/랭킹 모델을 막론하고 학습 데이터의 중복(duplicate/near-duplicate) 은 생각보다 치명적입니다. 첫째, 학습 비용을 그대로 증폭시킵니다(같은 정보를 여러 번 학습).

AI PR 봇이 “리뷰 + 테스트 생성 + CI 검증”까지 끝내는 시대: 무엇을 자동화하고, 어디서 멈춰야 하나

2026-04-18 · AI / Coding

2026년 4월 기준, 많은 팀이 겪는 병목은 명확합니다: PR 리뷰 대기열이 길어지고, 테스트는 늘 부족하며, 리팩터링 PR은 “안전하다는 확신”을 주기 어렵다는 것. 이 틈을 AI 기반 PR bot(자동 리뷰어/테스트 생성기)가 메우고 있습니다.

LLM 백엔드 “Queued Forever”를 끝내는 법: Celery + Redis 비동기 워커 아키텍처 심층 분석

2026-04-18 · Backend / Architecture

LLM 기반 기능(요약/분류/리랭킹/에이전트 실행/대량 평가)은 대체로 요청 시간 변동이 크고(수 초~수 분), 외부 의존(OpenAI/사내 vLLM/DB/벡터DB)과 rate limit의 영향을 강하게 받습니다. 이걸 동기 HTTP로 처리하면 곧바로 다음 문제가 터집니다:

AI Agent의 “Tool Use + Function Calling” 구현 패턴: 신뢰성/보안/확장성까지 한 번에 잡는 법

2026-04-17 · AI / Agent

2026년 들어 “에이전트가 일을 끝낸다”는 말은 더 이상 데모용 슬로건이 아닙니다. 실제 프로덕션에서는 (1) 도구 호출이 흔들리지 않아야 하고, (2) 장기 실행·병렬 처리·격리 실행이 가능해야 하며, (3) Prompt Injection과 과도한 권한 문제를 제어해야 합니다.

AI 규제, ‘강화’만 있는 게 아니다: 각국 정책·윤리 이슈 총정리

2026-04-17 · News / AI

2026년 4월의 AI 규제 뉴스는 한 방향(강화)으로만 수렴하지 않았습니다. EU는 AI Act 시행을 “단순화/지연”하는 Omnibus 논의를 진전시키는 한편, 미국은 연방 차원의 “주(州) 규제 선점(preemption)”을 전면에 내세우고, 중국은 ‘digital human(디지…

LLM 서빙 3대장(vLLM·TGI·Ollama) 2026년 4월 배포 가이드: 로컬/서버/쿠버네티스 최적화까지

2026-04-16 · AI / MLOps

2026년 기준 LLM은 “학습”보다 “서빙(inference)”이 비용과 안정성을 좌우합니다. 같은 모델이라도 KV cache 메모리 관리, continuous batching, prefill/decode 스케줄링에 따라 GPU 한 장에서 처리 가능한 동시 요청 수와 p95 laten…