infra 12
- Modal vs Runpod vs AWS Lambda: “서버리스 LLM 배포”에서 cold start를 이기는 현실적인 설계
- GPU 오토스케일링으로 LLM 서빙 비용을 ‘진짜로’ 줄이는 법: Kubernetes 최신 패턴(DRA·KEDA·vLLM·llm-d)
- Modal·Runpod·AWS Lambda로 “서버리스 LLM”을 굴릴 때 cold start를 이기는 실전 설계
- 서버리스 LLM 배포: Modal vs Runpod vs AWS Lambda, 그리고 “cold start를 설계로 이기는” 방법
- Kubernetes에서 LLM 서빙을 “GPU 오토스케일”로 굴리는 현실적인 방법: KEDA + (Queue Depth / KV Cache) + DCGM/NVML
- 서버리스 LLM 배포의 현실: Modal·RunPod·AWS Lambda에서 cold start를 “구조적으로” 없애는 방법
- GPU가 병목인 LLM 서빙, Kubernetes에서 “제대로” 오토스케일링하는 법
- 서버리스 LLM 배포: Modal vs Runpod vs AWS Lambda, 그리고 Cold Start를 “설계로” 이기는 법
- GPU 오토스케일링 2026: Kubernetes에서 LLM 서빙을 “GPU 기준”으로 제대로 스케일하는 법 (HPA/KEDA/DCGM/DRA/MIG 실전 조합)
- GPU 오토스케일링, “정답”은 GPU%가 아니라 KV Cache·Queue·SLO다
- Kubernetes에서 LLM 서빙을 “GPU 기준”으로 오토스케일링하기: KServe(vLLM) + KEDA + DCGM, 그리고 노드까지 따라오는 설계
- AWS 비용 50% 절감한 방법 💰