LLM 서빙의 성능은 요청과 메모리를 다루는 방식에서 갈린다
KV 캐시, 요청 스케줄링, speculative decoding과 GPU 커널이 LLM 서빙의 지연과 처리량에 미치는 영향을 설명한다.
기록
KV 캐시, 요청 스케줄링, speculative decoding과 GPU 커널이 LLM 서빙의 지연과 처리량에 미치는 영향을 설명한다.
TTFT와 TPOT, Goodput, KV 크기, PagedAttention, 접두부 재사용, CUDA Graph와 분리 서빙의 구조와 성능 해석 기준.
TTS 지연을 줄인 자체 엔진에서 KV 라우팅, 과부하 제어, 커널 패치와 배포 자동화까지. 토스의 AI 서빙이 서비스 응답 시간을 지키는 구조를 살펴본다.