vLLM 개발팀은 2026년 10월 18일 추론 엔진 vLLM 0.32.0을 배포했다. 이번 버전은 GLM 계열의 GlmMoeDsaForCausalLM을 NVIDIA SM100에서 실행하고 KV 캐시 형식을 자동으로 선택하도록 설정한 경우, FP8을 기본값으로 사용한다. 해당 구성으로 모델을 운영하는 이용자는 업그레이드 후 자동 설정이 선택하는 캐시 형식의 변화를 확인할 필요가 있다.
릴리스에 연결된 GLM-5.3 성능 측정에서는 처리량과 메모리 사용량이 개선됐지만, 첫 응답을 기다리는 시간도 길어졌다. 처리량 중앙값은 동시성에 따라 2.3~5.5% 증가했고 첫 토큰까지의 시간 중앙값은 6.9~11.1% 늘었다. 이 결과는 특정 실행 조건에서 얻은 수치로, 처리량과 초기 응답 속도를 함께 살펴야 한다는 점을 보여준다.
Release Scope
FP8 기본 선택은 모델 종류, 하드웨어, 설정이 모두 맞을 때 적용된다. 대상은 GlmMoeDsaForCausalLM이며, 하드웨어는 NVIDIA SM100, 설정은 --kv-cache-dtype auto다. 후속 수정은 이 기본값을 SM100으로 제한했으며 다른 플랫폼에는 적용하지 않는다.
따라서 이번 변경을 GLM 전체나 vLLM의 모든 실행 환경에 적용되는 기본값 변경으로 해석해서는 안 된다. 운영 환경에서 의미가 있는 변화인지는 실제 모델 클래스와 하드웨어, 캐시 설정을 함께 확인해야 판단할 수 있다.
0.32.0에는 큰 멀티모달 텐서를 한 번 복사한 뒤 작업자들에게 전달하는 공유 메모리 텐서 arena를 기본 활성화하는 변경도 포함됐다. 이 변경은 GLM의 FP8 KV 캐시 기본값 조정과는 별도의 항목이다.
Measured Results
연결된 변경 제안은 GLM-5.3에서 동시성 1·4·16을 사용한 측정 결과를 제시했다. 처리량 중앙값의 증가 폭은 2.3~5.5%였고, 첫 토큰까지 걸리는 시간 중앙값의 증가 폭은 6.9~11.1%였다. 처리량은 늘었지만 사용자가 응답의 시작을 기다리는 시간 역시 늘어난 셈이다.
메모리 감소도 보고됐다. 458,880토큰 예산 사례에서 GPU 랭크별 KV 캐시 메모리는 40.13GiB에서 20.69GiB로 줄었다. 이 수치는 해당 사례의 KV 캐시 메모리를 가리킨다. 모델 실행에 필요한 전체 GPU 메모리가 같은 비율로 줄었다는 의미로 확대할 근거는 제시된 사실에 없다.
Configuration and Validation
성능 측정은 텐서 병렬도 4와 MTP 추측 디코딩을 사용했다. 합성 입력은 8,000토큰, 출력은 1,000토큰이었다. 입력과 출력 길이, 동시성, 실행 구성이 정해진 실험이므로 수치를 다른 모델이나 하드웨어에 그대로 적용할 수는 없다.
캐시 형식의 기본 선택과 추측 디코딩 설정 사이에도 구분이 있다. 별도 초안 모델은 명시적인 추측 디코딩 캐시 설정이 없으면 auto를 유지한다. 반면 MTP는 대상 모델의 캐시 형식을 따른다. 같은 추측 디코딩이라는 표현을 쓰더라도 어떤 구성을 사용하는지 확인해야 한다.
적용 범위를 제한한 후속 변경에는 검증 한계도 명시됐다. FP8 대상 모델과 BF16 별도 초안 모델을 조합한 종단간 실행은 수행하지 않았다. 따라서 이 조합의 전체 동작까지 검증됐다고 볼 수 없다.
Operational Implications
측정 결과를 운영에 적용할 때는 처리량과 첫 토큰 지연을 각각 비교할 필요가 있다. 보고된 구성에서는 두 지표가 함께 증가했으므로, 처리량 개선만으로 응답 경험까지 좋아졌다고 판단하기 어렵다. 첫 응답 속도를 중시하는 서비스라면 지연 증가가 허용 범위에 드는지가 별도의 판단 기준이 된다.
메모리 감소 역시 실제 운영 조건에서 확인할 항목이다. 이번 자료가 뒷받침하는 것은 특정 토큰 예산과 구성에서의 KV 캐시 메모리 감소다. 이를 동시 요청 수 확대나 다른 환경의 성능 향상으로 곧바로 연결할 수는 없다. 업그레이드 평가에서는 실제 입력·출력 길이와 동시성을 반영해 처리량, 첫 토큰 지연, 메모리 사용량을 함께 비교하는 접근이 타당하다.