NVIDIA는 2026년 10월 15일 텍스트·이미지·동영상을 입력받는 Nemotron 3.5 Super VL의 BF16 및 NVFP4 가중치를 공개했다. 기술적 핵심은 여러 미래 토큰을 제안하고 검증하는 MTP 추측 디코딩과, 양자화한 모델이 BF16 모델의 출력을 따르도록 학습하는 양자화 인지 증류다. 멀티모달 모델을 배포하려는 개발자가 응답 생성 방식과 정밀도에 따른 차이를 검토할 수 있는 공개다.
두 버전은 같은 모델 계열이지만 수치 정밀도와 구성요소별 처리 방식에 차이가 있다. NVIDIA가 공개한 비교에서는 NVFP4의 점수가 BF16보다 높은 평가와 낮은 평가가 함께 나왔다. 따라서 이번 기술을 살필 때는 최대 문맥 길이나 전체 매개변수 수뿐 아니라, 추측 디코딩의 학습 방식과 양자화 이후의 평가 변화를 함께 확인해야 한다.
Model Design
Nemotron 3.5 Super VL은 Mamba-2·어텐션·MoE 계층에 C-RADIO 시각 인코더와 연결기를 결합한 모델이다. 전체 매개변수는 1,200억 개이며 활성 매개변수는 120억 개다. 시각 인코더와 연결기는 이미지·동영상 정보를 언어 모델에 전달하는 구성요소다.
공개된 가중치는 BF16과 NVFP4 두 종류다. 특히 NVFP4 버전의 이름을 모델 전체가 4비트로 동작한다는 뜻으로 받아들여서는 안 된다. 모델 카드는 낮은 정밀도를 적용한 부분과 기존 정밀도를 유지한 부분을 구분해 설명한다.
Speculative Decoding
내장된 MTP 헤드는 뒤에 이어질 여러 토큰, 즉 모델이 처리하는 텍스트 단위를 미리 제안한다. 본체는 이 제안을 검증한다. 이는 다음 내용을 미리 제안하고 검증하는 추측 디코딩 방식이다.
NVIDIA는 후학습을 마친 본체를 고정한 상태에서 MTP 헤드를 추가로 학습했다. 제안한 토큰을 본체가 받아들이는 비율인 수락률을 높이기 위한 단계다. 공개된 근거로 확인되는 변화는 이 학습 절차이며, 이를 모든 배포 환경에서 일정한 속도 향상을 보장하는 수치로 해석할 수는 없다.
Training Background
모델은 Nemotron 3 Ultra에서 증류했다. 증류는 교사 모델의 출력을 학습에 활용하는 방식이다. 후학습에는 텍스트와 시각 분야의 전문 교사들이 모델의 생성 응답을 평가하는 다중 교사 온폴리시 증류를 사용했다.
이 과정과 NVFP4의 양자화 인지 증류는 구분할 필요가 있다. 전자는 여러 교사를 활용한 후학습 방식이고, 후자는 양자화한 모델이 BF16 모델의 출력을 따라가도록 학습하는 절차다. 각각의 설명을 나눠 읽어야 모델의 학습 과정과 정밀도 축소 과정을 혼동하지 않을 수 있다.
Quantization Results
NVFP4 버전에서도 시각 인코더·연결기·Mamba 합성곱·임베딩은 BF16을 유지한다. MoE 라우터는 FP32를 사용한다. 정밀도 축소를 적용하면서도 일부 구성요소에는 더 높은 정밀도를 남겨 둔 구성이다.
NVIDIA가 모델 외 평가 설정을 고정한 비교에서 GPQA-Diamond 점수는 BF16이 89.52, NVFP4가 89.90이었다. 반면 MMLU-ProX는 BF16의 76.91에서 NVFP4의 73.76으로 낮아졌다. 이 결과는 양자화의 영향이 평가 항목마다 다름을 보여준다. 한 평가의 점수가 유지되거나 높아졌다는 이유만으로 다른 과제에서도 같은 결과를 기대하기는 어렵다.
Deployment Considerations
지원 문맥은 최대 100만 토큰이다. 이 한도는 입력 텍스트만을 위한 공간이 아니다. 시각 정보, 대화 이력, 도구 결과, 생성 응답이 함께 사용한다. 실제 배포에서는 GPU 메모리와 동시 처리량에 따라 더 작은 문맥을 사용할 수 있다.
배포를 검토하는 개발자에게는 사용하려는 과제에서 BF16과 NVFP4의 결과를 비교하고, 필요한 문맥 길이를 함께 확인하는 작업이 중요하다. 공개된 평가가 보여주는 것은 특정 조건에서의 차이다. MTP 학습 절차, 구성요소별 정밀도, 평가별 점수 변화가 이번 공개를 판단할 구체적인 기준이다.