Manya Wadhwa 등 연구진이 여러 과학 아이디어의 품질과 다양성을 함께 보상하는 언어모델 학습법을 제안했다. 연구진은 2026년 10월 15일 논문을 처음 제출했으며, arXiv 등록 기록에는 심사 중인 연구로 표시돼 있다. 핵심 변화는 문서에서 아이디어를 생성할 때 개별 제안의 품질뿐 아니라 함께 생성한 아이디어 사이의 차이까지 반영해 집합 단위로 보상을 계산한다는 점이다.
주 실험에서는 Qwen3-8B가 한 응답에 아이디어 세 개를 만들도록 학습했다. 연구진의 평가에서 품질과 다양성을 결합한 점수가 높아졌고, 사고 과정 학습 여부에 따라 입력 문서에 의존하는 정도도 달라졌다. 과학 연구용 언어모델을 개발하거나 평가하는 독자에게는 여러 제안의 차별성과 문서 의존도를 구분해 살펴볼 수 있는 실험 결과다.
Research Scope
이번 연구는 주어진 문서를 바탕으로 여러 과학 아이디어를 제안하는 작업을 다룬다. 학습에는 영어 자연어처리 논문을 사용했다. 생성 과정에서는 검색을 추가하지 않고 입력 문서와 모델 내부 지식을 이용한다. 따라서 외부 자료를 검색해 근거를 보강하는 시스템까지 검증한 결과는 아니다.
평가는 학습 범위보다 넓게 진행됐다. 연구진은 16개 분야에 걸친 1,740개 사례를 평가했으며, 논문 부록에는 분야별 결과도 제시했다. 학습 자료가 자연어처리 논문이라는 점과 평가가 여러 분야에 걸쳐 있다는 점을 구분해서 읽어야 한다.
Set-Level Rewards
제안 방법은 각 아이디어의 품질에 앞서 생성한 아이디어와의 거리를 반영해 보상을 계산한다. 여기서 거리는 아이디어 사이의 차이를 나타내는 기준이다. 연구진은 앞선 아이디어 중 가장 가까운 것과의 거리를 품질에 곱하고, 이를 합산해 아이디어 집합에 대한 보상을 구성했다.
이 설계는 개별적으로 좋은 제안을 만드는 목표에 제안들 사이의 차별성도 포함한다. 다만 서로 다른 아이디어를 생성했다는 사실만으로 각 제안의 사실적 정확성이나 실제 연구 가치까지 입증되는 것은 아니다. 학습에 사용한 보상과 결과 평가가 무엇을 측정하는지 함께 확인해야 한다.
Training and Results
연구진은 Qwen3-8B에 지도 미세조정을 적용한 뒤 GRPO 방식의 강화학습을 진행했다. 지도 미세조정은 예시를 통해 원하는 응답 방식을 익히는 단계이며, 이후 강화학습에서는 생성 결과에 부여한 보상을 학습에 반영한다. 사고 과정을 학습하는 변형과 학습하지 않는 변형을 비교했다.
품질과 다양성을 결합한 ‘Creative Utility’는 기본 모델에서 0.03, 사고 과정 없이 지도 미세조정한 모델에서 0.21이었다. 같은 조건에서 제안한 강화학습까지 적용한 모델은 0.64를 기록했다. 사고 과정을 학습한 제안 모델의 점수는 0.51이었다. 해당 평가 설정에서는 사고 과정을 학습하지 않은 변형의 결합 점수가 더 높았다.
입력 문서 의존도를 나타내는 ‘Grounding’은 사고 과정을 학습한 변형에서 0.81, 학습하지 않은 변형에서 0.61이었다. 논문 부록은 이 지표를 아이디어가 인용 문서에 의존하는 정도로 정의하며, 높은 값이 항상 더 좋지는 않다고 설명한다. 따라서 이를 사실적 정확성이나 근거의 충실도를 직접 나타내는 점수로 해석해서는 안 된다. Creative Utility와 Grounding은 모두 LLM 심사 모델을 이용해 평가했다.
Interpretation and Limits
사람의 판단을 확인한 결과도 있지만 규모는 작다. 전문가 네 명이 참여한 예비 평가에서는 제안 모델의 아이디어 집합이 Claude Opus 4.8과 비슷하게 유망하다고 평가됐다. 연구진은 이를 대규모 사람 평가로 제시하지 않았다. 이 결과만으로 두 모델의 전반적인 연구 능력이 같다고 결론 내릴 수는 없다.
이번 연구는 아이디어 집합의 다양성을 보상에 포함하는 구체적인 학습 방법과 평가 결과를 제시했다는 의미가 있다. 16개 분야의 평가 결과가 있지만, 그것만으로 언어와 과학 분야 전반에 대한 일반화가 확정되는 것은 아니다. 후속 검증에서는 더 넓은 사람 평가를 통해 제안의 유용성을 확인하고, 입력 문서에서 얼마나 벗어나거나 의존하는 것이 연구 목적에 적절한지도 살펴볼 필요가 있다.