Haofei Yu·Yixing Chen 등 연구진이 2026년 10월 14일 언어 에이전트의 강화학습에 다단계 행동 예측을 결합한 CoPE 논문을 arXiv에 처음 제출했다. 핵심 변화는 GRPO 학습에 성공한 실행 경로의 이후 행동들을 예측하는 보조 학습을 추가한 것이다. 현재 행동을 생성하는 모델이 앞으로 이어질 행동도 학습하도록 해 에이전트의 과제 수행 능력과 학습 효율을 개선하려는 접근이다.
연구진은 ALFWorld·ScienceWorld·WebShop·τ²-bench·AppWorld에서 이 방법을 평가했다. 에이전트 학습 방법을 설계하는 연구자와 개발자에게 주목할 부분은 행동 실행과 예측이 하나의 정책 모델을 공유한다는 점이다. 연구진에 따르면 추론 때는 기존처럼 한 번에 한 행동만 생성하므로, 별도의 예측 모델이나 추가 예측 실행이 필요하지 않다. 다만 평가 결과에는 성능이 오른 과제와 하락한 영역이 함께 나타났다.
Reported Results
AppWorld의 연구진 통제 실험에서 CoPE의 성공률은 GRPO보다 높았다. 일반 분할에서는 41.67%에서 55.36%로, 도전 분할에서는 18.71%에서 22.54%로 상승했다. 주 실험에는 Qwen2.5-7B-Instruct를 사용했고, AppWorld에는 Qwen2.5-14B-Instruct를 사용했다.
모든 영역에서 개선이 나타난 것은 아니다. τ²-bench 전체 성공률은 27.5%에서 28.7%로 높아졌지만, 항공 영역에서는 26.2%에서 16.2%로 낮아졌다. 따라서 전체 점수의 상승만으로 세부 영역에서도 같은 효과가 있다고 해석하기는 어렵다. AppWorld의 결과와 τ²-bench의 결과 역시 각각의 평가 조건 안에서 살펴볼 필요가 있다.
Forecasting Objective
CoPE가 추가하는 것은 여러 단계에 걸친 행동 예측 손실이다. 여기서 손실은 모델의 예측이 학습 대상과 얼마나 다른지를 나타내는 값이다. 연구진은 현재 정책으로 얻은 성공적인 실행 경로를 이용해, 각 시점의 이력에서 그 뒤에 이어지는 행동들을 예측하도록 모델을 학습했다.
이때 예측 대상 행동들 사이에 들어오는 환경 관측은 예측 입력에서 제외한다. 이후 행동을 학습할 때 중간 관측을 함께 제공하지 않는 구성이 방법의 구체적인 특징이다. 단순히 GRPO 학습을 반복하는 대신, 성공 경로에 담긴 행동의 연속성을 별도의 학습 신호로 활용한다.
이 보조 목표가 사용하는 자료는 성공한 경로라는 점도 중요하다. 연구진은 성공 경로만 모방하는 보조 손실 때문에 쉬운 과제에서 나온 행동으로 학습이 치우칠 수 있다고 분석했다. 이는 일부 영역의 성능 하락을 설명하기 위해 제시한 가능성이다.
Shared Policy
CoPE에서는 행동을 실행하는 모델과 이후 행동을 예측하는 모델이 분리돼 있지 않다. 하나의 정책 모델이 두 역할을 함께 학습한다. 기존 GRPO를 기준으로 보면, 학습 과정에는 예측 목표가 추가되지만 실제 과제를 수행할 때의 행동 생성 방식은 한 번에 한 행동을 내놓는 형태로 유지된다.
따라서 이 논문의 다단계 예측을 추론 중 여러 행동을 미리 생성해 한꺼번에 실행하는 방식으로 이해해서는 안 된다. 연구진이 설명한 변화의 중심은 학습 목표에 있다. 미래 행동을 예측하는 훈련을 추가하되, 실제 추론에는 별도 예측 실행을 요구하지 않는 구조다.
Efficiency and Limits
ScienceWorld에서는 GRPO 대비 최대 2배의 샘플 효율을 보고했다. 시간 비용은 항목을 나눠 읽어야 한다. 보조 학습 패스는 평균 11%의 단계별 시간 비용을 추가했지만, 짧아진 실행 경로까지 포함한 전체 학습 단계 시간은 9% 감소했다. 이 결과를 모든 환경의 전체 학습 시간이 같은 비율로 줄었다는 뜻으로 확대할 수는 없다.
성공 경로 중심 학습의 편향 가능성은 후속 검증에서 살펴볼 지점이다. τ²-bench의 항공 영역 하락은 전체 평균과 세부 과제의 결과가 다를 수 있음을 보여준다. 연구진이 제시한 설명을 검토하려면 성공 경로의 구성과 영역별 성능을 함께 확인할 필요가 있다.
CoPE의 기술적 기여는 다단계 행동 예측을 기존 강화학습에 결합하면서 추론 시 추가 예측 실행을 요구하지 않는다는 데 있다. 논문이 보고한 성능과 효율 개선은 그 가능성을 보여주지만, 적용 여부를 판단할 때는 평가 환경, 사용 모델, 영역별 하락 결과까지 함께 고려해야 한다.