Date: 2026-06-07 Topic: AI Primary source: Anthropic
Anthropic이 2026년 6월 4일(현지시간) When AI builds itself라는 글을 공개하고, 고성능 AI 개발을 늦추거나 일시적으로 멈출 수 있는 국제적 조율 장치가 필요하다고 제안했다. 회사는 Claude가 이미 Anthropic 내부의 AI 개발 속도를 크게 높이고 있으며, 충분한 컴퓨팅 자원이 주어지면 AI가 다음 세대 AI를 설계·개발하는 단계가 예상보다 빨리 올 수 있다고 봤다.
다만 Anthropic의 주장은 “지금 당장 혼자 멈추겠다”는 선언이 아니다. 핵심은 여러 프런티어 AI 연구소와 정부, 연구자, 시민사회가 함께 검증 가능한 정지 조건을 만들자는 것이다. AP는 이 제안이 OpenAI의 입장과도 대비된다고 전했다. OpenAI는 같은 주 공개한 정책 청사진에서 민간 기업이 아니라 민주적 정부가 AI 안전 규칙과 책임 구조를 정해야 한다고 주장했다.
What Happened
Anthropic Institute의 Marina Favaro와 Anthropic 공동창업자 Jack Clark는 AI가 AI 개발 과정에 더 깊이 들어오고 있다는 내부 데이터와 공개 벤치마크를 근거로 글을 냈다. 글의 중심 개념은 recursive self-improvement, 즉 AI 시스템이 스스로 후속 AI 시스템을 설계하고 개선하는 상태다.
Anthropic은 아직 그 단계에 도달하지 않았고, 반드시 그렇게 된다고 단정하지도 않았다. 하지만 회사는 현 추세가 이어진다면 지금의 제도와 안전 연구가 따라가기 어려운 속도로 개발이 빨라질 수 있다고 설명했다.
Key Details
- Anthropic은 자사 엔지니어들이 2021~2025년보다 분기당 평균 8배 많은 코드를 출하하고 있다고 밝혔다.
- 2026년 5월 기준 Anthropic의 프로덕션 코드베이스에 병합된 코드 중 Claude가 작성한 것으로 확인되는 비중은 80%를 넘는다고 설명했다.
- 가장 개방적인 코딩 과제에서 Claude의 성공률은 2026년 5월 76%에 이르렀고, 6개월 전보다 50%포인트 올랐다고 밝혔다.
- Anthropic은 단일 회사가 혼자 멈추는 방식은 선두 주자만 바꿀 뿐 전체 위험을 낮추기 어렵다고 봤다.
- 그래서 여러 국가의 주요 AI 연구소가 같은 조건으로 멈추고, 누구도 몰래 앞서 나가지 않았는지 확인할 수 있는 구조가 필요하다고 주장했다.
Background
프런티어 AI 경쟁에서 속도는 단순한 제품 출시 문제가 아니다. 더 좋은 모델은 코딩, 실험 설계, 보안 취약점 탐색, 연구 보조를 더 잘 수행하고, 이런 능력은 다시 다음 모델 개발을 빠르게 만든다. Anthropic이 우려하는 지점은 바로 이 피드백 고리다.
지금까지는 사람이 연구 방향을 정하고, AI가 구현과 실험을 돕는 구조에 가깝다. 하지만 구현과 실험의 비용이 계속 낮아지면 사람의 역할은 문제 선택, 결과 검증, 위험 판단으로 좁아질 수 있다. 이 변화는 생산성 향상으로도 읽히지만, 안전 검증과 사회적 합의가 개발 속도를 따라가지 못하는 상황으로도 이어질 수 있다.
Core Lens
이번 제안은 AI 개발을 즉시 멈추자는 구호라기보다, “멈춰야 할 때 실제로 멈출 수 있는 제도와 검증 방법이 있는가”라는 질문에 가깝다.
What It Means
이 뉴스에서 중요한 점은 Anthropic이 위험을 말하면서도 자기 회사만의 자율 규제만으로는 부족하다고 인정했다는 데 있다. 혼자 속도를 늦추면 경쟁사가 앞서갈 수 있고, 모두가 동시에 늦추자고 말해도 그 약속을 확인할 방법이 없으면 신뢰가 생기지 않는다.
OpenAI의 반응도 같은 문제를 다른 방향에서 보여준다. OpenAI는 미국 연방 차원의 평가 기관과 안전 프레임워크를 강화해야 한다고 제안했지만, 모델 배포를 정부가 직접 승인하거나 차단하는 방식에는 선을 그었다. 결국 논점은 “기업이 정할 것인가, 정부가 정할 것인가”만이 아니라, 정부와 기업이 어떤 정보를 공유하고 누가 최종 책임을 질 것인가로 옮겨가고 있다.
한국 기업과 개발자에게도 이 논의는 남의 일이 아니다. AI 에이전트를 업무 자동화, 보안 분석, 코드 작성에 쓰는 조직이 늘수록 내부 검토 체계가 병목이 된다. 모델 성능이 좋아질수록 “AI가 해냈다”보다 “누가 검토했고, 어떤 기준으로 멈췄는가”가 더 중요해진다.
What To Watch
앞으로 볼 지점은 세 가지다.
- Anthropic이 예고한 대화가 실제 정책 제안, 기술 검증 방법, 기업 간 합의안으로 이어지는지
- OpenAI가 제안한 미국 연방 AI 안전 프레임워크가 법안이나 행정 절차로 구체화되는지
- 주요 AI 연구소들이 모델 개발 속도, 컴퓨팅 사용량, 안전 평가 결과를 어느 수준까지 외부에 공개할지
이번 논쟁은 AI 안전 담론이 추상적인 위험 경고에서 운영 가능한 거버넌스 문제로 이동하고 있음을 보여준다. 프런티어 모델의 능력이 계속 올라간다면, 다음 질문은 “얼마나 강력한가”가 아니라 “강력해졌을 때 누가 속도를 조절할 수 있는가”가 될 가능성이 크다.