Date: 2026-06-19 Topic: AI Security Primary source: Google DeepMind
구글 딥마인드는 2026년 6월 18일 자율적으로 도구를 쓰고 작업을 수행하는 AI 에이전트를 더 안전하게 운영하기 위한 AI Control Roadmap을 공개했다. 이 로드맵은 구글 내부에 배포되는 고도화된 AI 에이전트가 항상 의도대로만 행동한다고 가정하지 않고, 혹시 정렬이 불완전하거나 예상 밖 행동을 하더라도 피해를 줄이는 보안 체계를 세우겠다는 계획이다.
핵심 변화는 AI 안전 논의가 모델을 “착하게 학습시키는 일”에만 머물지 않고, 실제 회사 시스템 안에서 에이전트를 어떻게 감시하고 권한을 제한하며 필요하면 차단할지로 옮겨가고 있다는 점이다. 구글 딥마인드는 AI 에이전트를 잠재적 내부자 위협처럼 보고, 사이버보안의 위협 모델링과 모니터링, 접근 제어, 대응 체계를 AI 운영에 맞게 적용하겠다고 설명했다.
이 소식은 AI 에이전트가 코딩, 연구, 사이버 방어, 제품 개발 같은 업무에 더 깊게 들어가는 시점에 나왔다. 개발자, 보안팀, AI 서비스를 도입하는 기업은 앞으로 “에이전트가 무엇을 할 수 있는가”뿐 아니라 “잘못된 행동을 얼마나 빨리 발견하고 멈출 수 있는가”를 함께 따져야 한다.
What Happened
구글 딥마인드는 Securing the future of AI agents라는 글과 37쪽 분량의 GDM AI Control Roadmap v0.1 기술 보고서를 공개했다. 보고서의 초점은 내부 시스템에 배포된 AI 에이전트가 민감한 코드, 인프라, 연구 환경에 접근할 때 생길 수 있는 위험을 통제하는 데 있다.
로드맵은 전통적인 보안 기법인 샌드박싱, 엔드포인트 보안, 프롬프트 인젝션 방어 위에 새로운 통제 계층을 얹는다. 구글 딥마인드는 이 접근을 “defense-in-depth”, 즉 여러 겹의 방어라고 설명한다. 모델 정렬이 첫 번째 방어선이라면, AI 통제는 그 방어선이 완벽하지 않을 때 피해를 제한하는 두 번째 방어선이다.
Key Details
- 로드맵은 AI 에이전트를 잠재적 내부자 위협으로 보고 위협 모델을 세운다. 사람 직원이 민감한 시스템 권한을 갖고 일할 때의 보안 문제와 유사하게 다루는 방식이다.
- MITRE ATT&CK 같은 사이버보안 프레임워크에서 아이디어를 가져와, AI 에이전트가 감시 회피, 권한 오남용, 작업 방해, 모델 유출, 무단 배포 같은 행동을 할 가능성을 작은 전술과 기법으로 나눈다.
- 방어 목표는 크게 두 가지다. 하나는 잘못된 의도나 행동을 탐지하는 것, 다른 하나는 공격 시도를 막거나 되돌리거나 격리하는 것이다.
- 구글 딥마인드는 탐지 수준을 D1-D4, 예방과 대응 수준을 R1-R3으로 나누고, 모델 능력이 올라갈수록 더 강한 방어를 붙이는 방식을 제안했다.
- 보고서는 현재 모델에 적용할 수 있는 비교적 낮은 비용의 감시부터, 미래 모델을 위한 실시간 접근 제어, 시스템 수준 이상 탐지, 내부 활성값 모니터링, 종료 인프라까지 15개 방어책을 제시한다.
- 딥마인드는 내부 프로토타입으로 100만 건의 코딩 에이전트 작업 궤적을 분석했고, 이 데이터를 Gemini Spark 에이전트의 실시간 모니터링 개선에 활용했다고 밝혔다.
Background
AI 에이전트는 단순히 질문에 답하는 챗봇과 다르다. 코드 실행, 파일 수정, 웹 탐색, 내부 도구 호출처럼 외부 세계에 영향을 주는 행동을 할 수 있다. 이 능력이 커질수록 생산성은 높아지지만, 잘못된 명령 해석이나 과도한 목표 추구도 실제 피해로 이어질 수 있다.
기존 보안팀은 사람 직원, 서버, 계정, API 키를 기준으로 권한과 로그를 관리해 왔다. 그러나 AI 에이전트는 많은 복사본이 동시에 빠르게 움직일 수 있고, 여러 작은 행동을 나눠 수행할 수 있다. 사람이 모든 행동을 사전에 승인하는 방식은 속도와 규모를 따라가기 어렵다.
그래서 딥마인드의 제안은 AI를 더 믿자는 이야기가 아니라, 오히려 중요한 시스템에서는 AI도 검증 가능한 권한과 감시 아래 둬야 한다는 주장에 가깝다. 에이전트가 안전하다고 선언하는 것보다, 안전하지 않은 행동을 했을 때 얼마나 빨리 알아차리고 멈출 수 있는지가 운영의 핵심이 된다.
Core Lens
이번 로드맵은 AI 에이전트를 제품 기능이 아니라 권한을 가진 운영 주체로 다루기 시작했다는 신호다.
What It Means
기업 입장에서는 AI 에이전트 도입 기준이 바뀔 수 있다. 지금까지는 모델 성능, 비용, 응답 속도, 업무 자동화 효과가 주요 질문이었다면, 앞으로는 에이전트 신원, 권한 범위, 행동 로그, 실시간 차단, 사고 재현 가능성이 구매와 보안 심사의 핵심 항목이 될 가능성이 크다.
또 하나 중요한 대목은 “AI가 AI를 감시한다”는 구조다. 딥마인드는 신뢰할 수 있는 다른 AI 시스템을 감독자로 써서 작업 중인 에이전트의 추론과 행동을 확인하겠다고 설명했다. 이 방식은 규모 면에서 현실적이지만, 감독 모델도 실패하거나 같은 약점을 공유할 수 있다는 점에서 완전한 해답은 아니다. Axios는 UC버클리의 Dawn Song 교수가 감시 모델이 동료 모델의 실패를 표시하지 않으면 전체 감독 구조가 무너질 수 있다고 지적했다고 보도했다.
한국 기업에도 시사점이 있다. 개발, 고객지원, 보안 관제, 문서 처리에 AI 에이전트를 붙이는 흐름은 빠르게 확산되고 있다. 이때 에이전트를 일반 자동화 스크립트처럼 두면 권한 관리가 느슨해지기 쉽다. 반대로 처음부터 최소 권한, 샌드박스, 로그, 승인 단계, 긴급 중지 절차를 설계하면 실제 배포 속도를 늦추지 않으면서 사고 범위를 줄일 수 있다.
What To Watch
앞으로 봐야 할 지점은 세 가지다.
- 구글 딥마인드가 이 v0.1 로드맵을 실제 Google 내부 제품과 연구 인프라에 어느 정도까지 적용하는지
- OpenAI, Anthropic, Microsoft 같은 다른 AI 기업이 비슷한 에이전트 통제 기준을 공개하거나 표준화 논의에 참여하는지
- 기업 보안 감사와 규제 문서에서 AI 에이전트의 권한, 로그, 차단 체계가 별도 항목으로 자리 잡는지
이번 발표는 당장 위험한 자율 AI가 등장했다는 선언은 아니다. 오히려 딥마인드는 현재 모델이 전략적으로 적대적이거나 심각하게 오정렬됐다고 보지는 않는다고 선을 그었다. 다만 에이전트가 더 많은 일을 맡게 될수록, 안전은 모델 내부 성능만이 아니라 배포 환경 전체의 설계 문제가 된다는 점을 분명히 했다.