AI가 실제로 행동하기 시작했다: Astra와 에이전트 통제의 새 기준

취약점을 직접 찾아 공격으로 잇는 Astra, 고객 소유 감시로그와 에이전트별 권한, 국내 데이터 경진대회와 2027년 AI 예산안을 함께 살펴보고 공공기관의 실행 통제 기준을 설명했다.

조회 1추천 0

오늘의 판

OpenAI가 차기 모델 Astra의 사이버보안 능력을 자사 안전체계에서 처음으로 ‘중대’ 단계로 분류했다. 이 말은 단순히 보안 질문을 잘 답한다는 뜻이 아니다. Astra는 알려진 취약점을 이용하는 공격 코드를 만들고, 시험 도중에는 제작자도 아직 모르던 취약점 두 개를 찾아 여러 단계를 거친 공격으로 연결했다.1 AI가 문서를 읽고 조언하는 도구에서 실제 시스템의 약점을 찾아 행동하는 도구로 넘어가고 있다는 뜻이다.

같은 날 Anthropic과 Microsoft는 이런 능력을 조직 안에서 어떻게 통제할지 각자의 답을 내놨다. Anthropic은 악용 감시에 필요한 활동기록을 AI 공급사 서버가 아니라 고객이 통제하는 클라우드에 두는 방식을 발표했다.2 Microsoft는 AI 에이전트마다 별도 신원과 도구 권한을 주고 행동을 계속 감시해야 한다고 설명했다.4 세 발표를 함께 보면 도입 심사의 질문도 달라진다. “이 모델의 답이 정확한가?”에 더해 “누구의 권한으로 어떤 행동을 할 수 있으며, 기록은 누가 보관하고 어디에서 멈출 수 있는가?”를 물어야 한다.

국내에서는 데이터·AI 경진대회를 하나로 묶은 통합공고가 나왔고, 2027년도 과학기술정보통신부 AI 예산안은 9조4천억 원으로 제시됐다.5 6 아직 둘 다 공고와 정부안 단계다. 사업이 실제 성과로 이어지려면 데이터 이용조건, 사람의 승인, 운영비와 사업 종료 뒤 책임까지 집행 설계에 들어가야 한다.

핵심 수치

숫자	무엇을 뜻하나	읽을 때 주의할 점
100%	Astra가 ExploitBench에서 기록했다고 OpenAI가 밝힌 점수	공개 벤치마크의 특정 과제를 푼 결과이지 모든 실제 시스템을 공격할 수 있다는 뜻은 아니다.
2개	Astra가 내부 평가에서 찾아 공격 과정에 쓴 제로데이 취약점	OpenAI가 제작자에게 알리는 절차를 진행 중이며, 독립 재현 결과는 아직 없다.
100곳 이상	Anthropic의 새 보호기능 설계에 참여한 고객 수	참여 규모는 제품의 실제 탐지율이나 오탐률을 증명하지 않는다.
18개 대학·6개 대륙	Microsoft 외부 공격시험 연합의 범위	협력 범위이며 통제 효과를 측정한 성과지표는 아니다.
11개 구역	데이터+AI 혁신 챌린지에서 미개방데이터를 분석할 수 있는 데이터안심구역	분석 결과를 밖으로 가져가려면 별도 반출심사가 필요할 수 있다.
9조4천억 원	2027년도 과기정통부 예산안 가운데 AI 분야 금액	국회 심의 전 정부안이라 최종 금액과 세부 사업조건은 바뀔 수 있다.

산업·기술 이슈: AI가 취약점을 직접 찾는 단계

OpenAI는 Astra를 자사 Preparedness Framework의 사이버보안 분야에서 ‘Critical capability’, 즉 중대 역량 기준을 충족한 첫 모델로 분류했다. 이 안전체계는 모델이 어느 정도 위험한 일을 수행할 수 있는지를 단계별로 나누고, 능력이 높아질수록 더 강한 배포 제한을 붙이는 기준이다.1

Astra는 이미 알려진 취약점을 이용해 공격 코드를 만드는 ExploitBench에서 100%를 기록했다. OpenAI가 최근 공개된 고위험 V8 취약점 20개로 만든 내부 시험에서는 GPT-5.6 Sol보다 적은 출력량으로 임의 코드 실행에 더 자주 성공했다. V8은 Chrome 같은 브라우저와 여러 프로그램에서 자바스크립트를 실행하는 핵심 엔진이다. 취약점 하나가 널리 쓰이는 소프트웨어에 영향을 줄 수 있어 공격과 방어 양쪽에서 중요한 표적이 된다.

더 눈여겨볼 대목은 Astra가 평가 도중 제로데이 취약점 두 개를 발견해 공격 과정에 이용했다는 사실이다. 제로데이는 제작자가 아직 알지 못해 고칠 시간이 ‘0일’인 새 보안 허점을 가리킨다. OpenAI는 두 취약점을 관리 주체에 알리는 절차를 진행 중이라고 밝혔다. 다만 이 결과는 OpenAI가 설계한 평가에서 나온 회사 발표다. 전체 시스템 카드와 외부 연구자의 재현 결과가 공개되기 전까지는 실제 환경의 성능 범위를 확정할 수 없다.

OpenAI는 일부 개발과 출시를 늦췄다가 보안통제를 강화한 뒤 8월 28일 대규모 강화학습을 다시 시작했다고 설명했다. 출시는 고급 사이버 기능을 소수의 검증된 이용자에게 먼저 제공하는 방식이 될 전망이다. 기관에서 이런 모델을 다룬다면 일반 문서요약 계정과 보안시험 계정을 분리하고, 외부망과 단절된 시험공간, 실행 전 사람 승인, 명령·파일·네트워크 행동기록, 즉시 중단 조건을 한 세트로 운영해야 한다.

용어 설명 — 강화학습: AI가 여러 행동을 시도하고 평가점수에 따라 더 나은 행동을 익히는 학습 방식이다.

산업·기술 이슈: 기록을 안 남기는 것과 위험을 찾는 것 사이

Anthropic이 발표한 Enterprise Frontier Safeguards는 서로 충돌하기 쉬운 두 요구를 함께 풀려는 시도다. 기업과 기관은 민감한 대화가 AI 공급사에 남지 않기를 원한다. 반면 공격자가 여러 계정을 옮겨 다니며 오랜 시간 위험한 질문을 이어가면 일정 기간의 기록 없이는 패턴을 찾기 어렵다.2

Anthropic의 해법은 공급사 쪽 대화 보관을 최소화하면서, 감시에 필요한 활동기록은 고객이 통제하는 AWS·Google Cloud·Microsoft Azure 환경에 두는 것이다. 고객이 암호화키와 접근권한을 관리하고, 자동 탐지가 위험 신호를 표시하면 고객 내부 담당자가 검토한다. Anthropic은 직원이 해당 기록을 직접 읽지 않아도 된다고 설명한다. 100곳이 넘는 규제산업 고객과 함께 설계했으며 2026년 가을부터 단계적으로 제공할 예정이다.

Anthropic Enterprise Frontier Safeguards 공식 발표 이미지 그림 1. Anthropic이 Enterprise Frontier Safeguards 발표에 사용한 공식 대표 이미지. 출처: Anthropic.2

용어 설명 — 제로 데이터 보존: AI 공급사가 요청과 응답 내용을 서비스 처리 뒤 장기간 저장하지 않는 운영 방식이다.

이 구조를 택해도 기관의 결정은 사라지지 않는다. 기록을 며칠 보관할지, 암호화키를 어느 부서가 관리할지, 누가 경고를 열람할지, 정상 업무가 위험으로 잘못 표시됐을 때 어떻게 해제할지 정해야 한다. Anthropic은 기능 자체의 별도 이용료는 받지 않겠다고 밝혔지만, 고객 클라우드의 저장·읽기·쓰기·데이터 반출 비용은 고객 부담이다. 공개된 발표에는 탐지율과 오탐률이 없어 실제 도입 전 별도 시험이 필요하다.

생활 속 AI: 접근성을 돕되 안전한 이동을 대신하지 않는다

Google은 9월 Android 기능 업데이트에서 Gemini가 태그를 붙이지 않은 여권이나 여분 열쇠의 위치를 Find Hub에 기억하도록 하는 기능을 예고했다. 이용자가 “여권을 서랍에 뒀어”라고 말하면 위치와 선택한 사진을 저장하고 나중에 찾아준다. Android 16 이상과 지원 국가라는 조건이 붙는다.3

더 중요한 변화는 Gemini Live의 Guided vision이다. 시각장애인과 저시력 이용자가 카메라로 주변을 비추면 AI가 장면을 음성으로 설명하고, 원하는 물건이 화면 밖에 있으면 카메라를 어느 방향으로 움직일지 안내한다. Google은 관련 이용자 공동체와 함께 설계했다고 밝혔다.

Google 2026년 9월 Android Drop 공식 이미지 그림 2. Google이 2026년 9월 Android 기능 업데이트를 소개하며 공개한 공식 이미지. 출처: Google.3

그러나 Google은 이 기능의 한계를 발표문에 함께 적었다. Guided vision은 실수할 수 있고 의료기기나 이동보조기, 안전한 길 안내를 대신하지 않는다. 내비게이션과 장애물 탐지에도 사용하면 안 된다. 이 경계는 공공 접근성 AI에도 그대로 적용할 수 있다. 서비스 화면에서 지원 기능만 강조하지 말고 금지 용도, 지원 기기와 지역, 오류가 났을 때 이용할 수 있는 사람 상담이나 기존 보조수단을 같은 수준으로 안내해야 한다.

공공 거버넌스 이슈: 에이전트마다 별도 신원과 권한

Microsoft는 세 번째 책임 있는 AI 투명성 보고서를 공개하며 기존 관리기준을 모델, 공용 플랫폼 서비스, 개별 응용프로그램의 세 층으로 다시 구성했다고 밝혔다.4 같은 모델을 쓰더라도 단순 검색도구와 급여정보를 읽는 인사도구, 외부 시스템에 요청을 보내는 에이전트는 위험이 다르기 때문이다.

보고서는 AI 에이전트가 기억을 남기고, 자료를 읽고, 도구를 이용해 사용자 대신 행동한다는 점에 주목한다. 그래서 에이전트마다 사람이 계정을 받듯 별도 신원을 주고, 사용할 수 있는 도구와 자료를 최소한으로 제한하며, 실행한 행동을 계속 감시해야 한다고 설명한다. Microsoft는 수천 명의 엔지니어와 제품 담당자가 에이전트 위협 분석과 프롬프트 인젝션 방어 교육을 받았다고 밝혔다.

Microsoft 2026 Responsible AI Transparency Report 공식 이미지 그림 3. Microsoft가 2026 Responsible AI Transparency Report 공개에 사용한 공식 이미지. 출처: Microsoft.4

용어 설명 — 프롬프트 인젝션: 문서나 웹페이지에 숨긴 지시로 AI가 원래 명령을 무시하고 공격자의 행동을 따르게 만드는 수법이다.

Microsoft는 6개 대륙 18개 대학과 외부 공격시험 연합을 운영하고, Microsoft 365 Copilot·Foundry·GitHub Copilot을 포함한 폭넓은 제품군이 ISO 42001 인증을 받았다고 설명했다. 이는 관리체계를 갖췄다는 근거지만 사고가 없거나 개별 서비스가 항상 안전하다는 보증은 아니다. 기관은 모델 심사, 공용 플랫폼 운영, 업무앱 책임자를 나누고 계정이나 연결도구가 바뀔 때마다 권한을 다시 시험해야 한다.

정부·공공 이슈: 미개방데이터 경진대회와 2027년 AI 예산안

과학기술정보통신부는 기관마다 따로 열던 데이터 경진대회를 ‘2026 데이터+AI 혁신 챌린지’로 묶었다. 이번 통합공고는 데이터안심구역, 데이터 문제해결, 빅콘테스트 세 부문을 대상으로 한다. 데이터+AI 크리에이터 캠프는 5월부터 별도로 예선을 진행 중이다.5

데이터안심구역 부문에서는 K-DATA를 포함한 11개 지정 구역에서 외부에 공개되지 않은 데이터를 분석한다. 데이터 문제해결 부문은 사례와 분석도구를 모은 포털을 활용하며, 빅콘테스트는 기업이 제공한 데이터로 사회·산업 현안을 분석한다. 부문별 대상 성과발표와 통합 시상은 12월 클라우드·데이터 진흥주간에 진행할 예정이다.

용어 설명 — 데이터안심구역: 민감하거나 미개방인 데이터를 외부로 가져가지 않고 통제된 공간에서 분석하도록 만든 환경이다.

공공기관이 문제를 제시하거나 데이터를 제공한다면 아이디어를 많이 받는 것만으로는 부족하다. 참가자가 볼 수 있는 자료, 결과물 반출심사, 개인정보와 저작권 책임, 같은 결과를 다시 확인할 평가자료, 수상 뒤 실제 업무에 적용할 담당자를 공모 전에 정해야 한다. 이번 발표는 모집 단계이므로 실제 현장 적용과 성과는 12월 이후에 확인해야 한다.

같은 날 공개된 2027년도 과기정통부 예산안은 약 29조6천억 원이다. 이 가운데 AI 분야는 9조4천억 원, 연구개발은 14조1천억 원이다. 전 국민 AI 서비스 보편적 활용지원 사업에 2,500억 원을 새로 편성했고, GPU 확충 3조8,500억 원, 데이터 경쟁력 강화 8,000억 원을 제시했다.6

아직 국회 심의 전 정부안이다. 최종 금액, 조달 방식, 보안 조건과 수혜 범위는 달라질 수 있다. 사업을 준비하는 기관은 무료 이용자 수나 계정 수만 성과로 잡지 말고 실제 처리시간, 사람이 다시 확인한 비용, 오류 정정 건수, 공급사를 바꿀 때의 데이터 이전, 예산 종료 뒤 운영비를 함께 계산해야 한다.

교차 분석

이번 발표들에서 공통으로 확인되는 변화는 AI 통제가 문서상의 원칙에서 시스템의 실제 설정으로 이동하고 있다는 점이다. OpenAI는 모델 능력에 따라 접근범위를 제한하고, Anthropic은 기록 보관 위치와 암호화키를 고객에게 넘기며, Microsoft는 에이전트 신원과 도구 권한을 따로 관리한다. 셋 모두 “책임 있게 사용하라”는 문장만으로는 충분하지 않다고 본다.

공공사업도 같은 기준으로 볼 수 있다. 경진대회가 미개방데이터를 쓰고, 예산사업이 전 국민 AI 서비스와 대규모 GPU를 지원한다면 이용자 수만 늘리는 것으로 끝낼 수 없다. 누가 어떤 자료를 볼 수 있는지, AI가 어디까지 행동할지, 기록을 어디에 남길지, 문제가 생겼을 때 누가 멈추고 바로잡을지를 사업계획서와 시스템 설정에 함께 넣어야 한다.

AI 관련 담당자라면 참고할 만한 적용 항목

확인할 대상	문서에 적을 내용	실제 시스템에서 확인할 내용
고위험 모델	허용 업무, 금지 업무, 승인권자	격리환경, 실행 전 승인, 네트워크 차단, 비상중단
활동기록	보관기간, 열람자, 삭제기준	저장 위치, 암호화키 소유자, 접근로그, 반출비용
AI 에이전트	책임부서, 사용할 도구, 데이터 범위	에이전트별 신원, 최소권한, 행동기록, 권한 재검사
접근성 기능	도움을 줄 수 있는 일과 금지 용도	지원 기기·지역, 오류 안내, 사람 상담과 대체수단
공모·예산사업	데이터 이용조건, 성과지표, 종료 뒤 책임	반출심사, 재현시험, 공급사 전환, 후속 운영비

리스크와 불확실성

Astra의 세부 시스템 카드와 독립 평가 결과는 아직 공개되지 않았다. Anthropic의 보호기능은 2026년 가을부터 단계적으로 제공될 예정이며, 탐지율과 오탐률도 발표문에 없다. Google의 접근성 기능은 기기와 국가에 따라 제공 시점이 다르고, Guided vision의 정확도 수치가 공개되지 않았다. Microsoft 투명성 보고서는 회사가 스스로 공개한 자료이므로 교육 규모와 관리체계가 실제 사고 감소로 이어졌는지는 별도 확인이 필요하다.

국내 통합 경진대회는 참가자 모집 단계이고, 2027년도 예산안은 국회 심의 전이다. 세부 사업공고가 나오면 신청 대상, 데이터 이용허락, 보안등급, 조달 구조, 서비스별 성과지표가 오늘 발표와 어떻게 달라졌는지 다시 확인해야 한다.