AI 실행 통제 플랫폼과 연구 자동화 감시 제안, 국내 AI 정책·개인정보 논의
NVIDIA가 AI 에이전트를 소프트웨어와 별도 하드웨어에서 감시하는 안전 플랫폼을 발표했습니다.
목차
바다입니다. AI의 실행 권한을 통제하는 새 기술과 국내 AI 정책·개인정보 논의 소식을 전합니다.
핵심요약
- NVIDIA가 AI 에이전트를 소프트웨어와 별도 하드웨어에서 감시하는 안전 플랫폼을 발표했습니다.
- 주요 AI 연구자 22명은 연구개발 자동화에 대비한 보고·감시·중단 장치를 제안했습니다. 시행된 규정은 아닙니다.
- 국내에서는 독자 AI 사업 개편 여부에 대한 정부 설명과 오늘 열리는 글로벌 AI 프라이버시 포럼을 확인합니다.
1. NVIDIA, AI의 행동을 실행 환경 밖에서도 감시하는 플랫폼 발표
NVIDIA는 현지시간 9월 28일 ‘Open Agent Safety Platform’을 발표했습니다. AI 에이전트는 자료를 읽고 답하는 데 그치지 않고 도구를 써서 작업을 실행하는 AI입니다. 이번 플랫폼은 이런 AI의 시험부터 운영까지 행동을 제한하고 감시하도록 설계됐습니다. 공개 소프트웨어인 OpenShell과 별도 감시 장치인 Sentry의 참조 설계를 함께 제시했습니다. 참조 설계는 실제 시스템을 만들 때 참고할 구성과 구현 방식입니다.
OpenShell은 AI가 실행되는 환경에서 허용된 행동의 범위를 정합니다. Sentry는 BlueField-4라는 별도 데이터 처리 장치에서 작동하며 AI의 행동을 감시합니다. 회사는 AI가 소프트웨어의 허용 범위를 벗어나려 할 때 밀리초 단위로 격리·중지한다고 설명했습니다. 밀리초는 1초의 1,000분의 1입니다. 이 속도는 회사 발표이며, 모든 기관 환경에서 같은 성능이 검증됐다는 뜻은 아닙니다.
발표문은 OpenShell을 이용할 수 있다고 안내하고, 공개 소프트웨어여서 다른 회사의 컴퓨팅 환경에 맞게 확장할 수도 있다고 설명합니다. 다만 소프트웨어 공개와 별도 하드웨어를 포함한 전체 구성의 즉시 도입은 구분해야 합니다. 필요한 장비와 지원 범위, 운영 비용을 확인할 여지가 남아 있습니다.
기관 적용 시에는 AI가 바꿀 수 없는 위치에 실행 제한을 두는지 살펴볼 만합니다. 예를 들어 문서 요약 AI에는 읽기 권한만 주고, 파일 삭제나 외부 발송은 별도로 막는 방식입니다. 제안서에서도 ‘보안 기능 제공’이라는 설명과 함께 무엇을 차단하고 어떤 기록을 남기는지 확인하면 좋습니다. 이는 이번 발표를 참고한 운영 권고입니다.
2. 연구자 22명, AI 연구개발 자동화의 보고·감시 체계 제안
9월 29일 연합뉴스는 주요 AI 연구자 22명이 케임브리지대 AI 과학·정책 프로그램을 통해 공동 논문을 발표했다고 보도했습니다. 연구자들은 AI가 다음 AI를 개발하는 작업까지 맡으면 기술 발전이 빠르게 가속될 가능성을 제기했습니다. 제프리 힌턴과 요슈아 벤지오를 비롯해 OpenAI·Anthropic·Microsoft·Meta의 연구진이 참여했습니다.
연구진은 기업이 연구개발 자동화 지표를 정부에 보고하도록 하고, 기업에 상주하는 감시관을 두는 방안 등을 제안했습니다. 안전 기준을 충족하지 못하면 작업량을 조절하거나 일시 중지하는 장치, 노동시장 변화 등에 대비한 비상계획도 주문했습니다. 이는 연구자들의 정책 제안입니다. 각국 정부가 새 의무를 확정했거나 모든 AI 개발을 중단하기로 했다는 발표는 아닙니다.
논문이 다룬 ‘지능 폭발’은 AI의 연구 능력 향상이 다시 다음 AI 개발을 앞당기는 상황을 가리킵니다. 실제로 그런 상황이 언제 발생할지 확정한 관측 결과와는 다릅니다. 기사에 제시된 기업별 자동화 비율도 특정 회사의 연구개발 작업을 대상으로 하므로 일반 사무직의 업무 대체율로 옮겨 읽지 않는 편이 정확합니다.
공공기관의 일상 업무에서는 자동화율을 어떻게 셀지부터 참고할 수 있습니다. 예를 들어 AI가 만든 초안의 비율과 사람의 수정 없이 완료한 업무의 비율은 서로 다릅니다. 시범사업 성과를 볼 때는 담당자의 재검토 시간, 잘못 처리한 건수, 중단 후 수동 처리 가능 여부를 함께 기록하는 방안을 검토할 만합니다. 이는 기사에 소개된 지표를 기관 업무에 적용해 보는 예시입니다.
3. 독자 AI 사업 개편 보도에 정부 “중단·법인 설립은 미확정”
9월 28일 동아일보 보도에 따르면 과학기술정보통신부는 독자 AI 파운데이션 모델 사업의 운영 방안을 검토하고 있습니다. 이 사업은 국내 기업이 직접 만든 기반 AI 모델을 확보하도록 지원하는 사업입니다. 기반 모델은 여러 서비스에 공통으로 활용할 수 있는 AI를 뜻합니다. 기사에는 현재 SK텔레콤·업스테이지·LG AI연구원 세 팀이 남아 있다고 설명돼 있습니다.
정부는 같은 날 설명자료에서 최상위급 AI 모델 개발에 재원을 집중할 필요성을 인식하고 있다고 밝혔습니다. 동시에 기존 프로젝트 중단과 최상위급 모델 개발을 위한 별도 회사 설립 여부는 아직 정해진 바 없다고 설명했습니다. 일부 보도의 ‘중단’이나 ‘통합’ 표현을 확정 정책으로 받아들이지 않도록 이 공식 입장을 함께 볼 필요가 있습니다.
기관의 AI 도입 검토에서는 국산·외산 여부와 함께 실제 제공 조건을 확인하는 것이 좋습니다. 예를 들어 모델을 바꾸면 문서 검색 결과와 답변 품질이 유지되는지, 계약 종료 때 기관 자료를 회수·삭제할 수 있는지 살펴볼 수 있습니다. 이번 보도만으로 기존 사업이나 계약을 변경할 근거가 생긴 것은 아닙니다. 정책 변동 가능성을 기록하되 실제 공고·계약 조건과 구분하는 접근을 권합니다.
4. 오늘 글로벌 AI 프라이버시 포럼…국제협력·아동 권리 논의
개인정보보호위원회는 9월 28일 보도자료에서 오늘 서울 양재 엘타워에서 ‘글로벌 AI 프라이버시 포럼’을 개최한다고 밝혔습니다. 각국 개인정보 감독기구와 국제기구, 기업, 학계가 AI 혁신과 개인정보 보호를 함께 논의하는 자리입니다. 캐나다·유럽·일본·홍콩의 개인정보 감독기구와 세계은행, 국내외 기업 전문가 등이 참여할 예정입니다.
첫 번째 세션은 개인정보에 대한 책임과 신뢰를 바탕으로 AI 혁신을 추진하는 방안을 다룹니다. 두 번째는 신흥국을 포함한 국제사회의 대응 역량과 협력 방안을 논의합니다. 마지막 특별세션에서는 AI와 함께 성장하는 아동·청소년의 권리 보호와 정부·기업·시민사회의 역할을 살펴봅니다. 오늘 아침 기준으로는 행사 개최 안내이며, 합의문 채택이나 새 법적 의무가 발표된 상태로 소개해서는 안 됩니다.
학생이나 청년이 이용하는 서비스를 검토하는 기관이라면 행사 후 공개되는 자료를 참고할 만합니다. 다만 아동·청소년 의제와 모든 대학생·성인 이용자에게 적용할 조건은 구분해야 합니다. 구체적인 연령 범위와 서비스 특성에 맞춰 검토할 필요가 있습니다.
업무 예시로는 AI 상담에서 개인정보를 어디까지 받는지, 외부 서비스에 어떤 내용이 전달되는지, 이용자가 설명을 이해하고 문의할 수 있는지 확인하는 일이 있습니다. 입력을 줄이고 사람이 상담을 이어받을 방법을 마련하는 방안도 검토할 수 있습니다. 이는 포럼 개최 안내를 바탕으로 제안하는 점검사항이며, 보도자료가 특정 기관의 상담 운영기준을 정했다는 뜻은 아닙니다.
업무에서 확인할 점
- AI의 파일 변경·외부 발송 권한을 누가 제한하고 중단할 수 있는지 확인합니다.
- 자동화 성과는 초안 생성과 업무 완료를 나누고 사람의 재검토 시간까지 살펴봅니다.
- 정책 검토·행사 안내와 확정된 제도·계약 조건을 구분해 기록합니다.