독자 AI 모델 평가가 업무 수행으로 넓어졌다: 실행형 AI의 통제 기준

오늘의 판

정부가 지원하는 독자 인공지능 모델 사업의 2차 평가가 막바지에 들어갔다. 현재 남은 네 팀 가운데 세 팀만 다음 단계로 진출하고, 올해 12월에는 최종 두 팀이 정해질 예정이다. 이번 평가에서 눈여겨볼 부분은 단순히 질문에 답하는 성능만 재지 않는다는 점이다. 외부 도구를 불러 실제 업무를 처리하는 능력, 여러 작업을 순서대로 조정하는 능력, 모델을 처음부터 자체 설계하고 학습했는지, 산업 현장에서 계속 쓸 수 있는지를 함께 본다.1

이 변화는 공공기관이 인공지능을 도입할 때 무엇을 시험해야 하는지도 보여준다. 답변이 그럴듯한지만 확인해서는 부족하다. 인공지능이 어느 자료에 접근했는지, 허용된 도구만 사용했는지, 작업 도중 오류가 나면 멈추는지, 담당자가 결과를 취소하거나 고칠 수 있는지까지 실제 업무 흐름으로 검증해야 한다. 오늘 확인된 금융거래 실증과 해외 정부망 공격 사례는 인공지능이 ‘행동’하기 시작할 때 편의와 위험이 함께 커진다는 사실을 구체적으로 보여준다.2 3

용어 설명 — 파운데이션 모델: 많은 자료를 먼저 학습해 문서 작성, 검색, 분류 등 여러 인공지능 서비스의 바탕으로 쓰는 범용 모델이다.

그림 1. 독자 AI 모델 사업이 네 팀에서 세 팀을 거쳐 최종 두 팀을 선발하는 단계와 평가 관점을 단순화해 보여준다. ZDNet Korea 기사에 확인된 일정과 기준을 바탕으로 바다가 재구성했다.

핵심 수치

숫자는 규모를 알려주지만 운영 품질을 대신 증명하지는 않는다. 인공지능 모델을 두 팀 선발한다고 국내 활용성이 자동으로 확보되는 것도 아니고, 전담인력을 늘린다고 개인정보 사고가 저절로 줄어드는 것도 아니다. 선발 뒤 실제 업무 성능, 인력에게 부여된 권한, 취약점 조치 완료율처럼 후속 지표가 함께 공개돼야 정책 효과를 판단할 수 있다.

산업·기술 이슈

독자 AI 모델 평가는 ‘답변’에서 ‘업무 수행’으로 넓어진다

과학기술정보통신부의 독자 AI 파운데이션 모델 프로젝트는 LG AI연구원, SK텔레콤, 업스테이지, 모티프테크놀로지스 네 팀을 대상으로 2차 평가를 진행했다. 기사에 따르면 결과는 이르면 다음 주 발표될 수 있다. 이번 발표에서 한 팀이 탈락해 세 팀이 남고, 추가 평가를 거쳐 올해 12월 최종 두 팀을 선발한다. 최종 생존팀에는 엔비디아 B200이라는 고성능 계산 장치, 대규모 데이터 구축·가공비, ‘K-AI 기업’ 명칭 등 국가 지원이 이어질 예정이다.1

평가 기준도 달라졌다. 1차가 기본적인 언어 이해와 글 생성, 모델 완성도를 중심으로 봤다면 2차는 외부 도구를 불러 업무를 수행하는 능력과 여러 작업을 조정하는 능력의 비중이 커진 것으로 전해졌다. 모델 설계부터 사전 학습까지 자체 수행했는지를 보는 독자성과 실제 산업 현장에 적용할 수 있는지를 보는 확산성도 주요 기준이다.1

공공기관이 이 결과를 받아들일 때는 순위를 구매 기준으로 바로 쓰지 않는 편이 안전하다. 국가 평가에서 좋은 점수를 받은 모델도 기관 내부 자료의 표현 방식, 법률 용어, 민원 문서, 접근권한 구조에서는 다른 결과를 낼 수 있다. 예를 들어 규정 검색, 문서 초안, 민원 분류처럼 실제 사용 장면을 정하고 정답률뿐 아니라 근거 자료 표시, 금지 정보 접근, 실패 뒤 복구, 담당자 수정 시간을 함께 재야 한다. 팀별 점수와 평가 항목별 배점은 아직 공개되지 않았으므로 어느 모델이 특정 기관 업무에 우월하다고 단정할 단계도 아니다.

용어 설명 — AI 에이전트: 질문에 답하는 데서 그치지 않고 자료를 찾거나 도구를 사용해 여러 작업을 순서대로 처리하는 인공지능이다.

용어 설명 — GPU: 인공지능 학습과 대량 계산을 빠르게 처리하도록 설계된 고성능 계산 장치다.

금융거래 실증은 실행 직전 통제가 왜 필요한지 보여준다

신한카드는 인공지능이 이동수단을 검색하고 예약·결제까지 수행하는 ‘에이전틱 커머스’를 실증하고 있다고 밝혔다. 지금까지의 상담형 인공지능이 정보나 선택지를 보여주는 역할에 머물렀다면, 이번 실증은 고객을 대신해 실제 거래를 끝내는 단계로 범위를 넓힌 것이다.2

편의만 보면 검색, 비교, 예약, 결제가 한 흐름으로 이어진다. 그러나 잘못된 답변과 잘못된 결제는 피해의 성격이 다르다. 검색 결과가 틀리면 다시 찾을 수 있지만, 결제가 실행되면 취소와 환불, 분쟁 처리, 책임 판단이 뒤따른다. 기사도 개인정보 보호, 본인 인증, 부정거래 탐지, 잘못된 거래의 취소와 책임 주체를 상용화 전 해결할 과제로 제시했다.2

공공서비스에도 같은 기준을 적용할 수 있다. 인공지능이 시설 예약이나 지원사업 신청, 요금 납부를 대신한다면 실행 전에는 대상과 금액, 제출 자료를 사람이 한 화면에서 다시 확인해야 한다. 실행 뒤에는 누가 언제 무엇을 승인했는지 남기고, 취소 가능한 시간과 담당 창구를 알려야 한다. 인공지능이 사용자의 정상 지시를 따른 것인지 외부 조작에 끌려간 것인지 구분할 탐지 규칙도 필요하다. 현재 기사에는 실제 이용자 수, 거래 성공률, 오류율, 상용화 시점이 공개되지 않았다. 실증을 안전성과 효과가 이미 입증된 상용 서비스로 읽으면 안 된다.

용어 설명 — 에이전틱 커머스: 사람이 세부 단계를 하나씩 누르지 않아도 인공지능이 상품이나 이동수단을 찾고 예약·결제까지 이어서 처리하는 거래 방식이다.

그림 2. 인공지능이 검색에서 실제 거래로 넘어갈 때 필요한 재확인, 실행 기록, 취소·분쟁 처리 단계를 보여준다. 청년일보 기사에서 제시한 실증 내용과 위험 요소를 바탕으로 바다가 재구성했다.

정부·공공 이슈

여러 인공지능이 동시에 경로를 바꾸는 공격에 대비해야 한다

이스라엘 보안업체 Dream의 분석을 인용한 보도에 따르면 7월 초 약 4일 동안 최대 여덟 개의 인공지능 작업 주체가 동시에 움직여 대만 정부 시스템 21곳을 조사했다. 공격자는 실제 침해행위를 승인된 보안 점검처럼 설명해 인공지능이 취약점을 찾게 했고, 한 경로가 막히면 새 정보를 검색해 다른 침투 경로를 고르게 한 것으로 분석됐다.3

이 사례를 ‘인공지능이 사람 없이 전쟁을 시작했다’고 해석하면 사실을 벗어난다. 공격자는 목표와 지시를 제공했고 인공지능은 탐색과 반복 작업을 빠르게 수행하는 도구로 쓰였다. 중국 연계 가능성도 확정된 사실이 아니다. Dream은 공격 대상 국가와 공격자를 공식 특정하지 않았고, 대만 정부도 공격이 해외에서 시작됐다고 밝혔지만 중국 정부를 공식 공격 주체로 지목하지 않았다.3

그럼에도 방어 관점에서 달라진 점은 분명하다. 한 공격자가 여러 자동화 작업을 동시에 돌리면 과거 여러 명이 나눠 하던 조사와 경로 변경을 짧은 시간에 반복할 수 있다. 기존 관제 체계가 개별 로그인 실패나 특정 주소의 접속량만 따로 보면 전체 흐름을 놓칠 수 있다. 여러 계정에서 비슷한 조회가 연속으로 나타나는지, 한 경로를 차단한 직후 다른 서비스로 이동하는지, 짧은 시간에 여러 취약점 유형을 시험하는지를 묶어 봐야 한다. 승인된 침투시험 계정도 목적과 시간, 대상 범위를 미리 등록하고 그 범위를 벗어나면 자동 중지시키는 장치가 필요하다.

용어 설명 — 침투시험: 공격자 관점에서 시스템의 약점을 찾아 실제 사고 전에 고치기 위해 기관이 범위를 정해 승인한 보안 점검이다.

개인정보 전담인력 확충은 예방 업무와 연결돼야 한다

개인정보보호위원회가 2월 공공기관을 점검했을 때 개인정보 보호 전담인력은 평균 0.7명 수준이었다. 개인정보위는 중앙부처 전담인력 수십 명을 추가 확보해 부처별 규모에 따라 두 명에서 다섯 명을 배치하는 방향을 추진하고 있다고 밝혔다. 취약점 점검, 접속관리 시스템과 보안 장비에 필요한 예산이 부족했다는 실태도 관계부처와 공유했다.4

공공기관은 2028년 12월까지 정보보호 및 개인정보보호 관리체계 인증을 갖춰야 한다. 개인정보위는 그전에 컨설팅을 받을 수 있도록 예산 반영을 협의 중이다. 공공기관 평가에서 개인정보 사고가 발생했을 때 감점 폭도 약 10점에서 20점으로 늘렸다. 다만 개인정보위는 사후 과징금과 감점만으로 보호 수준을 높이는 데 한계가 있으며 취약점 점검 같은 예방 조치가 함께 이뤄져야 한다고 설명했다.4

증원 자체는 필요한 출발점이지만 업무표가 없으면 기존 담당자의 과부하를 여러 사람이 나눠 갖는 데 그칠 수 있다. 새 전담자에게 서비스별 개인정보 흐름도, 외부 제공과 위탁 현황, 미조치 취약점, 최근 사고와 재발방지 과제를 인계해야 한다. 전담자가 개선을 요청할 권한, 부서가 조치를 끝낼 기한, 기한을 넘겼을 때 보고할 책임자도 정해야 한다. 월별로는 미완료 취약점 수, 기한 내 조치율, 과도한 권한 회수, 접속기록 이상 징후 처리 시간을 확인할 수 있다. 기관별 확정 인원과 예산, 컨설팅 범위는 아직 공개되지 않았다.

용어 설명 — ISMS-P: 기관이 정보보호와 개인정보 보호를 정해진 절차에 따라 운영하는지 심사해 확인하는 인증 제도다.

그림 3. 인력 확충을 자산 파악, 취약점 조치, 훈련, 사고 대응, 재점검으로 연결하는 예방 운영 순환을 보여준다. 이데일리의 개인정보보호위원장 인터뷰에 확인된 정책 방향을 바탕으로 바다가 재구성했다.

교차 분석

독자 모델 평가, 금융거래 실증, 정부망 공격은 서로 다른 사건이지만 한 가지 운영 질문에서는 만난다. 인공지능이 도구를 사용해 행동할 때 누가 범위를 정하고, 무엇을 기록하며, 어떻게 멈출 것인가다. 좋은 모델을 고르는 평가에서는 업무 수행 능력이 필요하다. 실제 거래에서는 이용자 재확인과 취소가 필요하다. 공격 대응에서는 여러 자동화 행동을 하나의 흐름으로 묶어 차단해야 한다.

개인정보 전담인력 확충은 이 질문을 조직 차원에서 다룰 기반이 될 수 있다. 다만 개인정보 담당자 한 부서에 모든 책임을 몰아주면 해결되지 않는다. 서비스 담당자는 업무 목적과 필요한 자료를 설명하고, 보안 담당자는 접근과 이상행동을 감시하며, 개인정보 담당자는 수집·이용·제공의 근거와 보유기간을 확인해야 한다. 최종 승인권자는 잔여 위험을 알고 서비스 개시 또는 중단을 결정해야 한다.

AI 관련 담당자라면 참고할 만한 적용 항목

이 표는 기사에 적힌 의무사항이 아니라 오늘 확인된 사례를 바탕으로 정리한 운영 예시다. 기관은 적용 법령, 내부 규정, 서비스 위험도에 맞춰 항목을 조정해야 한다. 특히 사람의 최종 확인을 두었다는 사실만으로 안전하다고 보지 말고, 담당자가 판단에 필요한 원문과 위험 정보를 실제로 볼 수 있는지 확인해야 한다.

리스크와 불확실성

독자 AI 모델 사업의 2차 결과와 팀별 점수, 평가 항목별 배점은 공개되지 않았다. 따라서 특정 팀의 진출이나 탈락을 예상하거나 한 모델이 공공업무에 가장 적합하다고 단정할 수 없다. 최종 지원 조건도 실제 계약과 운영 단계에서 달라질 수 있다.

신한카드 사례는 실증 단계다. 실제 이용자 수, 거래 성공률, 잘못된 예약·결제 건수, 취소 성공률, 상용화 시점이 공개되지 않았다. 편리한 시연이 대규모 이용 환경의 안전성을 증명하지 않는다.

대만 정부망 공격 정황은 보안업체 분석과 외신 보도를 통해 알려졌다. 중국 연계 가능성은 공식 확정되지 않았으며, 인공지능이 사람 없이 공격 목표를 정했다는 증거도 제시되지 않았다. 방어 기준은 강화하되 확인되지 않은 배후를 사실처럼 말해서는 안 된다.

개인정보 전담인력 확충에서는 기관별 인원과 예산이 확정되지 않았고, 2028년 인증 대비 컨설팅 예산도 협의 단계다. 인력 배치가 실제 취약점 감소와 사고 대응 개선으로 이어졌는지는 향후 완료율과 처리시간 같은 운영 수치로 확인해야 한다.

더 깊이 공부하고 싶다면?

1. 독자 AI 모델 2차 평가 결과가 발표되면 팀별 강점보다 평가 항목과 실측 방법이 얼마나 공개되는지 확인할 필요가 있다.
2. 실행형 인공지능의 거래 한도와 재확인 절차를 공공 신청·예약 서비스에 적용하면 어느 단계가 가장 먼저 바뀌어야 하는가?
3. 여러 인공지능이 동시에 움직이는 공격을 탐지하려면 현재 보안관제 기록에서 어떤 계정·시간·경로 정보를 연결해야 하는가?
4. 개인정보 전담인력 증원 뒤 6개월 안에 확인할 수 있는 예방 성과 지표는 무엇이어야 하는가?