마이크로소프트, AI 기반 에이전틱 보안 시스템 ‘MDASH’ 공개

마이크로소프트가 취약점 발굴부터 검증·증명 및 대응까지 단계형 파이프라인을 갖춘 에이전틱 보안 분석 시스템 ‘멀티 모델 에이전틱 스캐닝 하네스(MDASH)’를 공개했다.

MDASH는 마이크로소프트 자율 코드 보안(ACS) 팀이 구축한 멀티 모델 에이전틱 스캐닝 하네스다. 단일 모델 접근 방식의 한계를 보완하기 위해 프런티어 모델과 증류 모델을 결합한 앙상블 아키텍처를 적용했으며, 100개 이상의 전문 AI 에이전트가 취약점 발견부터 검증·토론, 악용 가능성 증명까지 전 과정을 엔드투엔드로 수행하도록 설계됐다. 특히 단일 AI 모델 성능이 아니라, 다수 모델과 에이전트를 결합한 시스템 아키텍처 자체가 보안 성능의 핵심이라는 점을 강조한다.

마이크로소프트는 이 시스템을 활용해 윈도우 네트워킹 및 인증 스택 전반에서 16개의 신규 취약점을 식별했다. 이 가운데 4건은 치명적 원격 코드 실행 취약점으로, 윈도우 커널 TCP/IP 스택과 IKEv2 서비스 등 구성요소에서 발견됐다. 또한 대표 사례로 레이스 컨디션 기반 UAF(Use-after-free) 등 단순 패턴 매칭만으로는 포착하기 어려운 복잡한 결함 유형도 확인됐다.

실전 대응 역량을 보여주는 지표도 공개했다. MDASH는 공개 사이버짐(CyberGym)벤치마크에서 88.45% 점수로 리더보드 최고 점수를 기록했다. 이는 다음 엔트리 대비 약 5포인트 높은 수치다. 또한 마이크로소프트 보안 대응 센터(MSRC)의 5개년 확정 사례를 기준으로 한 회고 평가에서 clfs.sys 96%(28건), tcpip.sys 100%(7건)의 재현율을 기록했다.

하이퍼스케일 환경의 AI 기반 취약점 발굴

마이크로소프트는 보안 감사가 까다로운 자사 코드베이스의 특수성을 강조했다. 윈도우·하이퍼-V(Hyper-V)·애저(Azure) 등은 방대한 비공개 코드 영역과 서비스 생태계로 구성된다. 해당 영역은 범용 AI 모델의 학습 데이터에서 제외된다. 이로 인해 커널 호출 규칙이나 IPC 신뢰 경계는 단순 패턴 매칭이 아니라 코드 흐름, 객체 생명주기, 동시성까지 고려한 추론이 요구된다는 분석이다.

대규모 데브섹옵스(DevSecOps) 환경과 고가치 타깃의 특성도 제시했다. 취약점이 발견되면 담당자 배정과 검증·분류를 거쳐 정기 보안 업데이트(패치 화요일)에 반영된다. 이 과정에서 오탐이나 불필요한 경고가 증가할 경우 대응 비용이 커지며, 사용자 기반이 큰 제품일수록 그 부담도 더욱 가중된다. 

MDASH: 멀티 모델 에이전틱 스캐닝 하네스

MDASH는 준비부터 증명까지 이어지는 5단계 자동화 파이프라인으로 검증·증명된 결과를 산출한다. 소스 분석과 위협 모델링(준비)을 시작으로 후보 발굴(스캔) 및 에이전트 간 교차 검증(검증)을 거쳐, 중복을 제거한 뒤, 취약점을 실제로 재현할 수 있는 입력을 구성·실행해 최종적으로 취약점을 입증하는 구조다.

해당 파이프라인은 세 가지 핵심 속성으로 작동한다. 모델 앙상블(추론·검증·대조)을 단계별로 운용하고, 모델 간 판단 불일치를 신뢰도 신호로 활용한다. 감사·검증·증명 단계에는 역할이 다른 전문 에이전트를 배치한다. 플러그인으로 내부 맥락을 주입할 수 있고, 주요 단계는 모델 불가지론적으로 설계돼 새 모델 도입 시 설정 변경과 A/B 테스트로 반영할 수 있다.

보안 연구에서의 MDASH 활용: 비공개 코드 및 실전 재현 성능 검증

MDASH의 버그 탐지 성능 평가도 병행했다. 모델의 사전 학습 영향을 배제하기 위해, 외부에 공개된 적 없는 비공개 코드베이스를 활용해 검증을 진행했다. 

비공개 장치 드라이버인 스토리지드라이브(StorageDrive)에는 커널 UAF(Use-after-free), 정수(integer) 처리 문제, IOCTL 검증 누락, 락 오류 등 의도적으로 주입된 21개 취약점이 포함됐다. 테스트 결과, 주입된 취약점 모두 오탐 없이 정확히 식별됐다.

과거 보안 대응 사례를 기준으로 한 실전 재현 성능도 공개했다. 마이크로소프트 보안 대응 센터의 5개년 데이터를 기반으로 검증한 결과, 공통 로그 파일 시스템(clfs.sys)에서 96%(28건), tcpip.sys에서 100%(7건)의 재현율을 달성했다.

공개 벤치마크 사이버짐 리더보드 최고 점수 기록 

공개 사이버짐(CyberGym) 벤치마크에서는 88.45% 성공률로 리더보드 최고 점수를 기록했다. 이는 188개 OSS-Fuzz 프로젝트에서 추출한 1,507개 취약점 재현 과제를 기반으로 한 평가이며, 2위(83.1%) 대비 약 5포인트 높은 수치다. 

평가는 사이버짐 기본 설정(레벨1)으로 진행했으며, 평가 프로토콜 연계를 위해 증명 단계를 확장해 PoC 입력을 자동 제출하고 플래그를 회수했다. 남은 약 12% 실패 사례 중 잘못된 코드 영역을 겨냥한 경우의 82%는 함수·파일 식별자 없이 설명이 모호한 과제에서 발생했으며, 입력 형식(libFuzzer vs honggfuzz) 불일치로 재현이 실패한 사례도 확인됐다. 이를 근거로 작업 설명의 품질과 입력 형식 호환성이 스캔 정확도와 재현 결과에 영향을 줄 수 있다고 언급했다.

AI 보안, 연구를 넘어 실전 엔지니어링 영역으로

마이크로소프트는 AI 취약점 발굴이 연구 단계를 넘어 엔지니어링 과제로 전환되고 있다고 평가했다. 특히 정기 보안 업데이트 결과와 공통 로그 파일 시스템(CLFS) 관련 마이크로소프트 보안 대응 센터 5개년 사례 재현율을 근거로, AI 취약점 발굴 결과가 규모 있게 확장될 수 있다고 내다봤다. 

기술적 핵심으로는 구성과 검증을 꼽았다. 이에 MDASH 가 단일 프롬프트가 아니라 파일 간 비교와 다단계 도달 가능성 분석, 에이전트 간 토론, 증명 단계를 순차적으로 결합하도록 설계됐다는 점을 강조했다. 검증 단계 역시 ‘후보 표시’에서 멈추지 않고 토론·중복 제거·증명까지 이어지도록 구성됐다.

기술적 지속성을 위한 설계 요소는 ‘모델 교체를 흡수하는 아키텍처’를 제시했다. 새 모델 도입 시 파이프라인을 재구축하지 않고 설정 변경과 A/B 테스트 재실행으로 반영할 수 있으며, 프로젝트별 컨텍스트·스캔 플러그인·증명 에이전트 구성은 그대로 유지된다. 이는 AI 기반 취약점 탐지가 개별 모델 성능 경쟁을 넘어, 시스템 설계 중심의 엔지니어링 문제로 전환되고 있음을 시사한다.

김태수(Taesoo Kim) 마이크로소프트 에이전틱 보안 부사장은 “MDASH는 마이크로소프트 엔지니어링 팀이 상용 AI 모델을 활용해 보안 성과를 실질적으로 개선하는 데 도움을 주고 있다”며, “앞으로도 마이크로소프트는 모두에게 더 안전한 세상을 만들기 위한 노력을 이어갈 것”이라고 말했다.

한편, 마이크로소프트는 현재 일부 고객을 대상으로 MDASH의 한정 프라이빗 프리뷰(Limited Private Preview)를 진행 중이다. 상세 정보 확인 및 참여 신청은 마이크로소프트 공식 웹페이지를 통해 가능하다.