가트너, 개인정보, 데이터 유출보다 AI 추론 경계 강조

기업들이 규제와 비용 부담을 이유로 개인 데이터 보유량을 줄이면서, 위협 행위자들은 AI를 통한 추론 기반 공격을 수행할 수 있게 됐다. 또한 생성형 AI와 머신러닝 기술의 발전으로, 익명·집계 데이터에서 개인 건강 상태나 행동 패턴 같은 민감한 정보를 유추할 수 있게 됐다.

추론 기반 위험이 개인정보 보호 전략 재편

빌렘센 애널리스트는 “추론 공격은 기존 탐지 체계에 포착되지 않는 경우가 많아 더욱 위험하다”며, “실제 기록이 유출되지 않더라도 AI가 도출한 결론을 통해 개인 민감 정보가 드러날 수 있다. 이는 데이터 무결성을 훼손하고 탐지, 설명 및 완화가 어려운 개인정보 침해 위험을 초래한다”고 설명했다.

이러한 변화에 따라 기업들은 개인정보 보호 전략을 재고해야 하는 상황에 놓였다. 보안 리더는 개인 데이터를 보호하는 데 그치지 않고, AI 시스템이 개인에 관한 인사이트를 어떻게 생성하고 활용하며 이를 바탕으로 어떻게 행동하는지까지 관리해야 한다.

가트너는 기업들이 AI 프로필의 오류·편향·무단 생성 위험에 대한 대응을 강화하면서, 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 같은 수준에 이를 것으로 전망했다.

추론 기반 위험에 대비한 개인정보 보호 프로그램

가트너는 새롭게 부상하는 추론 기반 개인정보 보호 위험에 대응하기 위해 다음과 같은 조치를 권고한다.

 개인정보 보호 프로그램에 AI 거버넌스 내재화: AI 개발·배포 전 과정에 프라이버시 중심 설계(privacy by design) 원칙을 적용하고, 알고리즘 편향성, 과적합, 의도치 않은 추론 위험에 대한 정기적인 점검

 개인정보 보호 강화 기술(PET) 도입: 차등 프라이버시 기술, 합성 데이터, 개인정보 보호형 머신러닝 등의 기술을 도입해 데이터를 보호된 상태로 처리 및 재식별 위험 감소

 데이터 최소화 및 수명주기 관리 강화: 데이터 수집을 반드시 필요한 범위로 제한하고, 엄격한 접근 통제와 적시 삭제를 통해 추론 기반 공격에 악용될 수 있는 정보를 최소화

 AI 기반 위협에 대한 사이버보안 강화: 간접적인 악용 패턴과 추론 기반 위협을 식별할 수 있도록 고급 모니터링, 이상 징후 탐지, 시나리오 계획 역량에 투자

 투명성 및 인간의 감독 강화: AI의 추론 수행 가능 영역과 불가능 영역을 명확히 정의해 문서화 및 정기 감사하며, 민감 데이터에 대한 조치를 취하기 전에 AI가 생성한 추론을 검증하기 위한 ‘휴먼 인 더 루프(human in the loop)’을 의무화

가트너 고객은 ‘개인정보 보호 전망: AI·감시 기술 확산에 따른 혼란 대응과 개인 보호 전략’과 ‘사이버 보안 분야의 AI: 위험 최소화 및 효과 극대화 전략’에서 자세한 내용을 알아볼 수 있다.