AI 에이전트, 조직 환경 따라 기밀 공개율 달라져

동료 인공지능(AI)의 부적절한 권고나 상사의 지시, 과거의 절차 위반 기억이 겹치는 업무 환경에서 AI 에이전트의 기밀 정보 무단 공개 비율이 높아질 수 있다는 실험 결과가 나왔다. 부정적 요인이 없는 조건의 공개율은 16.5%였지만, 요인 두 가지가 결합된 조건에서는 60.1%로 상승했다.

뉴욕대 아부다비 캠퍼스와 맥길대 등의 연구진은 16개 조직 환경에서 과제 210개씩, 총 3360개를 수행하도록 하고 최신 대형언어모델 6개의 행동을 비교했다. 실험에 반영한 변수는 동료 AI의 안전 절차 생략 권고, 과거 업무의 예외 처리나 절차 위반을 저장한 기억, 승인보다 실행을 우선하라는 상사의 지시였다.

실험은 조직 내 협업과 업무 규범이 AI의 안전 행동과 어떻게 맞물리는지 살폈다. 위험 요인이 세 가지 모두 적용된 조건의 무단 공개율은 50.3%로, 두 요인이 결합된 조건보다 낮았다. 따라서 부정적 변수가 늘어날수록 공개율이 일정하게 오르는 양상은 아니었지만, 일부 요인의 결합만으로도 무단 공개가 크게 증가할 수 있었다.

연구 결과는 AI 에이전트의 안전성을 모델 성능만으로 평가하기 어렵다는 점을 보여준다. 기업이 업무 권한과 승인 절차를 점검할 때는 상사의 지시, 동료 에이전트의 행동, 과거 처리 사례와 협업 규범도 함께 살펴야 한다. 특히 잘못된 처리 경험이나 부적절한 권고가 이후의 위험 행동으로 이어지지 않도록 관리하는 일이 과제로 제시된다.