NIST AI 위험관리 프레임워크

AI 사용 규정에 남은 빈칸

한 조직의 사내 규정에 "AI 결과를 검토한 뒤 사용한다"고 적혀 있었습니다. 그런데 누가 어떤 부분을 확인해야 하는지는 정해져 있지 않아, 실제로는 저마다 다르게 쓰고 있었습니다.

저는 이런 문장을 업무별 질문으로 바꿉니다. 회의록의 사실관계를 확인하는 것과 고객에게 보낼 안내문을 승인하는 것은 검토 대상이 다릅니다. 같은 도구를 쓰더라도 결과의 사용처에 따라 위험이 달라지기 때문입니다.

문서의 역할

NIST AI RMF 1.0은 2023년 1월 발표된 자율적 위험관리 프레임워크로, AI를 개발하는 조직뿐 아니라 도입하고 사용하는 조직도 활용할 수 있습니다. NIST AI 600-1은 2024년 7월 발표된 생성형 AI 프로파일로, 사실과 다른 내용의 생성, 개인정보, 정보보안, 지식재산, 사람의 과도한 의존 같은 위험을 구체적으로 살펴보도록 돕습니다. 자세한 내용은 NIST 공식 안내를 참고하고, 적용할 때는 사용한 판본을 기록하고 개정 상태를 확인합니다.

네 가지 기능의 실무 적용

AI RMF의 핵심 기능은 GOVERN, MAP, MEASURE, MANAGE입니다. 다음은 이를 업무에 적용한 예시입니다.

기능	정할 내용	실무 예시
GOVERN	책임과 승인 기준	업무 소유자, 검토자, 예외 승인자 지정
MAP	사용 목적과 영향	입력 자료, 이용자, 결과 사용처 정리
MEASURE	평가 방법과 한계	대표 자료로 오류·누락·위험한 출력 확인
MANAGE	대응과 재검토	사용 제한, 수정, 중지·재개 조건 설정

이 기능들은 한 번씩 거치는 절차가 아닙니다. 모델이나 업무가 바뀌면 평가와 대응을 다시 검토하며, 책임과 관리 기준은 전 과정에 적용됩니다.

검토의 수준을 정합니다

문장 교정용 AI와 조사 대상 자료를 분류하는 AI에 같은 평가 기준을 적용하기는 어렵습니다. 조사 자료 분류라면 찾아낸 문서만 아니라 누락 가능성도 살펴야 하고, 고객 안내라면 사실관계와 적용 조건, 외부 발송 승인을 확인합니다. 사람의 권익에 영향을 주는 용도라면 별도의 법적·업무적 검토가 필요합니다. 저는 도입 전에 허용할 사용 범위와 허용하기 어려운 오류를 정하는 편이 좋다고 봅니다. 결과를 본 뒤 기준을 바꾸면 평가가 도입 결정을 정당화하는 절차로 흐를 수 있습니다.

컴플라이언스와의 구분

AI RMF를 적용했다는 사실만으로 법령과 계약을 모두 준수했다고 볼 수는 없습니다. 해당 의무를 따로 확인하고 관리 활동과 연결해야 합니다. 프레임워크 자체는 인증서나 법적 면책을 제공하는 제도가 아니므로, "NIST 기준 적용"이라고 설명하려면 어느 업무에 어떤 항목을 적용했는지 범위가 드러나야 합니다.

필요한 지식과 운영 기록

사용자는 입력 가능한 자료와 원문 대조가 필요한 결과를 알아야 하고, 관리자는 보관 조건과 접근권한을, 감사 담당자는 승인·검토·오류 처리의 실제 이행을 살펴야 합니다. 교육에서도 매끄러운 요약에서 빠진 조건을 스스로 찾아보는 등 자신의 업무에 맞는 연습이 필요합니다. 기록에는 사용 목적, 승인된 환경, 평가 결과, 남은 제한을 담되 입력 자료 전체를 무조건 보관하기보다 필요한 근거와 보존 범위를 정합니다. 이후 오류가 발생했을 때 모델, 업무 방식, 검토 기준 중 무엇을 바꿀지 판단할 수 있는 수준이 기준입니다.

정리

정리하면, AI 위험관리는 도구가 아니라 사용처별 책임과 검토 수준을 정하는 일입니다. GOVERN·MAP·MEASURE·MANAGE를 업무에 맞춰 반복 적용하고, 적용 범위와 근거를 기록으로 남깁니다. 프레임워크를 적용했다는 사실이 곧 법령 준수나 면책을 뜻하지는 않는다는 점도 함께 기억합니다.