AI가 방대한 자료에서 단서를 찾아 준다는 말, 어디까지 맞나

내부 제보가 접수되어 관련자 세 명의 업무 메일과 메신저 대화, 공유 폴더 문서를 모았더니 수십만 건이 되었습니다. 담당자 한 명이 하루 여덟 시간씩 읽어도 몇 달이 걸리는 분량입니다. 이 대목에서 자주 나오는 질문이 있습니다. AI에 넣으면 알아서 문제되는 부분을 찾아 주지 않느냐는 질문입니다.

절반은 맞습니다. 대량 데이터 리뷰에 AI를 활용하면 사람이 읽어야 할 문서가 크게 줄어듭니다. 다만 무엇이 줄어드는지 알고 시작하는 조사와 모르고 시작하는 조사는 결과가 다릅니다.

수십만 건이 수천 건으로 줄어드는 과정

첫 작업은 판단이 아니라 정리입니다. 같은 메일이 보낸 사람과 받은 사람 메일함에 각각 남아 있으므로 중복부터 걸러 냅니다. 시스템이 자동 발송한 알림, 사내 공지, 광고성 메일도 이 단계에서 분리됩니다. 여기까지만 해도 건수는 상당히 줄어듭니다.

다음은 묶는 작업입니다. 여러 차례 오간 메일은 대화 단위로 묶여 마지막 한 건만 읽어도 앞의 내용을 확인할 수 있습니다. 내용이 거의 같은 문서, 버전만 다른 파일도 한 묶음으로 정리됩니다.

마지막이 우선순위 정렬입니다. 조사 담당자가 표본 문서를 읽으며 관련 있음과 관련 없음을 표시하면, AI를 활용해 그 기준을 나머지 문서에 적용하고 관련 가능성이 높은 순서로 배열합니다. 문서 요약이나 쟁점별 분류에도 같은 방식이 쓰입니다. 이 과정을 거치면 수십만 건이 사람이 실제로 읽을 수 있는 규모까지 내려옵니다.

'단서를 찾았다'가 가리키는 지점

여기서 오해가 자주 생깁니다. 목록 상위에 올라온 문서는 관련 가능성이 높다고 분류된 문서이지, 부정행위가 확인된 문서가 아닙니다.

예를 들어 대상자가 경쟁사 담당자와 주고받은 메일이 맨 위에 올라왔다고 하겠습니다. 그 메일은 정상적인 거래 협의일 수 있습니다. 이직 협상일 수도 있고, 자료를 넘긴 정황일 수도 있습니다. 어느 쪽인지는 그 사람의 직무 범위, 당시 진행 중이던 계약, 퇴직 시점을 함께 놓고 봐야 확인됩니다. 이 맥락을 아는 사람이 원문을 읽는 단계가 남아 있습니다.

요약도 마찬가지입니다. AI가 만든 요약은 어떤 문서를 먼저 볼지 정하는 데 쓰는 자료이고, 근거로 쓰는 것은 원문입니다. 요약과 원문이 어긋나는 경우가 있으므로 인용할 문장은 원문에서 확인합니다.

자동으로 걸러지지 않는 자료들

검토 대상이 되려면 문서의 글자가 읽히는 상태여야 합니다. 실제 자료에는 이 조건을 채우지 못하는 것이 섞여 있습니다.

스캔한 계약서나 사진으로 찍은 문서는 문자 인식(OCR) 처리를 거쳐야 검색됩니다. 인식률이 낮으면 검색 결과에서 빠집니다.

암호가 걸린 압축 파일이나 문서는 열리기 전까지 목록에만 남습니다.

음성 통화, 영상, 손으로 쓴 메모는 별도 작업 없이 검토 대상에 들어가지 않습니다.

개인 메신저나 개인 클라우드에 있는 자료는 수집 근거를 먼저 확인해야 하는 사안입니다.

이미 삭제된 자료는 애초에 목록에 없습니다. 삭제 흔적 확인은 데이터 리뷰가 아니라 포렌식 분석 절차입니다.

그래서 "AI 리뷰에서 나온 것이 없다"는 결과는 "문제가 없었다"와 같지 않습니다. 검토 범위 안에서 나오지 않았다는 뜻입니다. 이 차이를 보고서에 적어 두지 않으면 검토하지 않은 자료까지 확인이 끝난 것처럼 전달됩니다.

검토를 맡기기 전에 정해 두면 좋은 것

1. 무엇을 찾는지 문장으로 적습니다

"부정 여부 확인"은 기준이 되지 않습니다. "특정 기간에 대상자가 사외 계정으로 설계 자료를 보낸 사실이 있는지"처럼 좁혀 적을수록 분류 정확도가 올라갑니다. 쟁점이 여러 개면 나누어 적습니다.

2. 원본을 확보한 뒤에 검토를 시작합니다

메일함에서 필요해 보이는 것만 내려받아 정리한 파일로 검토하면 나중에 원본과 대조하기 어려워집니다. 대상 계정과 장비를 정해 원본 상태 그대로 확보하고, 언제 어떤 방식으로 확보했는지 기록해 둡니다.

3. 어떻게 좁혔는지 기록을 남깁니다

몇 건에서 몇 건으로 줄었는지, 어떤 조건을 적용했는지 남겨 둡니다. 왜 이 문서만 보았느냐는 질문이 나왔을 때 답할 수 있는 근거입니다.

4. 자료를 어디에 올려 검토할지 미리 정합니다

개인정보와 영업비밀이 함께 들어 있는 자료를 외부 서비스에 올리는 일은 별도 검토가 필요합니다. 검토 환경과 접근 권한, 보관 기간을 시작 전에 정해 두는 편이 안전합니다.

AI 리뷰는 읽을 문서를 줄이는 작업입니다. 무엇이 문제인지 가려내고 그 판단을 원문으로 확인하는 일은 사람이 합니다. 검토 결과를 받으면 상위 목록보다 먼저 확인할 것이 있습니다. 어떤 자료가 검토 범위에 들어갔고 어떤 자료가 빠졌는지입니다.

※ 해당 게시물은 생성형 AI를 이용해 제작되었고, 전문가 검토 후 게시하였습니다.