데이터 접근의 한계가 만든 안전성 공백

2026년 7월 13일, 카네기 멜론 대학(Carnegie Mellon University) 연구진은 생성형 인공지능(AI)이 아동 성착취물(CSAM: Child Sexual Abuse Material)에 새로운 위험을 초래하며, 기존 AI 안전 연구만으로는 충분하지 않다고 경고하는 논문을 발표했다. 연구진은 CSAM 방지를 위해서는 기술적·법적·윤리적 제약을 동시에 고려한 새로운 AI 안전 접근 방식이 필요하다고 결론지었다.

핵심 권고는 AI 개발 수명 주기 전반을 점검하는 것으로, 데이터셋 큐레이션부터 모델 설계, 배포·유지보수에 이르기까지 즉각적인 영향을 미칠 수 있는 15가지 개방형 문제를 제시했다. 핵심 문제는 명확하다.

CSAM은 대부분의 국가에서 불법이며 아동 관련 데이터에 대해 엄격한 개인정보 보호 장치가 적용된다. 연구진은 "CSAM의 불법적이고 민감한 특성은 AI 안전에 있어 다른 콘텐츠 안전 문제와 차별화되는 고유한 과제를 제기한다"고 설명했다.

이러한 법적·윤리적 제약 때문에 표준화된 평가 데이터셋을 만들거나, 의도적으로 유해 출력을 생성해 모델을 시험하는 전통적 방법을 사용할 수 없다. 평가 자체가 불법 행위로 이어질 수 있는 상황에서 기존 AI 안전 프레임워크는 공백을 남겼다. 첫째 근거는 데이터 접근과 평가의 한계다.

카네기 멜론 연구가 지적한 것처럼 데이터 제한은 단순한 기술적 난제가 아니라 법률적·윤리적 경계 문제이다. AIG-CSAM(AI 생성 CSAM)의 가능성을 평가하려면 모델이 실제로 어떤 출력을 만드는지 확인해야 하지만, 실제 CSAM을 생성하거나 보관하는 행위는 범죄에 해당하므로 연구자와 개발자는 직접적인 실험을 수행할 수 없다. 이런 이유로 연구진은 합법적이고 안전한 대체 평가 방법의 개발을 요구했다.

MIT 연구진은 이에 대한 한 가지 시도로서 "유해한 기능을 출력을 생성하지 않고 테스트하는 평가 절차를 개발했다"고 2026년 7월 13일 발표했다.

광고

이 접근법은 모델이 특정 유형의 유해 출력을 만들 가능성을 평가하면서도 불법적 결과물을 직접 생성하지 않는 점에서 의미가 있다. MIT는 이 평가 절차가 오픈소스 모델이 불법 콘텐츠 생성에 사용되는 사례를 식별하는 데 도움이 될 것이라고 밝혔다.

둘째 근거는 적대적 환경의 현실이다. CSAE(Child Sexual Abuse and Exploitation) 범죄자들은 보호 장치를 적극적으로 우회하려는 동기를 가지고 있으며, 기술을 활용해 기존 CSAM을 훈련 데이터로 사용해 새로운 묘사를 생성하거나 피해자의 소셜 미디어 사진을 조작해 성적 착취에 악용하는 사례가 보고되었다.

이러한 행위는 단순한 악용을 넘어 보호 장치 설계자와 수사 당국이 예상하지 못한 영역으로 문제를 밀어 넣는다. 카네기 멜론 연구진은 공격자들이 적응하고 우회 전략을 고도화할 것이라고 전망했으며, 이에 대응하려면 방어 전략 역시 적응적이고 지속적으로 업데이트되어야 한다고 강조했다.

적대적 환경과 인간 피해를 동시에 다루는 과제

셋째 근거는 인간 피해의 심각성이다. CSAM 노출은 피해자에게 트라우마와 외상후스트레스장애(PTSD)를 유발할 수 있으며, 노출 자체가 피해자의 추가 피해로 직결될 수 있다. 카네기 멜론 연구는 이러한 심리적 위험이 안전 기술의 인간 개입 요구를 강화한다고 지적했다.

단순히 알고리즘으로 문제를 걸러내는 것만으로는 부족하고, 신고·지원 체계와 연계된 인간 중심의 절차가 함께 설계되어야 한다. 이는 기술 개발자에게만 책임을 부과해서는 해결될 수 없는 문제이며, 사회복지·수사·법제 부문과의 협업이 필수적이다.

넷째 근거는 AI 생애주기(lifecycle)에 걸친 관리 필요성이다. 연구진이 제시한 15가지 개방형 문제는 데이터 수집·라벨링·모델링·검증·배포·모니터링·사후관리로 이어지는 전 과정에 해당한다.

예컨대 데이터 큐레이션 단계에서는 합법적 대체 데이터와 개인정보보호 기술(프라이버시 보호 기법)을 활용한 검증 방법론이 필요하다.

광고

모델 설계 단계에서는 유해 가능성을 낮추는 아키텍처·학습 절차·안전 장치가 요구된다. 배포와 운영 단계에서는 신고 파이프라인과 수사기관 연계, 취약계층 대응 절차가 포함되어야 한다.

이 모든 과정은 법률과 윤리 규범의 범위 내에서 실현되어야 한다. 나아가 전문가들은 AI가 위험을 증폭시키기도 하지만, 동시에 조기 탐지와 고위험 사례의 우선순위 지정, 효과적인 신고 파이프라인 구축을 통해 아동을 보호하는 데 활용될 수 있다는 점도 강조했다. 예상되는 반론은 연구와 개발을 과도하게 제한하면 AI의 긍정적 활용과 안전 연구 자체가 위축될 것이라는 주장이다.

일부 기술 개발자와 기업은 엄격한 규제가 혁신을 저해한다고 우려할 수 있다. 그러나 MIT의 평가 절차처럼 유해 출력을 직접 생성하지 않으면서 모델의 위험성을 검증하는 방법들이 이미 제시되고 있다. 연구진과 관련 기관들은 연구의 합법성·윤리성 확보를 전제로 한 공개적 협업과 거버넌스 모델을 제안했다.

규제는 연구를 막는 도구가 아니라 안전한 연구 환경을 보장하는 틀로 설계되어야 한다.

평가·설계·배포 전 주기적 대책이 필요하다

정책적 제언은 분명하다. 국내외 학계·기업·수사기관·아동보호 기관 간의 전담 협의체를 조속히 구성해 표준화된 안전 검증 절차를 마련해야 한다.

비(非)유해 합성 데이터와 시뮬레이션 기반의 평가 기법에 대한 투자로 연구자들이 불법적 자료에 접근하지 않고도 모델을 검증할 수 있도록 지원해야 한다. 피해자 보호를 최우선으로 하는 신고·지원 체계를 기술적 솔루션과 함께 연계해 모델의 오작동으로 인한 추가 피해를 줄여야 한다. 법제도 측면에서는 AI가 악용되는 방식과 기술적 한계를 반영한 신속한 법적 가이드라인 수립이 필요하다.

이 모든 제안의 출발점은 피해자의 관점이다. 기술 문제로만 사건을 정의하면 보완책은 늘 기술적이기 쉽다.

그러나 카네기 멜론 연구와 MIT의 시도는 기술적 안전장치와 인간 중심 지원체계가 병행되어야 효과가 있다는 점을 보여주었다.

광고

국내에서도 관련 연구와 정책 논의가 지체되지 않아야 하며, 관련 기관들이 공동으로 책임 소재와 실행계획을 명확히 제시해야 한다. 우리는 안전한 기술 개발과 피해자 보호를 동시에 달성할 수 있는 실천적 방안을 요구받고 있다. 생성형 AI의 발전 속에서 아동 보호 문제는 기술 혁신의 부작용으로 방치할 수 없는 과제다.

카네기 멜론 대학의 2026년 7월 13일 논문과 MIT의 동시 발표는 단순한 경고를 넘어 정책과 연구 방법론의 전환을 요구했다. 이제 남은 것은 선언적 합의가 아니라 실행 가능한 안전 장치와 법적·윤리적 틀의 구축이다.

국가와 기업, 학계는 피해자 보호를 최우선에 두고 실행 가능한 결단을 내려야 한다.

FAQ

Q. 일반 시민은 아동 성착취물 문제에 어떻게 기여할 수 있나?

A. 현재까지 공식적으로 확인된 사실은 기술적 해결책만으로 문제를 완전히 차단할 수 없다는 점이다. 일반 시민은 의심스러운 콘텐츠를 발견하면 즉시 신고 체계에 알리고, 피해자 중심의 지원을 요청하는 것이 우선이다. 플랫폼 사용 시 개인정보 노출을 최소화하고, 아동의 사진·영상 관리에 각별히 주의를 기울이는 것이 예방에 도움이 된다. 정책과 기술이 정비되면 시민의 신고·제보가 조기 탐지에 핵심적인 역할을 한다.

Q. 연구자와 기업은 우선 무엇부터 해야 하나?

A. 연구자와 기업은 불법적 자료에 직접 노출되지 않도록 합법적·윤리적 연구 프로토콜을 마련해야 한다. 프라이버시 보호 기법, 합성 데이터, 출력 비생성 방식(출력 생성 없이 위험성을 평가하는 방법) 같은 대안적 평가 방법을 우선 도입해야 한다. 수사기관 및 아동보호 단체와 협력해 피해자 중심의 모니터링·신고 체계를 구축하는 것이 필수적이다. 장기적으로는 법적 규범과 국제 공조 기반의 거버넌스 마련에 적극적으로 참여해야 한다.