최근 SNS에서 화제가 된 카메라 어플 ‘스노우(Snow)’의 AI 프로필 기능과 대화형 인공지능 ‘ChatGPT’. 둘은 언뜻 거리가 멀어 보이지만 생성형 인공지능이라는 같은 종류의 인공지능을 이용한다. 생성형 인공지능은 사용자가 입력하는 바에 따라 주어진 데이터를 활용해 텍스트, 이미지, 동영상, 오디오 등 새로운 콘텐츠를 생성하는 인공지능이다. 적은 시간과 비용으로 원하는 이미지를 만들 수 있다는 장점 덕분에 AI 프로필, 웹소설 표지 그림 등 이미지 분야에서 생성형 인공지능의 사용이 늘어나고 있다. 그러나 이에 따른 문제점도 생겨났다. 대표적인 사례가 AI 음란물이다. 이미지 생성 인공지능을 통해 선정적인 모습의 가상 여성을 연출한 이미지가 확산되고 있는 것이다. AI 음란물은 어떻게 만들어지며 왜 문제일까.
AI 음란물, 어떻게 만들어지고 공유될까
작년 8월, 생성형 인공지능 개발 회사 StabilityAI는 텍스트를 이미지로 만들어주는 인공지능 소프트웨어 ‘Stable Diffusion’을 오픈소스 라이선스로 배포했다. 이에 따라 기업이나 전문가가 아닌 개인들도 높은 수준의 이미지 생성 AI를 손쉽게 이용할 수 있게 되며 AI 이미지 생성이 활발해졌다.
올해 초부터 몇몇 국내 온라인 커뮤니티에서는 AI 이미지와 학습 기법들을 공유하는 게시판들이 생겨나기 시작했다. 별도 프로그램이나 모델을 설치하지 않아도 해당 게시판 내에서 게시물 작성 중 ‘AI 이미지’ 기능을 클릭하고 키워드만 입력하면 그에 기반한 이미지를 생성하고 공유할 수 있다. 생성 AI 기술의 접근성과 용이성이 크게 증가한 것이다. 생긴 지 반년이 채 안 됐음에도 이런 게시판들에는 결과물을 공유하고 질문을 주고받는 수많은 글이 꾸준히 올라오고 있다.
이에 생성형 AI를 악용해 가상 인물이 등장하는 선정적인 콘텐츠, 즉 AI 음란물을 만드는 이용자들도 생겨났다. 이들이 만드는 결과물들은 대부분 노출이 많은 의상이나 특정 부위가 과도하게 강조되는 자세 등 여성 신체를 성적 대상화하는 이미지다. ‘4k’ 등의 명령어를 통해 높은 해상도로 만들어져 실제 사람의 사진으로 착각할 정도다. 커뮤니티 댓글창에서는 콘텐츠의 선정성에 대한 평가와 이미지를 더욱 사실적으로 만드는 방법의 공유가 이뤄지고 있었다.
음란물에 가까운 AI 콘텐츠들은 국내 온라인 커뮤니티뿐 아니라 유튜브 및 해외 사이트를 통해서도 퍼져나가며 수익화에도 활용되고 있었다. 한 유튜브 채널은 군인, 경찰 등 특정 직업군의 여성을 물화하는 내용의 영상으로 높은 조회수를 기록했고, 일부 채널은 유료 멤버십에 가입하도록 유도하거나 창작물 후원 플랫폼 등 타 사이트로 연결되는 링크를 첨부하기도 했다. 해외 사이트 이용 방법이나 수익을 창출하는 노하우, 유튜브에서 ‘노란 딱지’와 같은 수익제한 조치에 걸리지 않는 방법 등은 커뮤니티에서 다시 공유되고 있었다.
AI 음란물, 왜 문제인가
음란물일지라도 AI 음란물은 가상인물의 성적 이미지니 실제 사람에 대한 것이 아니라 문제가 되지 않는다는 시각도 있다. 그러나 이러한 이미지들은 실존 인물의 사진을 바탕으로 만들어졌기에 완전한 가상의 이미지가 아니다. 음란물 제작 목적의 AI 학습에 무분별한 *크롤링을 통해 수집된 연예인이나 일반인 여성들의 SNS 사진들이 이용되고 있으며, 이렇게 학습된 모델이 이용자 사이에서 다시 공유된다. 온라인상에서 열람할 수 있고, 크롤링할 수 있는 사진이라면 별도 동의 절차 없이도 AI 음란물의 기반 데이터가 될 수 있는 것이다.
*크롤링: 소프트웨어 따위가 웹을 돌아다니며 유용한 정보를 찾아 특정 데이터베이스로 수집해 오는 작업 또는 그러한 기술
만약 AI 음란물을 위한 학습 데이터에 개인의 사진이 들어간다면 인식하고 규제할 수 있을까. ‘성폭력범죄의 처벌 등에 관한 특례법’과 ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률’은 특정 실존 인물을 대상으로 한 ▲불법촬영물 촬영, 반포, 소지, 구입, 저장과 시청 ▲허위영상물(합성물)의 반포 목적 편집과 반포 등 ▲이외 음란물의 배포, 전송을 처벌 대상으로 삼고 있다. 그러나 AI 음란물은 특정 한 명이 아닌 여러 명의 실존 인물 사진을 학습해 새로이 생성한 이미지이기에 처벌 대상이 아니다.
StabilityAI는 〈BBC〉와의 인터뷰에서 ‘불법이거나 부도덕한 목적의 오남용을 금지하고 있다’고 밝혔다. AI 음란물 판매가 이루어지는 창작물 후원 플랫폼 ‘패트리온’ 또한 〈BBC〉에 ‘인터넷에서 AI가 생성한 유해 콘텐츠가 늘어나는 것을 인식하고, 자체적으로 발견·제거하고 있다’고 덧붙였다. 그러나 입법 논의와 규제, 모니터링 강화 등 AI 음란물에 대한 공공 차원의 대대적 개입 없이는 기업들의 자율적 규제도 AI 음란물의 제작과 유포, 심지어 판매를 저지하는 데 역부족이다.
이미지 제작자들 또한 법의 허점을 인식하고 결과물에서 특정 인물이 보이지 않도록 AI를 학습시키고 있다. 한 커뮤니티에서 높은 추천수를 기록한 게시물의 학습 모델 설명에는 ‘겹치지 않는 여러 실존 인물들의 이미지를 데이터셋으로 학습시킨 후, 나온 **로라로 이미지를 생성해 다시금 2차 가공한 로라이기에 사실상 실존 인물의 얼굴이 나올 수 없으므로 안심하고 사용하길’ 바란다는 설명이 적혀있다. 자신의 사진이 쓰였더라도 결과물을 보고는 사용 여부를 알 수 없다는 것이다.
**로라(LoRA, Low-Rank Adaptation): 이미지 생성 AI ‘Stable Diffusion’에서 상황별로 목표하는 결과물이 더 잘 나올 수 있도록 사용하는 추가 학습기법의 일종이다. 그림체, 자세, 옷, 특정 캐릭터나 사람의 얼굴 등을 포함할 수 있으며, 스타일을 만들어주는 모델에 특정 이미지들의 얼굴을 학습한 로라를 결합하는 방식으로 사용되곤 한다.
다만 아동·청소년에 한해서는 AI 성착취물 처벌 가능성이 엿보인다. 교복을 입는 등 아동·청소년으로 명백하게 인식될 수 있는 표현물이 등장해 성적 행위를 하는 내용이 있는 경우엔 ‘아동·청소년의 성보호에 관한 법률’에서 규정하는 아동·청소년성착취물에 해당해 처벌 받을 수 있다. 7월 25일 국내에서 한 40대 남성이 이 혐의를 포함해 구속 기소된 바 있다. 그러나 아동·청소년을 포함하지 않은 가상의 이미지일지라도 AI 음란물은 여전히 문제적이다.
AI 음란물 커뮤니티에서는 실제 여성과 유사도가 높은 자연스러운 이미지를 생성하는 데 열중하고 있다. 다양한 의상과 자세로 이미지 속의 여성을 성적 대상화하는 일에도 초점을 두고 있었다. 이는 AI 음란물의 제작 목적이 특정 인물보다는 여성 자체의 성적 대상화에 있음을 시사한다. 특정 개인을 대상으로 하지 않더라도 여성 자체를 동등한 인간이 아닌 성적 대상으로 취급하거나 신체부위로 환원하는 등 AI 음란물이 성적 대상화의 일환임은 마찬가지인 것이다. 한국성폭력상담소 성문화운동팀 김신아 활동가는 〈한겨레〉와의 인터뷰에서 AI 성착취물이 ‘남성의 욕망과 시선에 부합하도록 여성의 몸을 이미지화했다는 점에서 문제적’이라며 ‘수많은 성착취물이나 리얼돌이 여성에 대한 왜곡된 상을 재현하고 있는 것과 같은 해악을 끼칠 수 있다’고 경고했다.
피해자가 특정되지 않더라도 여러 여성의 실물 이미지를 이용해 여성이란 한 젠더의 신체 이미지를 제작, 공유, 소비하는 것은 기술을 매개로 한 젠더 폭력의 일종이기도 하다. AI 음란물 제작이 단순히 ‘음란’의 문제를 떠나 성차별적인 문화에 기여한다고 볼 수 있는 이유다.
AI가 윤리와 함께 나아가려면
날로 발전하는 기술은 점점 인간의 삶과 뗄 수 없는 관계가 돼가고 있다. AI로 만든 성착취물이 인터넷에서 무방비하게 퍼져나가는 가운데, 생성형 AI의 윤리적인 사용에 대한 고민이 필요하다.
생성형 AI가 별다른 규제와 윤리적 숙고 없이 활용되고 있는 상황에 대해 이미 전문가들은 우려를 표하고 있다. 한양대 정동선 교수(창의융합교육원)는 지난 5월 한국콘텐츠진흥원이 주관한 ‘2023 콘텐츠산업포럼’에서 “AI를 활용한 콘텐츠의 80%가 성산업이나 범죄 등에 활용되고 있다”며 “사진·영상·목소리 등은 물론 인간의 뇌와 감정을 자극하는 시도까지 이어지고 있다”고 지적했다. 서울여대 김명주 교수(정보보호학과)는 〈한겨레〉와의 인터뷰에서 ‘처음 이미지를 만든 사람에게 책임을 물을 수 있도록 모든 AI 이미지에 워터마크를 표시하게 하는 등의 조처가 필요하다’고 한 바 있다.
여러 실존 인물들의 사진을 학습시켜 만든 모델을 ‘안심하고 사용’할 수 있는 주체는 누구일까. 우리의 미래는 구성원 모두가 안심하고 살아갈 만한 사회라고 할 수 있을까. 서울교대 변순용 교수(윤리교육과)는 ‘데이터 윤리(Data Ethics)’의 중요성에 대해 “어떤 데이터를 선택할지는 언뜻 보면 기술적 문제인 듯 싶지만 데이터의 선택-생성-처리-폐기의 모든 과정 속에 윤리적 결정이 들어가 있다”며 “학습 데이터를 어디서 가져오고, 어떻게 다룰 것인지에 대해서도 윤리적 기준이 필요하다”고 말했다. 변 교수는 “윤리적인 숙고를 하지 않은 채 이미 상용화돼버렸기 때문에 이제라도 윤리적 숙고가 필요하다”며, “인간의 인간다움을 보장하는 방향으로 생성형 AI 윤리에 대한 사용, 개발, 관리에 대한 합의를 도출해야 한다”고 강조했다.
AI 음란물은 새로운 기술의 등장과 여성에 대한 성적 대상화·젠더 폭력이 함께 결합한 문제다. 인공지능을 제작하는 기업뿐만 아니라 이용자들도 윤리적 고민과 노력을 해야 하는 이유다. 기술과 젠더에 대한 공공의 문제의식과 노력이 함께 나아가야 비로소 생성형 AI를 통한 윤리적 콘텐츠 개발이 가능할 것이다.
