서론

• AI 생성 콘텐츠(AIGC)는 이미지, 텍스트, 오디오, 비디오 등의 콘텐츠가 포함된 몇 년간의 중요한 관심사 .
• AIGC는 양날의 검이 되어 최근 책임 있는 사용과 관련하여 많은 비판을 받고 있는 상황이다.

프라이버시

• 개인정보 노출. 대규모 기반 모델은 프라이버시 위험에 취약
• 이러한 모델을 기반으로 구축된 AIGC 모델도 개인정보 노출의 위험성이 있음
  • Stable Diffusion은 훈련 데이터에서 이미지를 기억[Rombach et al., 2022c].
  • Stable Diffusion과 구글의 Imagen은 실제 인물 사진 및 저작권 이미지를 노출시킬 수 있음 [Heikkila ̈, 2023].
  • 최근 소송[Butterick, 2023]에서는 시스템 내 모든 시각 정보가 저작권 보호를 받는 훈련 이미지에서 파생되었기 때문에, 외관상의 차이가 있더라도 생성된 이미지는 반드시 해당 훈련 이미지에서 파생된 작품이라는 점을 지적
• 마이크로소프트와 아마존과 같은 회사들은 ChatGPT와의 중요한 데이터 공유를 금지함으로써 직원의 기밀 유출을 방지하기 위한 조치 취했음 → 이러한 정보는 ChatGPT의 미래 버전의 훈련 데이터로 사용될 가능성이 있기 때문이다.

편향, 독성, 오류정보

• 문제가 있는 데이터셋과 AIGC 모델. AI 모델에서 사용되는 훈련 데이터는 실제 세계에서 수집되기 때문에, 유해한 인식을 강화하고 특정 집단을 배제하거나 주축화하며, 독성 데이터 소스를 포함할 수 있음[Weidinger et al., 2021].
  • LAION 데이터셋은 사회적 고정관념, 성적 요소, 인종 차별적 발언 및 폭력과 관련된 문제가 있는 내용을 담고 있다는 비판을 받음
  • Imagen과 같은 일부 AIGC 모델은 음란물 이미지 및 독성 언어와 같은 바람직하지 않은 데이터를 걸러내려고 노력하지만, 걸러진 데이터에는 여전히 성적으로 은밀하거나 폭력적인 내용이 포함될 수 있음
  • Stable Diffusion v1은 주로 영어 설명이 포함된 LAION-2B 데이터셋으로 훈련되었다. 그 결과, 모델은 백인, 서구 문화에 편향되어 있음
  • Stable Diffusion 모델의 후속 버전은 LAION 데이터셋의 필터링된 버전으로 세부 조정되었지만, 편향 문제는 여전히 발생
  • 비슷하게, DALLA·E와 DALLA·E 2는 소수 집단에 대한 부정적인 고정관념을 나타내는 것으로 발견되었음
  • 구글의 Imagen은 더 밝은 피부 톤을 가진 사람들의 이미지를 생성하고 서구의 성적 고정관념과 일치시키는 등의 여러 사회적 편견과 고정관념을 인코딩하고 있다
• 또한, 모델이 부정확하거나 거짓 답변을 제공할 때 오류정보의 위험이 있음 따라서 학교, 법률, 의료 영역, 기상 예측 또는 어디에서든지 오해를 불러일으킬 우려가 있음.
• OpenAI는 DALLA·E 2의 훈련 데이터에서 모든 폭력적이거나 성적인 콘텐츠를 제거하기 위해 원래의 훈련 데이터셋을 신중하게 필터링하는 추가 조치를 취했음. 그러나 필터링은 훈련 데이터에 편향을 도입하여 다운스트림 모델로 전파될 수 있다. 이 문제를 해결하기 위해 OpenAI는 필터링에 따른 편향을 완화하기 위한 사전 훈련 기술을 개발
• AI 기반 모델이 현재 사회 상황을 반영하도록 보장하기 위해서는 AIGC 모델에서 사용되는 훈련 말뭉치를 최신 정보로 주기적으로 업데이트하는 것이 중요
• 소스 데이터셋에서 편향과 고정관념이 줄어들 수 있지만, AIGC 모델의 훈련 및 개발 과정에서 전파되거나 심화될 수 있음 → 따라서 데이터 소스 수준에 머무르는 것이 아니라 모델 훈련 및 개발의 전체 수명주기 동안 편향, 독성 및 오류 정보의 존재를 평가하는 것이 중요

지적재산권 보호

• 생성된 콘텐츠가 기존 작품을 인용하거나 복사하는 경우에는 의도적으로든 그렇지 않든 지적재산권 침해 문제가 제기될 수 있으며, 이에 대한 법적 문제가 제기 가능성 존재
• 2022년 11월, Matthew Butterick은 Microsoft의 계열사 GitHub이 제품 Copilot이 저작권법을 위반했다는 이유로 집단 소송 제기 [Butterick, 2022].
  • 이 소송은 Copilot이 인터넷에서 라이선스가 부여된 코드 부분을 표절하고, 출처를 명시하지 않고 불법적으로 사용한 것을 중심으로함
  • Texas A&M 대학교 교수 Tim Davis는 자신의 코드가 Copilot에 의해 말 그대로 복사되었다는 예시를 제공했다.
  • Microsoft와 OpenAI는 Copilot이 공개된 GitHub 저장소의 오픈 소스 소프트웨어를 기반으로 훈련된다는 것을 인정했지만, Microsoft는 Copilot의 출력물이 단순히 코드 "제안"의 연속이며, 이러한 제안에 대한 권리를 주장하지 않는다고 주장. 또한 Microsoft는 생성된 코드의 정확성, 보안성 또는 저작권에 대한 어떠한 보장도 제공하지 않고 있음
• 텍스트-이미지 모델의 경우, 여러 생성 모델들이 작가들의 창의적 작업을 침해했다는 비난을 받았다.
  • [Somepalli et al., 2022]은 Stable Diffusion과 같은 인공지능 시스템이 학습 데이터에서 복사한 증거를 제시
• Midjourney는 DMCA 테이크다운 정책을 서비스 약관에 추가하여, 저작권 침해를 의심하는 작가들이 데이터셋에서 자신의 작품을 제거 요청할 수 있도록 했음
• 비슷하게, Stability AI는 Stable Diffusion의 향후 버전에서 자신을 제외할 수 있는 옵션을 작가들에게 제공할 계획
• 워터마크를 이용하여 저작권 보호를 시도, 이는 Getty Images 워터마크가 있는 Stable Diffusion에서 확인할 수 있음 [Vincent, 2023].
• OpenAI는 자체 GPT 모델로 생성된 텍스트를 식별하기 위한 워터마크를 개발 중,Google은 이미지에 Parti 워터마크를 적용
• 또한, OpenAI는 인공지능이 생성한 텍스트와 사람이 작성한 텍스트를 구분할 수 있는 분류기를 공개

기타 리스크

• 남용에 대한 우려: AIGC를 가능하게 하는 기반 모델들은 원본과 매우 유사한 딥페이크 생성을 더 쉽고 저렴하게 만들었음
• 독립공격에 대한 취약성: 기반 모델이 영향을 받을 경우, 그것은 대참사가 될 수 있음
• 인공지능 챗봇(ChatGPT)이 인간 직업을 대체할 가능성에 대한 논쟁: AIGC의 사용은 일부에서 인간 직업을 대체할 가능성에 대한 우려 존재
• 설명 가능한 AIGC: AIGC의 기반 모델의 블랙박스 특성은 불만족스러운 결과를 낳을 수 있음
• 책임 있는 공개 소스: AIGC 뒤에 있는 코드와 모델은 공개적으로 투명하지 않으며, 그들의 다운스트림 응용 프로그램은 다양하고 복잡한 사회적 영향을 미칠 수 있기 때문에, 특정 사용 사례에서 AIGC의 잠재적 위험보다 이점이 더 큰지를 결정하는 데 있어서 책임 있는 공개 소스의 필요성이 중요
• 사용자 피드백: 사용자 피드백 수집은 책임 있는 AIGC의 중요한 요소

References

• A Pathway Towards Responsible AI Generated Content