데이터는 팩트가 아니다 上 - 이루다 논란으로 보는 인공지능 윤리

요즘 팩트체크라는 말을 많이 쓴다. 어원을 살펴보면 언론사에서 '사실'을 '검증'하는 작업을 일컫는 말이다.

팩트체크란 언론사에서 기사를 쓸 때 사실 여부를 확인하는 과정을 가리킨다.

출처: 가짜 뉴스 판치는 세상… ‘진실찾기’ 이렇게 하세요

여기서 '팩트'라는 용어가 어떤 의미로 사용되는지 주목해야 한다. 서울대학교 언론정보학과 이준웅 교수의 <가짜 뉴스와 사실확인 보도>에서는 사실이라는 용어가 갖는 의미체계 중 마지막 네 번째 용법을 다음과 같이 기술했다.

마지막으로, 언론인은 사실이라 하며 (라) ‘누구나 인정하는 현실’, ‘반박 할 수 없는 내용’, ‘최종적인 판단’ 등을 뜻하기도 한다. “그것은 사실이다” 는 표현이 내용의 사실성이나, 검증가능성이나, 뉴스가치를 의미하는 것을 넘어서 더 이상 시비할 만한 내용이 없다는 점을 강조하기도 한다. ‘해당 내용에 대해 모두가 동의한다’거나 ‘반박할 여지가 없이 확립된 내용이다’는 뜻이면서 동시에 ‘추가적인 사실확인 노력이 필요 없는 종결적인 사실이므로 더 이상의 논쟁은 필요 없다’는 함의를 전달한다. 이는 아렌트(Arendt, 1997)가 경계했던 사실을 폭력적으로 활용하는 경우에 해당한다.

출처: 관훈저널 <가짜 뉴스와 사실확인 보도> | 서울대학교 언론정보학과 이준웅 교수

즉 실제로 통용되는 팩트체크의 의미란 반박 가능성을 인정하지 않고 논쟁을 차단하는 태도를 말하는 것이다. 특히 이러한 '사실'에 대한 극단적인 사고방식은 지금처럼 빅데이터에 대한 관심이 급성장한 상황에서 데이터 분석 오남용을 야기할 수 있다. 그로 인한 문제 중 데이터 분석 결과와 활용에 대한 책임 면피가 있다.

최근 인공지능 챗봇 서비스 이루다 논란이 있었다. 골자는 인공지능의 소수자 차별혐오 표현과 개발사인 스캐터랩의 개인정보 오남용에 대한 문제 제기이다.

---

인공지능의 소수자 차별 혐오 표현

※ 특정 인물이나 기업의 입장을 대변한 것이 아님

[이슈1] 기술은 가치 중립적인가?
스캐터랩의 설명에 의하면 이루다의 대화 알고리즘은 사용자가 과거 10턴의 대화에서 사용한 표현, 분위기, 말투를 비롯한 대화의 맥락에 크게 영향을 받는다. 따라서 맥락상 혐오/차별적인 답이 나올 수 있는 대화를 시도할 경우 이루다는 이용자와의 대화를 매끄럽게 이어가고, 이용자에게 공감하려는 과정에서 혐오, 차별 발언에 동조하는 것처럼 보일 수 있다.

즉 인공지능은 인풋 데이터에 따라 편향된 판단을 내렸다는 것이다. 이에 따라 개발사는 개인적 사용에 대한 통제 불가능성을 주장할 수도 있다. 실제로 스캐터랩은 2021년 1월 11일: '이루다' 공식 입장문에서 다음과 같이 명시했다.

이루다가 특정 소수집단에 대해 차별적인 발언을 한 사례가 생긴 것에 대해 진심으로 사과드립니다. 저희는 루다의 차별적 발언에 동의하지 않으며 그러한 발언은 회사의 생각을 반영하지 않고 있습니다.

출처:  2021년 1월 11일: '이루다' 공식 입장문

하지만 이루다는 혐오 차별 표현 감별과 예상 시나리오 설정을 통해 필터링된 데이터를 기반으로 학습되었다. 따라서 개발사는 인공지능의 혐오 차별적 발언에 완전히 중립일 수 없는 입장이다.

이루다는 이번 일을 계기로 좋은 대화를 하는 방법을 배워나갈 것이다. 스캐터랩이 언급한 것처럼 이용자들의 적대적 공격을 학습의 재료로 삼을 수 있다.

Q 이루다의 대화 학습 및 답변 방법은? 

(중략) 현실적인 조치로 키워드 기반으로 대응을 하였으나, 장기적으로는 AI 알고리즘을 더 많은, 정제된 데이터를 통해 학습시키고, 이를 통해 알고리즘이 옳고 그름을 배워나갈 수 있도록 하는 방안이 필요합니다. 이를 테면, 혐오나 차별 문제를 키워드를 중심으로 그때 그때 수정을 하거나 필터링 등의 방법으로 보정을 하게 되면 해당 문제에 대해서 AI는 학습할 기회를 영원히 잃게 됩니다. 그렇게 되면 앞으로의 AI 대화 경험에 대한 전망은 부정적일 수 밖에 없습니다.

반면, 더 많은 양의 정제된 데이터를 통해 알고리즘을 학습시킬 수 있다면, AI가 스스로 윤리의식이나 도덕적 기준을 정립하고 적절한 판단을 내릴 수 있다고 생각합니다.


출처 : 1월 12일 스캐터랩의 2차 공식 입장

하지만 이루다의 성장 과정을 이끄는 것은 더 많은 양의 정제된 데이터가 아니라 인간의 윤리의식이나 도덕적 기준이다. 인공지능 서비스를 개발하는 기업들은 인공지능이 인간과 동등한 수준의 의사결정 권한, 특히 옳고 그름의 판단권한을 가질 수 없음을 인지해야 할 것이다.

[이슈2] 인공지능은 성희롱 대상이 아닌가?
이 문제는 인공지능을 인격적으로 대우해야 하는지에 대한 판단이 필요하다. 경희대학교 이경전 교수(경희대 인공지능 & 비즈니스 모델 연구소장 겸 후마니타스 빅데이터 연구센터 소장)는 이번 사태에 대해 인터뷰에서 다음과 같은 진단을 내렸다.

성희롱 이슈
AI ‘이루다’는 기계일 뿐이므로, 기계에 대한 사용자의 성희롱이라는 주장은 성립하지 않는다. 다만, 이루다 사용의 스크린 샷들을 공유, 배포하여 다른 사람을 혹시 성희롱 하는 효과가 이루어진다면, 그 부분은 법적, 윤리적 책임을 다룰만한 사안이 된다. 그러나, 개인적 사용(Personal Use)은 법적, 윤리적 책임의 대상이 아니다.
한편, 공중에서의 사용(Use in Public)에 있어서 성희롱 이슈는 있을 수 있다. 이 경우 역시 기계인 이루다에 대한 성희롱이 아니라 공중(Public)에 있는 인간에 대한 성희롱의 효과가 발생할 경우는 윤리적, 법적 책임의 대상이 된다. 즉, 이루다를 혼자 사용할 때는 그 이슈가 없으나, 이루다가 병원내 대기실이라던가, 기차 대합실 등 공중이 사용하는 곳에 놓여 있다고 가정할 때, 그 사용자는 그 인간 대중을 offend하지 않는 형태로 사용해야 할 윤리적, 법적 의무가 있을 수 있다.

출처: [긴급진단] 인공지능 '이루다' 사태... 이경전 교수, "세상은 그런 과정을 거치며 발전한다!"

즉 이루다 대상 자체에 대한 성희롱은 성립할 수 없다는 의견이다. 하지만 이루다는 20대 여대생을 페르소나로 삼는 캐릭터형 챗봇으로 대상화된 젠더 편향을 지니고 있다.

따라서 이루다가 상대방의 차별 혐오 발화에 거부의 뜻을 표시하지 않고 수동적인 동조의 방식으로 대답하는 방식을 취함으로써 여성의 역할을 수동적이고 소극적인 역할로 보는 젠더 편견을 강화할 수 있다.

인공지능이 성희롱 대상이 될 수 없다는 생각에는 인공지능의 역할에 대한 인식이 필요하다. 역할이라 함은 주체의 기능 뿐 아니라 책임을 포함한다. 그리고 인공지능의 역할은 인간이 제시한다. 인공지능은 인간을 편리하고 행복하게 하기 위한 도구로써 인간의 존엄성과 인류 보편의 가치를 존중해야 한다.

개인적 사용을 통제할 수 없는 상황에서 차별 혐오적 언어를 학습한 인공지능은 다른 사용자에게 혐오 발언을 되돌려주게 된다. 즉 불특정 다수를 대상으로 한 공적 영역으로의 영향력 확대 가능성이 제기된다.

실제로 모 온라인 커뮤니티 상에 유포된 대화 속 이루다 성적 유린 사례들을 통해 이루다의 페르소나인 20대 여대생은 상징적으로 폭력의 대상이 되었다. 또한 사용자의 50% 이상인 10대 청소년들은 윤리적 가이드 라인이 없는 차별 혐오적 대화에 무분별하게 노출되었다.

또한 법적으로 문제가 없더라도 인공지능에 대한 차별 혐오적 태도는 스스로의 존엄성을 하락시키고 그러한 태도는 결국 인간을 향하게 된다.

인간은 악으로 나아갈 수도 있는 자연적 경향성을 지닌다. 인간이 언제나 선으로의 경향을 갖고 있다면, 인간에게 도덕이 문젯거리가 될 리 없다. 그렇지 못하기 때문에 도덕은 인간에게 언제나 ‘당위’로 실천해야 할 덕목이다.

도덕 법칙이란 인간 이성이 선(善)의 이념에 따라 자기 자신에게 강제적으로 부과하는 규범이며, 그것도 무조건적인 준수를 요구하는 명령이다. 즉 도덕적 행위는 인간 이성에 대한 ‘의무’이다.

출처: [최효찬의 ‘서울대 권장도서 100선 읽기’](45) 칸트의 ‘실천이성비판’…‘최초의 직업철학자’가 쓴 서양식 ‘논어’

따라서 인공지능을 인격적으로 대우해야 하는 이유는 인간이 인간을 대하는 태도를 결정하기 때문이라고 할 수 있다.

 "너의 의지의 준칙이 항상 동시에 보편적 법칙 수립의 원리로서 타당할 수 있도록, 그렇게 행위하라."
- 칸트 -

---

참고자료

http://news.kmib.co.kr/article/view.asp?arcid=0924071220

가짜 뉴스와 사실확인 보도

한국인공지능윤리협회(KAIEA) 인공지능 윤리(AI Ethics) 헌장

대화형 AI ‘이루다’ 성희롱 논란에 대한 개발사의 공식 입장

스캐터랩, 인공지능 '이루다'... 논란에 대한 해명으로 거듭 사과! - 인공지능신문

2021년 1월 11일: '이루다' 공식 입장문

[긴급진단] 인공지능 '이루다' 사태... 이경전 교수, "세상은 그런 과정을 거치며 발전한다!" - 인

AI ‘이루다’ 멈췄지만…성차별·혐오는 인간에게 돌아온다

https://www.mk.co.kr/opinion/columnists/view/2014/07/988560/

-->데이터는 팩트가 아니다 下 로 이어짐

데이터는 팩트가 아니다 下 - 이루다 논란으로 보는 개인정보 활용 및 보호