Current Status of Hate Speech Filtering Using AI and Legalization

AI를 활용한 혐오표현 필터링 현황과 법제화 방안

Abstract

This study analyzes the domestic and international status of AI-based hate speech filtering technology and proposes domestic legalization measures based on the premise that if Internet users are continuously exposed to hate speech for a long period of time, it may spread as a hate crime and strengthen social conflicts. In Korea, regulations are limited because there are no legal regulations on hate speech that is spreading through online platforms and social media, but overseas countries such as the EU have implemented systems that define the duties of platform operators along with conceptual regulations. Therefore, it examines the current state of hate speech filters using AI and suggests the direction of establishing standards through legalization to improve the efficiency of hate speech detection in Korea, an approach based on a pre-response system rather than post-punishment to reach an agreement on freedom of expression and the possibility of misuse, and the establishment of an integrated response system to ensure transparency.

본 연구는 인터넷 사용자가 혐오표현에 장기간 지속적으로 노출될 때 증오범죄로 확산되고 사회적 갈등이 강화될 가능성을 전제하여 AI 기반 혐오표현 필터링 기술의 국내외 현황과 사례를 분석하고 국내 법제화 방안을 제시한다. 한국은 온라인 플랫폼과 SNS를 통해 확산되고 있는 혐오표현에 대한 법적 규정이 없어 규제에 한계가 있지만, EU 등 해외에서는 개념 규정과 함께 플랫폼 사업자의 의무를 규정하는 제도를 시행하고 있다. 따라서 AI를 활용한 혐오표현 필터링 현황을 살펴보고 국내 혐오표현 탐지 효율성 제고를 위해 법제화를 통한 기준 마련, 표현의 자유와 악용 가능성에 대한 합의를 이뤄내기 위한 사후 처벌이 아닌 사전 대응 체계에서의 접근, 그리고 투명성 확보를 위한 통합 대응 시스템 구축 방향을 제시한다.

1. 서론

ICT의 발달은 정보 접근성, 신속한 정보 전달, 양방향 커뮤니케이션 활성화로 네트워크 강화 등의 긍정적인 효과를 이뤄냈지만 동시에 사생활 침해, 무분별한 혐오표현 확산으로 인한 사회적 갈등 강화 및 폭력 조장 등의 사회적인 문제를 야기하고 있다. ICT의 발전은 빠른 속도로 이뤄지며 그 영향력 또한 확대되고 있지만, 이와 관련된 법률의 변화는 기술 발전과 동일한 속도를 이루고 있지 않아 문제에 대한 실질적인 대응이 어려운 상황이다. 현재 국내에는 혐오표현의 개념을 정의하는 법안은 없고, 국가인권위원회가 “혐오표현을 출신 지역, 인종, 종교, 나이, 성별, 성적 지향 등의 이유로 특정 집단 또는 개인을 비하·멸시·모욕·위협하거나 차별·폭력을 선전·선동하는 표현”으로 규정한 바 있다[1].

국내에서 발생하는 혐오표현의 경우 온라인상에서 노출되는 빈도가 높은 것으로 보고된 바 있다[1]. 10-20대의 경우 사회적 자아를 형성하는 과정에서 혐오표현에 과다하게 노출될 경우 인격 형성과 사회적 관계 형성의 부정적인 영향을 미칠 가능성이 있다. 이에 더해 혐오표현에 지속적이고 장기적으로 노출될 때 특정 집단에 대한 편견과 고정관념의 강화를 통해 갈등을 조장해 증오범죄로 이어지는 극단적 사례로 나타날 수 있다. 이러한 문제는 청소년뿐만 아니라 성인에서도 동일하게 나타날 수 있는 문제로 적극적인 대응이 필요하다. 본 연구에서는 온라인상에서 확산되는 혐오표현으로 인한 갈등의 확대와 폭력 발생의 문제를 인식하고, 이에 대응하기 위한 AI를 활용한 혐오표현 필터링의 법제화 방안을 제시하고자 한다.

2. AI를 활용한 필터링 기술 현황

2.1 주요 필터링 기술

인터넷의 개방성과 양방향 커뮤니케이션의 특성에 따라 빠르게 확산하는 콘텐츠를 모니터링 하기 위해 국내외 플랫폼에서는 AI를 기반으로 한 필터링 기술을 활용하고 있다. 주로 사용되는 필터링 기술은 블랙리스트, 자연어 처리(NLP)기반 분류, 머신러닝 및 딥러닝, 사전학습 언어모델 등이 있다[2].

<표 1> 콘텐츠 필터링 기술 분류[2]

기존에 가장 많이 사용됐던 방식인 블랙리스트는 특정 키워드를 제한하는 방식으로 초성이나 의도적인 오탈자로 인해 기계를 속여 오류가 발생할 가능성이 높다. 현재는 자연어처리 기반, 머신러닝 및 딥러닝을 통해 패턴을 분석하기 때문에 방대한 데이터가 필요하다[3]. 국내에서 사용되고 있는 혐오표현의 경우 단어보다는 맥락 중심으로 사용되고 있으며, 새로운 단어의 유입 속도가 빠르므로 많은 데이터를 지속해서 학습시키는 것에는 어려움이 있다. 사전학습 언어모델은 단어가 아닌 문장의 흐름을 이해하기 때문에 직접적인 욕설이 아니더라도 의미를 파악할 수 있어 문장의 맥락 판단이 중요한 국내 혐오표현 탐지에 유용하다.

2.2 국내외 플랫폼 적용 사례

한국의 소셜미디어 미디어 사용자를 대상으로 한 조사에서 응답자들은 정치적ㆍ이념적 성향, 성별, 종교, 출신 지역, 사회적 약자, 인종ㆍ민족 관련 순으로 혐오표현을 매우 혹은 자주 접하는 것으로 확인된 바 있다[4]. 이와 같이 다양한 분야의 혐오표현에 대해 개별 플랫폼 제공자들은 AI를 활용한 필터링을 실시하고 있다.

현재 국내에서 AI 기반 필터링 기술을 활용하고 있는 사례는 대표적으로 네이버의 ‘클린봇’, 카카오의 ‘세이프봇’, 서울특별시의 ‘AI 자동 삭제 신고 시스템’ 등이 있다. 네이버의 ‘AI 클린봇 서비스’는 AI 기술 기반의 악성 댓글 탐지 시스템으로 등록된 악성 댓글을 탐지해 자동으로 숨김 처리를 하는 기술이다. 기존의 댓글 데이터를 기반으로 ‘CNN’(Convolutional Neural Network), ‘Bi-LSTM’ 그리고 ‘LSTM’을 결합한 모델을 활용하고 있어 단순히 비속어나 욕설만을 차단하는 것이 아니라 문장의 맥락을 고려해 모욕적이며 무례한 댓글을 탐지한다[5]. 또한 네이버에서 자체적으로 개발한 ‘persona embedding pre-training’을 활용해 국내의 혐오표현의 특성을 고려한 필터링 기술을 적용하고 있다. 2019년 ‘클린봇’ 도입 당시 혐오·비하·차별 표현의 생성비율이 24.8%였으나 현재 16.7%로 감소하였고, 노출비율 또한 기존 21.9%에서 8.9%로 감소하는 실질적인 효과가 나타났다[5].

카카오는 ‘욕설 자동감지 변환 기술’에서 시작하였으나 사용자가 욕설을 변형하거나 특정 단어를 이용해 회피하는 경우가 발생하자 이후 AI 기술을 활용한 필터링 기술을 적용하고 있다. 이는 댓글 데이터를 수집하고 라벨링 후 AI 스팸 분류 기술을 활용해 단어의 문맥을 파악하여 차단하는 단계를 거친다. 세이프 봇 도입 전인 2020년 하반기와 적용 이후 2022년의 욕설 댓글 비중이 월평균 3분의 1 수준으로 감소한 것으로 보아 AI 기반 필터링 기술이 사용자의 혐오표현 사용을 감소시키는데 긍정적인 영향을 주었음을 알 수 있다[6]. 카카오의 ‘세이프봇’ 기술에 주목할 점은 AI 필터링 기술의 오류를 보완하기 위해 ‘정밀도’와 ‘피드백’에 중점을 두고 욕설의 수위를 레벨로 분류해 잘못된 분류로 인해 이용자가 피해를 입지 않도록 화이트리스트를 생성했다는 점이다[6]. 이는 AI의 오류로 인해 역으로 발생 가능한 불쾌감과 표현의 자유 침해 우려를 최소화하기 위한 노력으로 볼 수 있다.

서울특별시의 ‘AI 자동 삭제 신고 시스템 ’은 AI가 24시간 피해 영상물을 상시 검출한 뒤 자동으로 채증해 보고서를 만든 후, 해당 사이트에 삭제 요청하는 이메일을 자동으로 생성해 삭제 지원관이 최종 확인 후 발송하는 시스템이다. 이는 ‘대형언어모델(MLLM)’과 ‘셀레니움 기반 웹 자동화 도구’ 등을 결합해 탐지부터 문서화, 이메일 생성까지 전 과정을 자동화한 기술이다[7]. 해당 AI 필터링 기술은 현재 온라인상의 디지털 성범죄 영상의 삭제 지원을 위한 기술로 활용되고 있지만, 이미지와 텍스트를 동시에 인식해 해석할 수 있는 인공지능 모델을 사용하고 있으며, 반복적인 작업을 사람 대신 수행하여 웹 브라우저 자동화를 이루고 있기 때문에 비언어적인 콘텐츠와 함께 작성된 혐오표현을 탐지하고 처리하는 과정에서 활용될 가치가 충분하다고 판단된다.

YouTube의 경우 Perspective API와 AI 기술을 활용해 혐오표현을 자동 필터링하고 있다. Perspective API는 댓글과 게시글의 공격성, 혐오표현, 모욕성을 점수화시켜 관리자가 쉽게 검토할 수 있도록 하는 기술이다. 여러 플랫폼에서 수집된 다양한 데이터를 통해 학습되어 있어 이를 기반으로 댓글의 위험성을 평가한다[8].

<표 2> 국내외 주요 플랫폼의 탐지 기술 현황[9]

규모가 큰 대부분의 국내외 플랫폼의 경우 혐오표현과 유해한 콘텐츠를 규제하고 있으나, 국내외의 제도에 따라 수준의 차이를 보인다. 유럽의 경우 혐오표현에 대한 강력한 규제를 시행하고 플랫폼의 법적 책임에 대해 명확하게 명시하고 있어 플랫폼이 AI 필터링 기술을 우선 적용하며 검수를 강화하고 있다. 이와 달리 국내는 혐오표현에 대한 규제 법률이 없어 법적 강제력이 약하기에 주로 명백한 욕설이나 비속어, 스팸, 주로 사용되는 혐오표현에 집중하여 AI필터링이 이루어진다.

2.3 AI 필터링 기술의 한계

AI 필터링 기술은 감지 및 처리 과정에서 학습 및 데이터량의 부족, 문장의 맥락, 기계에 대한 의도적인 속임수 사용 등의 요인에 따라 오류 발생 가능성이 존재한다. 국내에서 주로 사용되는 혐오표현의 경우 맥락의존적인 경우가 많아 맥락과 문장을 함께 고려해야 하기 때문에 기술적인 한계가 있다[10]. 동일한 단어여도 맥락에 따라 다른 의미로 사용될 수 있으며, 개인의 배경지식과 가치관에 따라 불쾌감을 느끼는 정도와 해석이 달라질 수 있다. 만약 AI를 활용한 혐오표현 필터링이 편향된 결과를 도출할 경우 특정 집단에게 역으로 불쾌감을 줄 수 있어 오히려 이를 악용하여 표현의 자유를 침해할 가능성도 있다.

AI 필터링 기술의 경우 아직 완벽하지 않기에 지속적으로 변화하고 새롭게 등장하는 용어에 대한 데이터를 학습시켜야 한다. 그리고 대화의 문맥과 사회적 현상 등 여러 요인을 동시에 판단해야 한다는 점에서 여전히 인간의 모니터링이 필요하다. 이와 함께 기술적으로는 머신러닝 기반 필터링 기술이나 딥러닝 기반 필터링 기술은 일단 대량 학습 데이터로 학습이 된 상태에서 텍스트나 문맥상의 의미가 전혀 다른 표현일 경우 탐지가 어렵고 학습 데이터를 다시 입력하여 인공지능을 학습시켜야 한다.

3. 혐오표현 필터링 제도화 해외 사례

해외 혐오표현과 관련된 대표적인 법·제도는 독일의 소셜 네트워크에서의 법집행 개선을 위한 법률(Gesetzaur Verbesserung der Rechtdurchsetzung in sozialen Netzwerken: NetzDG), 유럽연합(EU)의 디지털서비스법(Digital Services Act, DSA), 프랑스의 아비아법(Loi Avia) 등이 있다[11].

독일은 EU의 입법에 앞서 2018년부터 NetzDG를 시행했는데, 이 법은 2015년 독일의 시리아 난민에 대한 증오와 혐오 공격이 급증하는 가운데 소셜 네트워크를 통한 반난민 정서가 확산되고 폭력으로 이어지자 이를 차단하고 온라인에서 혐오발언과 가짜뉴스 등을 차단하기 위해 제정되었다[12]. 이 법에 따르면 플랫폼 사업자는 사용자들의 신고가 있을 경우 24시간 이내에 조사를 통해 불법으로 판단될 경우 7일 이내에 삭제 또는 차단하고 자율 규제 기관에 신고하고 이를 신고자에 통지하며, 매년 100개 이상의 불법 콘텐츠에 대한 신고를 받을 경우 조치결과를 투명성보고서로 발행해야 한다. 이 법의 시행에 따른 투명성보고서에 따르면, 유튜브의 경우 혐오표현 및 정치적 극단주의 사항이 신고건 수 대비 삭제 비율이 20.7%, 유해하거나 위험한 행위 19.3%, 명예훼손 또는 모욕 17.3%, 폭력 13%, 테러리스트 또는 불법 콘텐츠 13% 등으로 나타난 바 있으며, X의 보고서에서는 공공연한 범죄선동 35.6%, 협박 27%, 모욕 22.9% 등으로 나타난 바 있다[13]. 법이 시행된 후 페이스북에 2019년과 2021년 위반 행위로 인해 각각 200만 유로와 300만 유로의 벌금을 부과했고, 텔레그램 또한 2023년 위반 행위로 인해 총 512만 유로의 벌금을 부과하여 해당 법이 강력한 집행력을 행사하고 있음을 알 수 있다[14]. NetzDG는 사업자에게 규제할 의무를 부과하고 이 의무를 이행하지 않는 경우 제재를 가할 것을 규정하는 방식인 자율규제의 형태를 띠고 있다. 만약 서비스 제공업자의 의무가 강제되지 않는 순수한 자율규제의 형식으로 시행될 경우 효과가 미비했을 것이기에 자율규제를 강제하기 위해 온라인 서비스 제공자에게 책임을 지게 하는 형식을 택한 것이다[14]. 자율규제의 경우 국가가 직접적으로 개입하지 않아 표현의 자유 및 검열의 문제에 대해 비교적 자유로운 것 같지만, 서비스 제공자가 이용자의 게시글을 무분별하게 차단 및 삭제할 가능성과 공권력을 행사하지 않았을 뿐 사적검열이 이뤄진다는 문제점이 존재한다. 이러한 규제된 자율규제의 한계를 개선하기 위해 NetzDG는 신고를 당한 이용자에 대해 이의제기절차와 제3의 기관에 의해 재심을 받을 수 있는 절차를 마련하고 민간기구로서의 중재기관을 설립해 이용자의 권리구제 및 사업자의 책임 완화를 위한 법률을 개정했다[14].

EU의 디지털서비스법은 독일의 NetzDG의 영향을 받아 제정된 법률로 가장 강력한 규제로 볼 수 있다. 혐오표현과 허위정보 등의 불법 콘텐츠가 플랫폼에 노출될 경우 신속한 조치를 해야 하며, 매년 이에 대한 평가를 통해 시스템을 개선하고 감시할 의무가 플랫폼 사업자에게 주어진다. EU의 경우 이용자 수와 규모, 플랫폼의 영향력 등의 기준에 부합하는 대형 플랫폼을 대상으로 규제를 적용하고 있다[11]. EU의 디지털서비스법은 독일의 NetzDG와 유사하게 플랫폼 사용자의 책임을 강제하는 방식으로 사업자가 플랫폼상에서 유통되는 콘텐츠에 대한 책임을 지고 결과를 보고하도록 하여 위반 사항 발생 시 과태료를 부과하는 강력한 경제적 제재조치를 시행하고 있다. 또한 표현의 자유와 검열이라는 우려가 있는 요소에 대한 갈등과 문제를 해결하기 위한 이의제기 절차 및 민간기관을 통한 중재제도 마련을 통해 해당 문제를 최소화하기 위해 노력하고 있다[14]. 그러나 검열의 주체가 국가가 아닌 플랫폼으로 교체된 것일 뿐 여전히 표현의 자유와 같은 국민의 기본권 침해에 대한 우려에서 완전히 벗어날 수는 없어 플랫폼이 자체적인 규제 방식을 설정할 수 있도록 하고 최소한으로 공권력을 개입하는 방식을 설계해야 한다는 의견이 존재한다[14].

프랑스의 아비아법은 불법 콘텐츠에 대해 24시간 이내 삭제 또는 차단하는 조치를 하고, 이를 위반하면 벌금을 부과하는 등 법적 강제성을 띠고 있다. 다만 지나친 검열로 인한 표현의 자유 제한에 대한 논란이 있어 표현의 자유 침해와 악용 가능성의 우려에 따라 2020년 위헌 판결되었다[11]. 그럼에도, 형법과 출판자유법을 통해 차별과 혐오표현에 대한 규제는 지속하고 있다. 표현의 자유에 대한 논쟁은 혐오표현 규제와 함께 지속적으로 불거지고 있기에 이와 균형을 이룰 수 있는 실효적인 규제방안을 강구하는 것이 국내 법제화의 핵심 과제이다.

4. 혐오표현 AI 필터링 법제화 방안

4.1 국내 법제화 방향

국가인권위원회에서 혐오표현에 대한 규정을 한 바 있지만 법률로 정의를 규정하거나 직접적으로 인터넷 공간에서 혐오표현을 금지하고 있지는 않다[1]. 다만, 형법에서 모욕, 협박, 명예훼손 등의 죄에 관한 조항, “영화 및 비디오물의 진흥에 관한 법률 시행령에서 신앙 및 종교의식 등을 조롱하거나 증오의 대상으로하는 내용에 대한 등급분류 제외하고 있다. 민간단체인 (사)한국인터넷지율성기구에서는 2023년 4월에 혐오표현을 국가인권위원회의 규정을 반영하여 “인종·국가·민족·지역·나이·장애·성별·성적지향이나 종교·직업·질병 등을 이유로, 특정 집단이나 그 구성원에 대하여 차별을 정당화·조장·강화하거나 폭력을 선전·선동하는 표현”으로 규정하고 회원사들이 준수하도록 하고 있다[15].

하지만, 혐오표현을 직접적으로 규제할 수 없고 특정집단을 비방하기 위한 표현이 차별행위에 포함된다는 점에서 간접적인 규제가 가능할 뿐, 권고적이고 처벌과 같은 적극적인 규율 수단을 갖추고 있지 않아 실효적 규제가 이루어지지 못한다는 한계가 있다[16]. 또한 혐오표현 규제에 대한 합의가 이뤄지지 않아 필터링에 적용 가능한 기준이 명확하지 않다. 이로 인한 오류 발생 가능성 증가와 표현의 자유 제한에 대한 논란을 해결하기 위해서는 명확한 개념 설정이 필요하다. 정치적인 민감성과 표현의 자유 보장에 대한 논의는 ‘필터링이 과도할 경우 검열이 될 수 있는 점’에서 사회적인 반발이 크게 나타나 법제화의 가장 큰 어려움으로 작용하고 있다[17].

혐오표현 법제화에 대해 우려하는 요인인 ‘표현의 자유 침해’, ‘악용 가능성’의 문제를 해결하기 위해 인간의 개입을 최소화하고 정해진 기준과 가이드라인 안에서 필터링을 실행하는 것이 중요하기에 혐오표현 법제화의 과정에서 ‘AI기반 혐오표현 필터링 기술’에 대한 사항이 필수적으로 논의되어야 한다. 또한 혐오표현 규제에 대해 사전 대응의 차원에서 접근하여 최소한의 개입을 통해 AI 필터링 기술에 대한 투명성과 정확성을 확보하고, 플랫폼의 책임 강화를 위한 정부의 간접 규제 및 압력이 조화를 이룰 수 있도록 법제화 방향을 설정해야 한다.

인터넷에서 혐오표현 규제뿐만 아니라 AI 필터링을 활용한 예방에 관한 법규정이 없는 상태에서 구체적인 법안의 구성을 제시하는데 한계가 있지만, 관련 법안 마련과정에서 포함해야 할 몇 가지 요소를 다음과 같이 제시한다. 무엇보다, 혐오표현을 법적으로 정의하기 위한 사회적 합의가 필요하다. 국가인권위원회의 가이드라인이 있지만 여전히 종교계 등 일부에서 특히 성적지향의 문제와 관련하여 이견이 있기 때문에 법안 마련과정에서도 상당한 논란이 예상된다. 독일 형법에서 제시하고 있는 혐오 개념 수립과정을 참고할 수 있을 것이다. 둘째, AI 필터링 기술 고도화를 위한 정부의 역할을 규정해야 한다. 민간기업을 중심으로 자율규제 방안과 함께 각 기업들이 AI를 활용한 필터링 기술을 적용하고 있지만 국가의 적극적인 지원을 통한 기술 고도화를 촉진할 필요가 있다. 셋째, 이용자와 인터넷 서비스 제공자의 의무를 당연히 포함해야 한다. 이를 위해 독일의 NetzDG와 EU의 관련 법안을 참고할 수 있다. 그리고, 현재 국내 민간자율 기구에는 국내 기업만 참여하고 국내에서 영리행위를 하고 있는 해외 기업은 참여하지 않고 있기에 이들 해외 기업까지 포함하는 방안에 대한 검토가 진행되어야 한다. 넷째, 안정적 법집행을 위한 민ㆍ관ㆍ연ㆍ학 등 거버넌스 체계를 포함해야 한다. 국가 중심의 법집행은 자칫 표현의 자유와 기업활동의 자유를 제한하는 것으로 나타날 수 있기 때문에 다양한 영역의 민간 참여가 보장되어야 한다.

4.2 플랫폼 책임 강화

플랫폼 사업자의 경우 언론과 비슷한 영향력을 가지고 있지만, 공적 책임과 규제방안 없이 운영되고 있어 법적인 책임이 상대적으로 낮다[2]. 국내 기존 법안은 권고의 성격만을 띠고 있어 법적 구속력이 없다는 한계가 있다. 그러나 국내는 익명성을 가진 온라인상에서의 혐오표현 사용 빈도가 높고 주로 뉴스기사 댓글, 개인운영방송, 온라인게시판의 순으로 혐오표현을 경험하고 있다[1]. 성인뿐만 아니라 청소년의 접근성이 높은 플랫폼은 이러한 문제점을 인식하고 개선할 필요가 있다. 혐오표현으로 발생하는 문제를 효과적으로 해결하기 위해서는 발생 빈도가 높은 대형 플랫폼에 대한 모니터링 및 차단, 신고 의무를 부여함으로써 책임을 강화해야 한다. 현재 국내의 네이버, 카카오와 같은 대형 플랫폼이 AI 기술을 적용하여 규제하고 있지만 혐오표현에 대한 명확한 기준이 설정되어 있지 않다. 기준을 명확하게 설정하고 범위를 확대하여 실질적인 규제와 사전 대응이 가능하도록 일정수준의 강제력을 확보해야 한다. 이때 플랫폼의 자율규제를 기반으로 하되, 법률 및 정부 지원 등의 압력을 통한 간접적인 구속력을 규정하여 플랫폼이 결과에 대한 책임을 질 수 있는 방향으로 실행해야 한다.

4.3 혐오표현 AI 필터링 규제방안 수립 과정

AI 기반 필터링의 투명성과 정확성은 혐오표현을 차단하는 과정에서 가장 우려가 되는 요소이다. 인공지능의 경우 명령어에 입각하여 필터링 알고리즘에 따라 작동하겠지만, 결국 알고리즘을 짜는 과정에 제공자의 개입이 필수적이기 때문에 투명성을 보장하기 위한 실행 방안이 반드시 뒷받침되어야 한다[18]. 이를 위한 실행 방안을 그림과 같이 제시해 보았다.

(그림 1) AI 기반 필터링 통합 대응 방안

혐오표현을 AI 필터링을 통해 규제할 경우 악용 가능성과 학습 데이터 및 알고리즘을 조작하고, 통제 및 표현의 자유를 침해할 수 있다는 것이 가장 큰 우려이기에 이에 대한 문제가 발생할 경우 대응할 수 있는 방안 설정은 필수이다. 규제의 목표는 안전, 보호, 신뢰, 책임과 함께 사용자들의 표현의 자유를 특정 목적에 따라 제한하지 않으면서 권리를 침해하지 않도록 균형을 고려해야 한다. 규제 원칙에서는 안전성, 투명성, 공정성, 책임성과 함께 표현의 악의적 심각성 정도에 따라 제재를 가하는 비례성이 필요하다. 혐오표현 필터링에 대한 통합 대응 기술에 탐지, 차단, 24시간 감시, 분석 기술을 필요로 하는 이유는 혐오표현 필터링을 통한 규제가 사전 방지를 목표로 하기 때문이다. 혐오표현을 탐지를 통해 확인하고 이를 차단하는 것에서 그치는 것이 아닌, 학습된 데이터를 통해 혐오표현 발생이 가능한 콘텐츠를 모니터링하고 분석할 수 있도록 한다. 혐오표현에 대한 신속한 처리와 함께 사전 방지가 가능한 환경을 조성하는 것이 필수적이기에 사전에 국내의 역사·사회적인 맥락에 대해 학습하여 혐오표현이 발생하는 원인에 대해 분석하고, 이를 활용해 행위 알고리즘을 기반으로 혐오표현이 발생할 수 있는 콘텐츠를 감지할 수 있도록 해야 한다. 혐오표현의 규제의 최종 목표는 온라인상에서의 혐오표현 확산을 억지하고 노출을 차단하는 것이기에 혐오표현 규제에 적합한 이상 징후 감지 기술 개발을 통해 혐오표현의 맥락 분석 및 조치에 효과적으로 활용할 필요가 있다.

5. 결론

본 논문에서는 사이버 공간에서 혐오표현이 지속적으로 노출되고 확대될 때 사회적 문제로 발전 가능한 문제를 인식하고, 국내외 사례를 통한 AI 기반 혐오표현 필터링 기술의 법제화 방향을 제시했다. 혐오표현 규제 법제화에 대한 합의를 이뤄내기 위해 사후처벌보다는 사전대응의 차원에서 접근하여 투명성과 정확성에 입각한 대응을 강조하며, 플랫폼의 자율규제를 기반으로 법률과 정부 정책 연계를 통한 책임을 강화하는 방안을 제시했다. 국내 실정에 맞는 AI 기반 혐오표현 필터링 기술 개발과 실효성 있는 법제화는 정치사회적 양극화가 확대되고 있는 한국의 현실을 감안할 때 사회적 갈등을 최소화할 수 있는 하나의 방법이 될 수 있기에 실질적 논의의 확대가 시급하다. 그리고, 혐오표현에 장기적이고 지속적인 노출은 편견과 고정관념을 강화시켜 특정 집단에 대한 분쟁을 조장하고 집단 폭력으로 발전할 수 있다[16]. 그러므로 합의 과정에서 혐오표현에 대한 법제화를 혐오로 인한 갈등발생의 예방 목적이라는 시각에서 바라볼 필요가 있다.