A study on personal information protection policy based on trust in artificial intelligence technology: Focusing on International Case Law

인공지능 기술 신뢰 기반의 개인정보보호 정책 연구: 국외 판례를 중심으로

Abstract

This study presents a legislative response plan to resolve the newly emerging problem of personal information infringement due to the spread of artificial intelligence technology. Based on a comparative analysis of AI laws and personal information protection-related precedents in major countries such as the EU and the US, we propose a design direction for the Personal Information Protection Act (PIPA) clauses in the Korean Framework Act on AI. In particular, we place emphasis on localization, focusing on data processing for AI learning, guaranteeing the rights of information subjects against automated decision-making, restrictive processing conditions for confidential information, and the introduction of a personal information impact assessment system.

본 연구에서는 인공지능 기술의 확산으로 인해 새롭게 대두되는 개인정보 침해 문제를 해결하기 위한 입법적 대응 방안을 제시한다. 유럽(EU), 미국 등 주요 국가의 AI 법 및 개인정보보호 관련 판례를 비교 분석하고, 이를 바탕으로 한국형 AI 기본법 내 개인정보보호법(PIPA) 조항의 설계 방향을 제안한다. 특히 AI 학습용 데이터 처리, 자동화된 결정에 대한 정보 주체의 권리 보장, 민감정보의 제한적 처리 조건, 개인정보 영향평가 제도 도입 등을 중심으로 현지화에 중점을 두었다.

1. 서론

4차 산업혁명 시대 핵심 기술인 AI(Artificial Intelligence)는 최근 수년간 비교할 수도 없을 만큼 발전하고 있다. 현재 AI는 거의 모든 산업과 생활영역에 걸쳐서 활용되고 있으며 계속적으로 확장되고 있다. 또한 많은 사용자들이 AI를 이용한 코딩, 데이터 수집 외에도 다양한 장비와 시스템에 광범위하게 도입되어 활용되고 있다.

IT분야가 아니어도 오픈형 AI를 통해 많은 사용자들이 필요한 정보를 ChatGPT 등과 같은 생성형 AI(Generative AI)를 통해 얻고 많은 나라들이 AI 산업을 발전시키기 위해서 대량의 자본을 투자하고 있다.

하지만 AI 산업이 빠르게 성장하는 만큼 AI가 수집하는 데이터에 포함된 민감정보는 개인의 프라이버시를 침해하고 생성된 콘텐츠가 허위일 경우 대상자의 피해가 초래되며 기존 콘텐츠를 학습해 유사한 결과물을 생성하여 저작권 침해 등 개인정보 보호 문제가 심각하게 대두되고 있다.

이러한 개인정보침해, 저작권 침해 등의 문제점을 보완하기 위해 우리나라에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」으로 2024년 법안이 통과되어 2026년 1월 22일 시행될 예정인 법안을 제정하여 시행을 앞두고 있다.

따라서 본 연구에서는 AI 관련 법안들이 실행 예정인 이 시점에서 개인정보보호를 위해 해외 법안 및 판례들을 바탕으로 우리나라의 개인정보보호법과 연계한 추가적인 법적 조항과 항목들을 제안하고자 한다.

2. 관련 연구

2.1 국내 개인정보 보호 제도 및 AI 관련 법

2.1.1 개인정보보호법

개인정보보호법은 2011년 제정 및 2023년 전면 개정되었고 개인을 식별할 수 있는 정보인 개인정보의 적법하고 안전한 처리를 보장하기 위한 법안으로 모든 정보주체가 보호대상이자 권리의 귀속 주체로 개인정보를 처리하는 공공기관, 법인, 개인을 포함한다[1][2].

2.1.2 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법

인공지능 발전과 신뢰 기반 조성 등에 관한 기본법은 2024년 제정되어 2026년 1월 22일 시행 예정이며 AI 발전을 촉진하여 국가 경쟁력 확보 및 산업 진흥, 신뢰 기반조성을 목적으로 국가 AI위원회를 구성하여 운영된다. 해당 기본법은 제1조 목적에서 보듯이 인공지능의 건전한 발전과 신뢰 기반 조성에 필요한 기본적인 사항을 규정함으로써 국민의 권익과 존엄성을 보호하고 국민의 삶의 질 향상과 국가경쟁력을 강화하는데 이바지함을 목적으로 AI 경쟁력 강화를 위해 인공지능기본계획은 3년 주기로 수립 시행, 국가인공지능위원회 운영, AI 산업육성 및 발전을 위한 다양한 지원 등이 있다[3][4].

2.2 국외 AI 관련 법 및 개인정보 보호 제도

일본의 경우 ‘인공지능 관련 기술의 연구개발 및 활용 촉진에 관한 법률’을 2025년 6월 4일 AI 관련 기술 연구개발 및 활용을 추진하고 잠재적인 위험에 대해 대응하기 위해 해당 법률을 공포하였다. 해당 법률은 인공지능 관련 기술을 정의하고 연구개발 촉진 및 활용은 위한 기본원칙과 책임을 규정하고 있다[5][6].

EU(European Union)의 경우 EU 집행위원회를 통해 통일된 인공지능 관련 정책적 접근을 통해 관련 규제안을 마련하였다. AI 규제안의 주요 내용은 관련 규제를 통한 AI 애플리케이션 발전 촉진 등 추진, 위험 기반 규제를 통한 위험관리 수행, AI 시스템의 안전한 이용을 위한 법적 의무, 데이터 및 개인정보에 대한 규제 등을 규제하고 있다[7].

EU의 개인정보보호법인 GDPR(General Data Protection Regulation)은 개인정보 처리에 있어 매우 엄격한 원칙과 요건을 요구하며, 이는 AI 기술의 학습과 활용 단계에서도 동일하게 적용된다[8]. GDPR 제5조는 개인정보 처리에 관한 기본 원칙을 규정하고 있으며 개인정보 처리는 적법성, 공정성, 투명성 원칙에 따라 명확한 목적에 따른 수집과 최소한의 범위 내에서 관리되어야 한다.

GDPR 제6조는 개인정보 처리 근거를 6가지로 명시하고 있으며, 정보 주체의 명시적 동의, 계약 이행, 법적 의무 이행, 정보 주체의 생명 보호, 공공의 이익 수행, 그리고 개인정보처리자의 정당한 이익 추구가 포함된다.

GDPR 제8조는 아동의 개인정보 보호에 관한 별도 규정으로 만 16세 미만 아동의 경우에는 정보 제공이나 서비스 이용에 앞서 법정 대리인의 동의가 필수적이며, 각 국가가 자국 법률에 따라 이 연령 기준을 13세까지 낮출 수 있도록 허용하고 있다.

GDPR 제9조는 민감정보에 대한 처리 제한을 규정으로 생체정보, 유전정보, 건강정보, 종교·정치 성향 등은 원칙적으로 처리가 금지되며 정보 주체의 명시적 동의, 공공보건 목적, 법적 요구 등 예외적인 경우에만 제한적으로 허용된다.

미국의 경우에는 EU AI Act와 GDPR의 연계 그리고 AI Executive Order 등을 통하여 법적 의무를 부여하고 개인정보보호법과 AI 법이 연계하여 개인정보 침해를 예방하고 있다.

미국 정부에서 가이드라인을 제공하여 기업이 개인정보보호 기술 촉진과 안정성 평가가 가능하도록 법안을 제시하고 있다.

한편, 미국의 COPPA(Children’s Online Privacy Protection Act)는 13세 미만 아동의 온라인 개인정보 보호를 위한 연방법으로, 제15장 U.S.C. §6502(b)(1)(A)에 따라 웹사이트나 온라인 서비스 운영자는 부모의 동의 없이 아동의 개인정보를 수집, 이용 또는 공개할 수 없다. 또한, 수집된 정보는 명확하게 고지되어야 하며, 삭제 요청이 있을 경우 이에 즉시 응해야 한다[9].

2.3 AI 관련 개인정보 침해 주요 사례[10]

2023년 이탈리아에서는 정보 주체에게 정보제공이 부족하였고, 알고리즘 훈련을 위해 개인정보를 대량으로 수집하고 처리하는 것을 뒷받침하는 법적 근거가 없어 보이며, 연령 제한 조치가 필요하다는 등의 이유로 GDPR 제5조, 제6조, 제8조를 위반했다고 판단하여 2023년 3월의 일시적으로 서비스를 금지시켰다. 2021년에는 Clearview AI가 소셜미디어에서 얼굴 이미지를 자동 수집하여 데이터베이스를 구축했으며, 이는 동의 없는 생체정보 처리로 GDPR 제5조, 제6조, 제9조를 위반했다고 판단했다.

프랑스는 2,000만 유로 벌금 및 데이터 삭제 명령, 이탈리아는 2,000만 유로 벌금 및 데이터 삭제 명령, 네덜란드는 3,050만 유로 벌금 및 EU 내 데이터 처리 금지, 캐나다는 캐나다 내 데이터 삭제 명령 및 향후 수집 금지 명령을 판결하였다.

Clearview AI 판례는 AI 학습 데이터 수집도 개인정보 처리로 간주되며, 공개된 이미지라도 동의 없이 수집하면 GDPR 위반에 해당된다고 판단하였다.

다음으로 2023년 미국에서 Amazon.com Inc.의 AI 음성비서 서비스인 Alexa는 아동의 음성 녹음 및 텍스트 기록을 AI 모델 학습에 사용하였고 해당 아동들의 음성 데이터를 삭제하지 않고 무기한 보관하며 사용자가 삭제를 요청하더라도, 아마존은 백엔드 시스템에 복사본을 유지하여 COPPA의 15 U.S.C. § 6502(b)(1)(A)을 위반했다고 판단하여 총 2,500만 달러 벌금 부과와 모든 아동 사용자 관련 음성 기록 및 위치 기록 즉시 삭제, 아동 데이터는 AI 모델 학습에 사용할 수 없으며 Alexa에 저장된 데이터의 명확한 삭제 절차 구축요구를 조치하였다.

3. 제안하는 방법

3.1 해외 판례에 기반한 AI 관련 법 조항 설계

앞서 살펴본 판례들은 대부분은 AI 관련 서비스가 개인정보 수집 시 개인정보 침해에 대한 권고 사항 없이 무단으로 사용되었다.

AI 기술 신뢰 기반의 개인정보보호 정책을 제안하기 위해 AI 관련 개인정보 침해 주요 해외 판례와 EU의 개인정보보호법(GDPR)과 EU AI ACT를 기준으로 국내의 AI 관련 법에 적용할 수 있는 정책들에 대한 기초적인 법 조항 설계내용은 <표 1>과 같다.

<표 1> 해외 판례에 기반한 AI 관련 법 조항 설계

<표 1>을 살펴보면 첫째, 민감정보 보호 및 특수 정보 대응 정책에는 민감정보(생체, 음성 등) 자동 수집 금지와 어린이·청소년 데이터 별도 보호 조항이 있는데 Clearview AI, Alexa 판례처럼 식별 가능한 정보는 개인정보로 처리되기에 해당 데이터들은 수집이 불가능해야 한다. 또한 Alexa 사건처럼 아동, 청소년에 대한 정보 또한 별도로 보호되어야 한다.

둘째, 정보 주체 권리 보장 정책에서는 주요 조치 사항으로 AI가 정보의 처리 및 결정은 개인정보 주체가 권리 보장에 대한 설명을 듣고 원한다면 언제든지 특정 개인정보를 처리가 불가능하게 하는 등의 개입이 가능하게 해야 한다. 특히, 고위험 AI는 사람의 생명, 기본권, 안전 그리고 중대한 경제·사회적 영향을 미칠 수 있는 AI 시스템[11]으로 이 경우에는 상당한 영향이 미칠 수 있기 때문에 이에 대한 설명과 개입권을 추가적으로 부여해야 한다.

셋째, 사전 위험관리 및 보안 확보 정책에서는 DPIA(Digital Public Library of America)와 레드팀에 대한 내용으로 현재 우리나라의 개인정보보호법 제33조, 시행령 제35조부터 제38조에서도 시행 중인 DPIA를 AI 영역까지 확대시키고 의무적으로 레드팀을 배치하여 AI의 안정성을 테스트하는 동시에 개인정보 침해가 발생할 수 피해를 최소화 및 예방이 가능하게 해야한다[12].

마지막으로 학습 데이터의 개인정보 보호 강화 정책에서는 AI의 학습 단계에서 사용되는 데이터에 개인정보가 포함되는 경우, 이를 명확히 식별하고 처리 방식에 제한을 두는 조치가 필요하다.

Clearview AI 사건에서처럼 공개된 이미지나 소셜미디어 게시물이라 하더라도, 식별 가능한 정보가 포함되면 개인정보로 간주된다. 또한, AI 학습 과정에서 수집된 정보가 사전 고지 없이 자동으로 프로파일링 되거나, 정보 주체가 원하지 않는 방식으로 사용될 경우에는 정보 주체의 자기결정권을 침해하게 된다.

따라서, 학습 데이터 수집 시에는 개인정보 포함 여부 식별, 민감정보 분리·제외, 가명 처리·익명화, 프로파일링 가능 데이터 제한 절차 등이 선행되어야 하며, 이와 함께 개인정보 포함 학습 데이터를 재사용·공유·API화할 때에도 동일한 보호수준을 적용해야 한다.

3.2 국내 현실에 맞는 AI 관련 제도 조정 방향

하지만 3.1 해외 판례에 기반한 AI 관련 법 조항 설계를 바탕으로, 국내 AI 관련 제도에 한계를 적용할 필요가 항목들이 존재한다.

사전위험관리 및 보안 확보 정책에서 레드팀 의무화의 경우 AI의 안정성을 테스트하기 위해서는 레드팀이 반드시 필요하지만 적용 대상이 중소기업이나 스타트업의 경우 경제적 부담과 적용 대상에 맞는 가이드라인을 제시해주지 않는 이상 질적인 측면에서 위험관리 및 보안성 확보가 상이할 수 있다.

이를 해결하기 위하여 KISA 가이드라인처럼 정부가 표준 가이드를 빠르게 제시하고 레드팀을 보유한 기업들에게 지원금을 제공하고 취약점 진단이나 모의해킹처럼 보안 기업이 미리 진단이 가능하게끔 지원하여야 한다.

프로파일링과 학습 데이터 수집 정책에서 국내에서는 아직 AI 기반 프로파일링 활용이 대부분이며 모든 데이터를 사전에 제한하는 것이 어렵고 민감정보에 대한 사전 고지와 함께 동의 요구를 받거나 불이익이 발생하는 경우에만 제한하는 방식으로 적용가능하다.

설명권, 개입권 또한 모든 AI 결정에 대한 설명·개입권을 부여하면 서비스 운영상 과도한 부담을 갖게 되므로 의료, 금융, 채용 등 고위험 AI에만 설명·개입권 의무화를 하고 그 외 영역은 기본 정보 제공과 자동화 여부 고지 수준으로 제한하는 방식이 가능하다[13].

4. 결론

본 연구는 AI 기술 신뢰 기반의 개인정보보호 정책을 제안하기 위하여 국외 판례를 통하여 우리나라의 AI 관련 법과 개인정보보호법의 정책적 방향을 제시하였다.

국내의 AI 관련 정책은 다른 나라에 비해 후발 주자로 AI 관련 법 또한 2026년 1월 22일에 시행된다. 해당 기본법을 살펴보면 우리나라의 AI 기술을 발전시키기 위한 정책이지만 국외의 정책들과 비교하면 AI 기술 신뢰 기반의 정책에는 다소 미흡한 부분이 있다.

AI 기술의 발전 이면에는 다양한 사례를 통해 개인정보가 침해될 수 있기 때문에 정책적 방향을 다각도로 제안할 필요가 있다. 이를 위해 본 연구에서는 국내 AI 관련 법과 개인정보보호법을 바탕으로 일본, EU, 미국의 관련 정책 및 판례들을 바탕으로 AI 관련 제도 조정 방향을 사전위험관리 및 보안 확보 정책, 프로파일링과 학습 데이터 수집, 설명권, 개입권에 대하여 국내 현실에 맞게 재조정한 정책을 제안하였다.