거의 완벽한 시스템이 그럼에도 불구하고 재앙적으로 틀릴 수 있을까?
이것이 유럽연합(EU)의 최신 민간 메시지 의무 AI 스캔 추진, 흔히 '채팅 통제(Chat Control)'라 불리는 규제안을 둘러싸고 떠도는 질문이다. 메시징 플랫폼 전반에서 아동 성착취물(CSAM)을 탐지하는 것을 목표로 한 이 규제는 의도만 놓고 보면 도덕적으로 흠잡을 데 없어 보인다. 그러나 정책 용어 이면에는 어떤 공학적 노력으로도 비껴갈 수 없는 수학적 현실이 자리 잡고 있다. 이를 '기저율의 오류(base-rate fallacy)'라 부르며, 이것이야말로 유럽의 입법자들이 한 번도 들어본 적 없는 가장 중요한 개념일 수 있다.
나는 지난 2주간 유럽 전역의 암호학자, AI 연구자, 시민자유 활동가들과 대화하며 선한 의도가 대륙 규모의 통계와 충돌할 때 무슨 일이 벌어지는지 이해하고자 했다.
채팅 통제가 실제로 요구하는 것
EU의 채팅 통제 프레임워크는 전 유럽의회 의원 패트릭 브라이어(Patrick Breyer)와 디지털 권리 단체 EDRi가 광범위하게 문서화한 바와 같이, 메시징 플랫폼들에 이미지, 영상, 그리고 잠재적으로 텍스트 메시지까지 CSAM 여부를 스캔하는 AI 분류기를 배치할 것을 요구한다. 암호화 전이든 수신 시점이든 상관없이. 최근의 반복안들은 범위를 좁히려 시도했지만, 핵심 메커니즘은 그대로다: 인구 규모에서의 사적 통신 자동 스캔.
브라이어의 분석에 따르면, 이 규제안은 EU 내에서 매일 발송되는 약 15억 건의 메시지를 포괄하게 된다. 유럽집행위원회는 현대 AI 분류기가 99%를 넘는 정확도를 달성할 수 있어 시스템이 실행 가능하다고 주장해왔다.
수학이 무너지는 지점이 바로 이 주장이다.
논거를 붕괴시키는 숫자들
나는 케임브리지대학교 보안공학 교수이자 유럽에서 가장 많이 인용되는 컴퓨터 과학자 중 한 명인 로스 앤더슨(Ross Anderson) 박사를 만나 함께 산술을 짚어보았다.
채팅 통제 제안을 "기술적으로 무지하다"고 부르셨습니다. 상당히 강한 표현인데, 무슨 뜻인가요?
이 법안을 작성하는 사람들이 조건부 확률을 이해하지 못한다는 뜻입니다. 가장 단순한 버전을 알려드리겠습니다. AI 스캐너의 정확도가 99.9%라고 가정해봅시다. 대단히 뛰어난 수치로 들립니다. 이제 100만 건의 메시지 중 하나에 CSAM이 포함되어 있다고 가정합시다. 사실 이것도 관대한 추정일 겁니다. 매일 15억 건의 메시지 중 약 1,500건의 실제 양성 건수가 예상됩니다. 그러나 0.1%의 위양성률을 15억 건의 메시지에 적용하면 매일 150만 건의 오탐이 발생합니다. 하루에요. 시스템은 99.9%의 확률로 맞지만, 그럼에도 매일 150만 명의 무고한 유럽인을 상상할 수 있는 가장 중대한 범죄로 고발하는 셈입니다. 매일.
유럽집행위원회는 어떤 조치가 취해지기 전에 인간 검토자가 위양성을 걸러낼 것이라고 주장합니다. 이것이 문제를 해결할까요?
새로운 문제를 만들어낼 뿐입니다. 이제 매일 100만 건 이상의 플래그된 메시지를 검토할 수 있는 인력이 필요합니다. 각각의 메시지에는 누군가의 사적인 사진, 내밀한 대화, 해변에서 찍은 가족 아이 사진이 담겨 있습니다. 유럽 역사상 가장 거대한 감시 검토 기구를 구축한 것이며, 사적 콘텐츠의 홍수를 걸러내야 하는 사람들로 채워진 기구입니다. 프라이버시 침해는 위양성의 결과가 아닙니다. 위양성 *자체가* 프라이버시 침해입니다.
이것이 작동할 수 있는 정확도 임계값이 존재하나요?
직접 계산해 보십시오. EU 전역에서 위양성을 하루 약 1,000건으로 줄이려면 위양성률이 대략 0.0000067%여야 합니다. 이는 세계 어디에서든, 어떤 작업에서든 실제 운영 환경에 배치된 그 어떤 분류기보다 네 자릿수(10,000배) 더 우수한 수준입니다. 점진적 개선을 논하는 것이 아닙니다. 현재는 물론 가까운 미래의 아키텍처로도 달성 가능하다고 믿는 진지한 기계학습 연구자가 없는 수준의 능력을 이야기하고 있는 것입니다.
실리콘밸리가 이미 시도했다가 멈춘 이유
로잔 EPFL의 보안 및 프라이버시 공학 연구소를 이끌고 유럽 코로나19 접촉 추적에 사용된 DP-3T 프로토콜 설계에 참여한 카르멜라 트론코소(Carmela Troncoso) 박사는 다른 시각을 제시했다.
대규모 프라이버시 보호 시스템에서 일하셨습니다. 클라이언트 측 스캔을 프라이버시와 양립시킬 수 있는 기술적 설계가 존재하나요?
끊임없이 받는 질문인데, 솔직한 답은 '아니오'입니다. EU가 제안하는 규모와 민감도에서는 불가능합니다. 클라이언트 측 스캔은 종단간 암호화의 신뢰 모델을 근본적으로 깨뜨립니다. 좁은 암호학적 의미에서 "암호화를 깨뜨리는" 것인지에 대해서는 논쟁할 수 있겠지만, 프라이버시 보장을 무의미하게 만듭니다. 콘텐츠가 암호화되기 전에 스캔하는 것입니다. 이것은 추가 단계를 거친 백도어일 뿐입니다.
일부 지지자들은 애플이 자사 CSAM 탐지 시스템으로 유사한 시도를 했으며 기술적 실패가 아닌 여론의 압박으로 철회한 것이라고 말합니다.
애플의 자체 엔지니어들이 개발 과정에서 기저율 문제를 확인했습니다. 애플의 프라이버시 총괄 에릭 노이엔슈반더(Erik Neuenschwander)는 내부적으로 이 시스템이 악용될 수 있으며 대규모 위양성 관리가 해결되지 않았음을 인정한 것으로 알려져 있습니다. 애플은 대중의 반발 때문에 물러선 것이 아닙니다. 수학이 맞지 않아서 물러선 것입니다. EU는 이제 애플이 자발적으로 포기한 것을 의무화하려 하고 있습니다.
어떤 민주주의 국가도 구축한 적 없는 감시 인프라
유럽 디지털 권리(EDRi)의 정책 책임자 디에고 나란호(Diego Naranjo)는 모든 입법 과정을 통해 채팅 통제를 추적해왔다.
EDRi는 이를 "민주주의 세계에서 가장 감시받는 인구"라고 불렀습니다. 과장인가요?
범위를 보십시오. EU에서 운영되는 모든 메시징 플랫폼. 모든 사용자. 모든 메시지가 AI에 의해 스캔되고, 민간 기업이나 정부 하청업체에 고용된 사람들이 검토합니다. 영장도 없습니다. 상당한 이유도 없습니다. 개별적 혐의도 없습니다. 사적 통신에 대한 포괄적 감시를 시행한 다른 민주주의 국가를 말해 보십시오. 기다리겠습니다.
아동 안전이 특별한 조치를 정당화한다는 반론이 있습니다.
물론 아동 안전은 중요합니다. 하지만 이 규제안은 아동 안전을 의미 있게 향상시키지 못하면서 어떤 스캔 목적으로든 전용될 수 있는 인프라를 만들어낼 것입니다. 오늘은 CSAM입니다. 내일은 테러리즘입니다. 그다음은 저작권. 그다음은 정치적 반대 의견. 이 궤적은 이전에도 본 적 있습니다. 영국의 수사권한법(Investigatory Powers Act)은 테러리즘에서 시작해 꾸준히 확장되었습니다. 기술 인프라는 정치적 정당화에 관심이 없습니다.
동료심사를 거친 연구가 실제로 발견한 것
막스 플랑크 혁신·경쟁 연구소의 2023년 연구에 따르면, 여러 플랫폼에서 테스트된 자동 CSAM 탐지 시스템은 실제 데이터에서 10%에서 20% 사이의 위양성률을 보였다. 실험실 조건의 정제된 벤치마크 데이터세트가 아닌 실제 데이터에서다. 이 비율을 EU 규모의 메시징에 적용하면, 일일 위양성 건수는 수억 건에 달한다.
이와 별개로, 네덜란드 정부 과학위원회가 의뢰한 기술 분석은 "상당한 수의 위양성 없이 새로운 CSAM을 탐지할 수 있는 기술을 만드는 것은 불가능하다"고 결론지었다. 이 보고서는 기저율 문제가 인구 규모에서 수학적으로 극복 불가능하다는 점을 특별히 지적했다.
이것들은 옹호 문서가 아니다. 결과에 정치적 이해관계가 없는 기관들의 동료심사를 거친 기술 평가다.
사라지지 않는 규제안, 그리고 다가올 법적 심판
채팅 통제 규제안은 죽지 않았다. 여러 차례의 개정을 거치며 범위는 매번 약간씩 좁혀졌지만 핵심 스캔 의무는 유지되어왔다. 스페인을 중심으로 한 여러 EU 회원국은 계속해서 채택을 추진하고 있다. 독일과 오스트리아를 포함한 다른 국가들은 위에서 설명한 수학적·시민적 자유 우려에 정확히 근거한 이의를 제기해왔다.
유럽사법재판소(ECJ)는 포괄적 메시지 스캔이 EU 기본권 헌장에 대한 도전에서 살아남을 수 있는지에 대해 아직 판결을 내리지 않았다. 런던 메트로폴리탄 대학교의 도우베 코르프(Douwe Korff) 교수를 포함해 내가 대화한 법학자들은 이러한 도전이 거의 확실히 성공할 것으로 본다. 2014년 비례성 원칙에 근거한 데이터 보존 지침(Data Retention Directive) 무효화 판결을 선례로 제시하면서.
그러나 법적 도전에는 수년이 걸린다. 그리고 그 사이에 인프라는 구축된다.
나는 거의 완벽한 시스템이 그럼에도 재앙적으로 틀릴 수 있는지를 물으며 글을 시작했다. 기저율의 오류는 그 질문에 불편한 명확함으로 답한다. 극히 드문 것을 찾기 위해 수십억 건의 메시지를 스캔할 때, 정확도는 아군이 아니다. 규모가 적이다. 그리고 수학은 당신의 대의가 아무리 정당하든 신경 쓰지 않는다.
EU는 선택에 직면해 있다: 산술 위에 정책을 세울 것인가, 열망 위에 세울 것인가. 둘 중 하나는 무게를 지탱한다. 다른 하나는 10억을 곱하는 순간 무너진다.