해커 뉴스에서 717포인트. 한 개발자가 자신이 챗봇이 아니라고 이모를 설득하려 했던 이야기를 글로 썼다. 그는 실패했다.
이 한 문장이 지난 12개월간의 그 어떤 벤치마크 결과보다 당신을 더 불안하게 만들어야 한다.
The Codist에 올라와 바이럴이 된 에세이에서, 저자는 5년 전이었다면 황당하기 짝이 없었을 상황에 처하게 되었다. 가족 한 명이, 지극히 평범한 문자 메시지를 받고서, 자신이 사람과 대화하고 있는 건지 AI와 대화하고 있는 건지 진심으로 구분하지 못한 것이다. 개발자는 온갖 방법을 다 동원했다. 개인적인 추억, 둘만 아는 농담, 말투 전환. 아무것도 통하지 않았다. 이모는 이전에 사기 봇에 당한 경험이 있었고, 그녀의 판단 기준은 단순했다: 너무 조리 있고, 너무 친절하고, 너무 말을 잘하면, 아마 진짜 사람이 아닐 것이다.
이 판단 기준을 잠시 곱씹어 보라. *의사소통을 잘하는 것*이 이제 당신이 인간이 아니라는 증거가 된다.
튜링 테스트의 역전
앨런 튜링이 1950년에 처음 제안한 질문은 단순했다: 기계가 인간을 속여 자신이 인간이라고 믿게 만들 수 있는가? 우리는 76년간 그 문턱을 향해 달려왔다. 아무도 예상하지 못한 것은, 우리가 그 문턱을 훌쩍 넘어 훨씬 더 기이한 곳에 도달하리라는 것이었다—인간이 다른 인간에게 자신이 인간이라는 것을 납득시키지 못하는 곳.
이것은 더 이상 사고 실험이 아니다. 설계 문제다.
도서관을 상상해 보라. 모든 책이 다른 모든 책의 문체로 자기 서문을 스스로 쓸 줄 아는 도서관을. 사서는 첫 페이지를 읽는 것만으로는 원본과 사본을 구분할 수 없게 된다. 디지털 커뮤니케이션에서 우리가 도달한 지점이 바로 거기다. 우리가 의존하던 신호들—오타, 성격적 특이점, 맥락적 지식, 감정의 리듬—이 모두 현세대 언어 모델로 재현 가능해졌다. 완벽하지는 않지만, 반대 방향의 확신을 무너뜨리기에는 충분할 만큼.
이 에세이가 공감을 얻은 것은 수천 명이 조용히 겪어 온 일을 묘사했기 때문이다. 봇 취급당하는 고객 상담 직원. 링크드인에서 AI 생성 프로필로 신고당하는 직장인. "생존 증명"으로 음성 통화를 요구하는 데이팅 앱 사용자. 에세이 속 이모는 편집증적이었던 게 아니다. 자신이 처한 정보 환경을 고려하면 합리적이었던 것이다.
"인간 증명"이 엔지니어링 문제가 되었다
여기서부터 아키텍처 관점에서 흥미로워진다.
지난 20년간 구축된 모든 본인 인증 시스템은 하나의 암묵적 가정 위에 서 있다: 인간의 행동은 기계의 행동과 구분 가능하다. CAPTCHA가 이를 테스트한다. 콘텐츠 모더레이션 시스템이 이를 기준으로 필터링한다. 사기 탐지 모델이 이를 바탕으로 훈련된다. 전체 스택이 "인간이 생성한" 상호작용과 "기계가 생성한" 상호작용 사이에 감지 가능한 경계가 있다고 전제한다.
그 경계가 녹아내리고 있다.
CAPTCHA에 대한 봇 통과율은 꾸준히 올라가고 있다. 구글 자체의 reCAPTCHA v3가 수년 전에 명시적 챌린지 방식에서 벗어난 이유가 정확히 이것이다—봇이 이미지 인식 과제에서 인간을 능가하고 있었기 때문이다. 이 시스템은 이제 행동 분석에 의존한다—마우스 움직임, 스크롤 패턴, 세션 타이밍—그런데 이것들 역시 점점 저렴해지는 자동화 도구로 조작 가능하다.
월드코인(현재 월드로 리브랜딩)은 이 문제에 사업 모델 전체를 걸었다. 홍채 스캔을 인격 증명 프로토콜로 제안한 것이다. 프라이버시 측면의 함의에 대해 어떻게 생각하든, (1) "당신은 인간인가?"라는 질문에 답하기 위해서만 존재하는 수십억 달러 규모의 기업이 있다는 사실 자체가, 시장이 이 격차를 어떻게 바라보는지를 전부 말해준다.
그러나 이 개발자의 에세이는 기술 시스템 아래에 있는 한 겹 더 깊은 층위를 드러낸다. 기계가 인증 인프라를 속이는 것만이 아니다. 인간이 다른 인간과의 사회적 인증에 실패하고 있는 것이다. 어떤 API 호출로도 그것은 고칠 수 없다.
신뢰는 어떻게 뒤집히는가
보안 연구에서 "신뢰 역전"이라 불리는 패턴이 있다—신뢰를 구축하기 위해 설계된 메커니즘이 오히려 신뢰를 침식시키는 현상이다. 우리는 지금 그것이 실시간으로 전개되는 것을 지켜보고 있다.
궤적을 살펴보자:
1. AI가 텍스트에서 인간으로 통할 만큼 충분히 발전한다.
2. 인간이 모든 텍스트 커뮤니케이션이 AI일 수 있다고 의심하기 시작한다.
3. 사람들이 더 높은 대역폭의 채널(음성, 영상)을 통해 인간임을 "증명"하라고 요구한다.
4. AI가 음성과 영상에서도 인간으로 통할 만큼 충분히 발전한다.
5. 사람들이 모든 커뮤니케이션이 AI일 수 있다고 의심하기 시작한다.
6. 남은 유일한 증명 수단은 물리적 대면이다.
우리는 현재 3단계와 4단계 사이 어딘가에 있다. 음성 복제는 이미 상용화되었다. 실시간 영상 딥페이크는 연구실에 존재하며 소비자용 도구로 유출되고 있다. "그냥 나한테 전화해"가 적절한 인증 수단으로 기능하는 시간적 여유는 빠르게 좁아지고 있다.
에세이의 개발자는 결국 특정한 공유 물리적 경험—직접 만나서 있었던 일로, 어떤 AI도 학습 데이터에 담을 수 없는 것—을 언급하는 방법에 의존했다. 효과가 있었다. 간신히. 하지만 그것이 통한 것은 오직 그 기억이 어떤 학습 코퍼스에도 포함되지 않을 만큼 충분히 희미한 것이었기 때문이다. 사람들이 자신의 삶을 온라인에 더 많이 공유할수록, 그 마지막 보루마저 줄어든다.
개발자들이 지금 해야 할 일
인간과 기계를 구분하는 데 의존하는 시스템을 만들고 있다면, 불편한 현실은 이렇다: 행동 신호만으로는 더 이상 충분하지 않다. 단독으로는.
업계는 몇 가지 가능한 해결책으로 수렴하고 있다:
암호학적 증명. 신원을 하드웨어 키나 기기 수준의 증명에 연결한다. 애플의 App Attest와 구글의 Play Integrity API가 이미 앱 단위에서 이를 수행하고 있다. 이를 대인 커뮤니케이션으로 확장하는 것은 기술적으로 가능하지만 사회적으로 논쟁적이다.
소셜 그래프 인증. 메시지의 내용이 아닌, 관계의 구조를 신뢰 신호로 사용한다. 누군가가 검증 가능한 인간 관계망 안에 존재한다는 것을 입증할 수 있다면, 그것은 어떤 단일 상호작용보다 위조하기 어렵다. 어렵기는 하지만, 불가능하지는 않다.
지속적 인증. 단일 증명 이벤트 대신, 장기간에 걸쳐 시뮬레이션하기 비용이 높은 지속적 패턴을 통해 신원을 확립한다. 이것은 본질적으로 reCAPTCHA v3가 시도했던 것과 같지만, 웹 세션이 아닌 인간 관계에 적용된 것이다.
이 중 어느 것도 깔끔하지 않다. 모두 시민 자유 변호사가 움찔할 만한 프라이버시 함의를 수반한다. 그러나 대안—누구도 자신이 누구와 대화하고 있는지 확실히 검증할 수 없는 세상—역시 그 나름의 비용이 있다.
"인간이란 무엇인가"가 제품 결정이 될 때
수백 개의 댓글이 달린 해커 뉴스 스레드는 에세이 자체가 암시만 했던 무언가로 계속 돌아왔다: 인간다움의 신호가 재현 가능하다면, 디지털 맥락에서 "인간"이란 대체 무엇을 의미하는가?
이것은 더 이상 철학이 아니다. 제품 설계다.
모든 채팅 인터페이스, 모든 고객 지원 티켓 시스템, 모든 소셜 플랫폼이 향후 2년 이내에 이 질문에 답해야 할 것이다. 추상적으로가 아니라. 구체적으로—코드로, UI로, 서비스 약관으로. 자신이 진짜 사람임을 이모에게 납득시키지 못한 그 개발자는 특이한 에피소드를 묘사한 것이 아니었다. 디지털 정체성이 작동하는 방식의 체계적 실패의 최전선을 묘사하고 있었던 것이다.
튜링 테스트는 기계가 충분히 인간다울 수 있는지를 물었다. 역 튜링 테스트는 인간이 자신이 인간이라는 것을 증명할 수 있는지를 묻는다. 우리는 그 답에 대한 준비가 되어 있지 않다. (2)
*(1) 암호화폐 토큰과 교환하여 개발도상국에서 안구를 스캔하는 것에 대해 나는 의견이 있다. 호의적이지 않다.*
*(2) 참고로, 나도 지난달에 내가 보낸 문자가 정말 나한테서 온 것이라고 어머니를 설득해야 했다. 2019년에 신시사이저 보관 문제로 했던 특정 말다툼을 인용했다. 어머니는 수긍했는데, 오직 어떤 언어 모델도 그 싸움을 기억할 만큼 옹졸하지는 않을 거라는 것을 알았기 때문이다. 18개월만 더 지나 보라.*