Blog Dice

Diseconomies of scale in fraud, spam, support, and moderation

Dan Luu

사기, 스팸, 고객지원, 모더레이션에서의 규모의 비경제

원문은 Dan Luu님이 에 게재했습니다. 이 블로그 구독하기

‘SD 카드를 하나 사고 싶은데, 진짜 SD 카드를 팔고 가짜를 안 팔 곳은 어디일까, 아마존일까 동네 Best Buy일까?’라고 스스로에게 물어보면 답은 당연히 동네 Best Buy다1. 아마존은 짝퉁 SD 카드를 파는 것으로 악명이 높기 때문이다. 여기서 한 발 더 나아가 ‘동네 Best Buy와 믿을 만한 동네 전자제품 전문점(Memory Express, B&H Photo 등) 중 어디를 더 믿느냐’고 물으면 역시 그 전문점을 더 믿는다. 그들은 Best Buy보다 짝퉁을 팔 가능성이 낮을 뿐 아니라, 설령 짝퉁을 팔더라도 사후 서비스가 더 나을 가능성이 높기 때문이다.

비슷하게 ‘사기, 스팸, 가짜 콘텐츠 등을 더 많이 겪는 곳은 어디일까, [작은 플랫폼]일까 [큰 플랫폼]일까’라고 물어도 답은 대체로 [큰 플랫폼]이다. 물론 세상에 작은 플랫폼은 훨씬 많고 편차도 크니 일부러 형편없는 작은 플랫폼을 골라 쓰면 더 나쁠 수도 있다. 하지만 각 규모별로 괜찮은 선택지끼리 비교하면 대체로 작은 쪽이 더 낫다. 예를 들어 Signal과 WhatsApp을 비교하면, 나는 Signal에서 스팸 메시지를 단 한 번도 받아본 적이 없지만 WhatsApp에서는 꽤 자주 스팸을 받는다. 기술 콘텐츠를 보는 곳을 비교해도 마찬가지다. 아무도 모르는 아주 작은 포럼과 lobste.rs를 비교하면 내가 보는 메시지 중 나쁜 콘텐츠의 비율(절대량이 아니라 비율)은 lobste.rs가 아주 조금 더 높다. 작은 사설 포럼에서는 그 비율이 0이지만 lobste.rs에서는 매우 낮지만 0은 아니기 때문이다. 다시 lobste.rs와 Hacker News나 mastodon.social 같은 조금 더 큰 플랫폼을 비교하면 그곳들은(또 아주 약간이지만) 사기·스팸·가짜 콘텐츠 비율이 더 높다. 그리고 reddit 같은 중간 규모 소셜 미디어와 비교하면 reddit은 나쁜 콘텐츠 비율이 눈에 띄게 훨씬 높다. 거기서 다시 YouTube, Facebook, Google 검색 결과 같은 초대형 플랫폼과 비교하면 더 큰 플랫폼일수록 사기·스팸·가짜 콘텐츠 비율은 더욱 높아진다. 그리고 SD 카드 사례와 마찬가지로 플랫폼이 커질수록 제대로 된 고객지원을 받을 가능성은 낮아진다. 잘못된 정지나 차단을 당했을 때 계정이 복구될 확률도 플랫폼이 커질수록 떨어진다.

플랫폼이 커질수록 많은 것이 나빠진다는 말은 그리 논란이 될 이야기는 아니라고 생각한다. 예를 들어 내가 느슨하게 연결된 사람들의 생각을 보기 위해 트위터에서 투표를 했을 때 초대형 기업 플랫폼이 모더레이션과 스팸·사기 필터링을 가장 잘한다고 생각한 사람은 2.6%에 불과했다. 참고로 다른 여론조사에서는 미국인의 9%가 백신이 마이크로칩을 심는다고 답했고 12%는 달 착륙이 조작이라고 답했다. 표본은 다르지만, 무작위로 뽑은 미국인이 달 착륙이 가짜라고 말할 확률이 테크 업계 사람들이 가장 큰 기업이 사기·스팸·모더레이션을 가장 잘한다고 말할 확률보다 더 높아 보인다.

하지만 지난 5년간 정반대 주장을 하는 사람이 점점 늘어나는 것을 목격했다. 제대로 된 모더레이션, 스팸 필터링, 사기(와 짝퉁) 탐지는 대기업만 할 수 있다는 주장이다. 검색 결과를 살펴보면서 그런 사례 하나를 들여다본 적이 있는데, 당시 한 Google 엔지니어는 이렇게 말했다.

누군가 검색 시장이 더 경쟁적이어서 세 곳 정도의 대형 사업자 대신 수많은 소형 사업자가 있다면 머신러닝 기반 SEO 어뷰징에 오히려 더 강할 거라고 주장하더라.

그런데… 봐라, *구글*조차 지금 그걸 따라잡지 못하는데, 시장점유율 5%짜리 꼬마 업체가 어떻게 하겠는가?

그러자 한 오피니언 리더가 이렇게 답했다.

95% 정도는, 어떤 작고 독립적인 회사가 시장 선도 기업보다 어려운 일을 더 잘할 수 있다고 주장하는 건 그냥 자기위안이다. 규모의 경제는 꽤 잘 작동한다!

하지만 실제 결과를 들여다보니 우리가 살펴본 검색엔진 중 시장점유율 0.0001%짜리가 SEO 어뷰징에 가장 강했고(그리고 꽤 쓸 만했다), 0.001%짜리는 조금 강했으며, Google과 Bing은 SEO 어뷰징으로 완전히 도배되어 사람들을 온갖 사기로 바로 연결하고 있었다. 이메일도 비슷하다. 스팸 때문에 개인 메일 서버 운영은 불가능하다는 말을 자주 듣지만, 실제로 운영하는 사람은 많고 결과도 Gmail과 비슷하거나 더 나은 경우가 많다. 주된 문제는 오히려 대형 메일 서버가 작은 메일 서버를 잘못 차단하는 데 있다.

모더레이션, 스팸 방지, 사기 방지 등을 하려면 규모가 필요하다는 댓글을 많이 보기 시작한 시점은, 엘리자베스 워런이 빅테크 분할을 주장하자 저커버그가 빅테크를 쪼개면 콘텐츠 모더레이션 문제가 훨씬 악화될 것이라고 주장하던 때와 겹친다.

Facebook이든 Google이든 Amazon이든 이들 회사를 쪼갠다고 문제가 해결되지는 않습니다, 라고 저커버그는 말했다. “그리고 선거 개입 가능성이 줄어들지도 않습니다. 오히려 더 커집니다. 이제 회사들이 협력할 수 없게 되니까요. 혐오 표현 같은 문제도 가능성이 줄어들지 않습니다. 오히려 커집니다. 이제 … 우리가 구축하고 투자해 온 모든 프로세스가 더 파편화되니까요.

그래서 트위터가 우리만큼 잘할 수 없는 겁니다. 질적으로는 같은 유형의 문제를 겪지만, 투자를 할 수 없죠. 안전에 대한 우리 투자는 그 회사 전체 매출보다 큽니다. [웃음] 물론 우리는 더 큰 규모로 운영하지만, 그들이 질적으로 다른 질문에 직면한 건 아닙니다. 우리와 똑같은 유형의 문제를 모두 겪고 있죠.”

주장은 좋은 모더레이션을 하려면 막대한 자원이 필요하고, 트위터 규모(약 300억 달러 가치였던 당시)의 작은 회사는 그 자원을 동원할 수 없다는 것이다. 나는 당시 이 말이 꽤 웃기다고 느꼈다. 트위터 인수 전 기준으로 내가 본 명백한 사기 콘텐츠 비율은 트위터보다 Facebook에서 훨씬 높았기 때문이다. 예를 들어 연말 쇼핑 시즌에 Facebook 광고를 클릭해 보면 대부분이 사기였다. 트위터에도 사기 광고가 있었지만 Facebook과는 비교가 되지 않았다. 나만 그렇게 느낀 게 아니다. Facebook 초기 신고 시스템을 설계하고 주요 신뢰·안전 업무를 이끌었던 Arturo Bejar도 비슷한 점을 지적했다(자세한 내용은 각주 참조)2.

저커버그는 위와 같은 논리를 좋아하는 듯하다. 다른 곳에서도 비슷한 주장을 했는데, 같은 해 Meta 내부 문서가 하루에 미성년자 10만 명을 성인 성기 사진 등 성적 학대 콘텐츠에 노출시키고 있다는 사실을 지적하던 시점이었다.

어느 정도는 내가 기숙사 방에서 시작했을 때 당연히 1만 명이나 4만 명이 콘텐츠 모더레이션을 할 수는 없었고, 당시엔 유해 콘텐츠를 선제적으로 찾아낼 AI 역량 자체가 존재하지 않았다. 사업을 키우면서 그 중 더 많은 일을 할 수 있게 된 시점이 온 것이다.

여기서 말장난은 Facebook이 저커버그 기숙사 방에서 시작할 때 1만 명이나 4만 명의 모더레이터가 필요했다는 가정이다. 기숙사 방 시절 Facebook보다 큰 서비스 중에는 오늘날 Facebook보다 더 나은 모더레이션을 단 한 명의 모더레이터, 그것도 종종 파트타임 한 명으로 해내는 곳이 있다. 하지만 빅테크에 대한 실질적인 반독점 조치가 거론되면서 빅테크 창업자와 임원들은 반(反)반독점 수사를 강화하며, 최대 기업들을 2015년이나 2010년 당시 최대 테크 기업 규모로 쪼개면 인류에 온갖 재앙이 닥칠 것처럼 주장한다. 이런 논리가 조금씩 퍼지는 듯하다. 대기업 직원들이 아주 비슷한 논리를 펴는 경우를 점점 더 많이 본다. 우리는 1979년 IBM 교육 매뉴얼이 이렇게 쓰던 시절에서 멀리 왔다.

컴퓨터는 절대 책임을 질 수 없다

그러므로 컴퓨터는 절대 경영 결정을 내려서는 안 된다

이제 주장은 많은 중요한 결정에서 대부분의 결정을 내릴 수 있는 것은 컴퓨터뿐이며, 책임 소재의 부재는 궁극적으로 버그가 아니라 기능처럼 보인다는 것이다.

하지만 안타깝게도 저커버그의 주장에는3 규모의 비경제가 지배하는 최소 세 가지 큰 문제가 있다. 첫째, 거의 모두가 나쁘다고 동의할 만한 것(비트코인 사기, 가짜 의약품 스팸, 가짜 날씨 예보, 성인이 아동에게 성기 사진을 보내는 행위 등)에 대해 대형 플랫폼이 소형보다 더 못한다는 점이다. 둘째, 사용자 입장에서는 회사가 커질수록 오류의 대가가 훨씬 크고 바로잡기 어려워진다는 점이다. 지원이 대체로 나빠지기 때문이다. 셋째, 플랫폼이 커질수록 무엇이 허용되어야 하는지에 대해 강하게 반대하는 사용자 비율이 커진다는 점이다.

첫 번째 문제와 관련해, 대기업이 더 많은 자원을 가지고 있다는 건 사실이지만, 자원이 많으니 모더레이션을 가장 잘할 것이라는 칵테일 파티식 아이디어는 그들이 가장 매력적인 표적이라서 모더레이션을 가장 못할 것이라는, 똑같이 단순한 아이디어나 조직과 문제 영역을 키울 때 생기는 표준적인 규모의 비경제로 인한 파편화가 가장 심할 것이라는 아이디어와 맞선다. 어느 쪽이 우세한지는 이론으로 가릴 수 없을 만큼 복잡하지만 결과는 경험적으로 관찰할 수 있다. 적어도 대기업이 모더레이션, 스팸 등에 투입하기로 선택한 자원 수준에서는 더 큰 표적이 되는 것과 규모에 따른 다른 문제들이 우세하다.

이 기업들이 엄청난 수익을 내고 있어 이 문제를 크게 줄일 만큼 자원을 투입할 수도 있다는 건 사실이지만, 그들은 그렇게 하지 않기로 선택했다. 예를 들어 내가 이 문장을 쓰기 전 1년간(2023년 12월까지) Meta의 세전 이익은 470억 달러였다. Meta가 내가 아는 한 전력 회사의 내부 비전(“신뢰할 수 있는 에너지를, 낮은 비용으로, 세대를 이어”) 같은 것을 가지고 그 전력 회사처럼 사용자 경험을 좋게 만들려고 노력하고 이익 극대화와 메타버스 만들기에 몰두하지 않았다면, 메타버스에 쓴 500억 달러를 모더레이션 플랫폼과 기술에 쓰고, 연 3만 달러(오늘날 모더레이터를 많이 고용하는 대부분 국가에서는 꽤 괜찮은 수입으로, 원하는 사람을 골라 뽑을 수 있는 수준)로 160만 명의 추가 정규직 인력을 에스컬레이션이나 고객지원 등에 쓸 수 있었을 것이다. 사용자 수천 명당 한 명의 모더레이터나 지원 인력 꼴이다(물론 이렇게 많은 사람을 관리하는 데에도 규모의 비경제가 적용된다). Meta나 Google이 그렇게 해야 한다고 말하는 건 아니지만, 대기업 직원이 “우리 규모에서는 수동 시스템을 운영할 엄두를 낼 수 없으니 시스템은 완전히 자동화되어야 한다”는 식의 말을 할 때마다 실제로 말하고 있는 것은 “모호하다고 시스템이 플래그를 단 케이스를 유능한 사람이 직접 검토할 만큼 충분히 고용하면 연간 수십억 달러의 이익을 내지 못할 테니, 이익을 해치지 않는 선에서 가능한 것에 만족한다”에 가깝다.4 그 선택을 옹호할 수도 있지만, 어쨌든 선택이다.

규모의 경제의 이점에 대한 주장도 마찬가지다. 규모의 경제가 사용자 경험을 legit하게 개선하는 영역이 있다. 예를 들어 왜 제대로 작동하는 물건을 사기 어려운지 살펴봤을 때, 우리는 Amazon의 규모의 경제가 비록 결함이 있지만 그 외에 이용 가능한 것보다 여전히 더 신뢰할 수 있는 자체 배송망을 구축하게 해주었고(사용자가 각 배송을 평가할 수 있게 한 이후로는 더 개선되었다. 다른 대형 배송사는 제공하지 않는 기능이다) 언급했다. 마찬가지로 Apple의 규모와 수직 계열화는 역대급 성능 팀을 구축하게 해주었다(정규화된 성능으로 측정한). 벤치마크에서 경쟁을 압도했을 뿐 아니라 기기 지연 시간처럼 최근까지 아무도 제대로 측정하지 않던 부분에서도 더 나은 경험을 제공했다. 더 사소한 규모의 경제 사례로는, 잘 배송되는 크래커 같은 식품은 동네 마트보다 Amazon이 더 싸다. 규모의 경제가 사용자에게 이득이 되는 방식을 꼽기는 쉽지만, 그렇다고 모든 영역에서 규모의 경제가 규모의 비경제를 압도한다고 가정해서는 안 된다. 이 글의 범위를 벗어나지만, 회사가 커질 때 사용자가 더 나아지는지 나빠지는지를 논하려면 무엇이 나아지고 무엇이 나빠지는지를 봐야지, 일부가 나아진다는 이유로 모든 것이 나아질 것이라거나 그 반대로 가정해서는 안 된다.

다시 ‘초대형 기업이 모더레이션, 스팸, 사기 방지 등에 가장 많은 자원을 쓸 수 있다’는 주장과 실제로는 그 자원을 다른 곳, 예를 들어 메타버스에 500억 달러를 쓰고 고용할 수도 있었던 160만 명의 모더레이터와 지원 인력을 고용하지 않는 현실로 돌아오면, 얼마나 많은 노력이 투입되고 있는지를 보는 게 합리적이다. Meta의 미얀마 개입은 적절한 사례 연구가 된다. Erin Kissane이 4만 단어 분량으로 일어난 일을 꽤 자세히 정리했기 때문이다. 일어난 일 전체는 크고 복잡한 문제(자세한 논의는 부록 참조)지만, 이 글의 주제와 관련해 핵심은 대부분의 사람이 최우선으로 처리해야 한다고 동의할 만한 문제가 있었고, Meta 직원 각급(엔지니어, 디렉터, VP, 임원 등)에게 반복적으로 매우 심각하고 긴급한 경고가 전달됐음에도 거의 자원이 투입되지 않았으며, 내부 문서상 합의된 나쁜 콘텐츠 중 시스템이 잡아낸 것은 몇 퍼센트에 불과했다는 점이다. 이게 Meta만의 일이라고 생각하지 않으며, 다른 대형 테크 기업에서도 사용자이자 직원으로서 비슷한 경험을 했다.

더 작은 규모의 예를 들자면, 내 지인 중 한 명의 Facebook 계정이 탈취되어 지금은 비트코인 사기에 쓰이고 있다. 그 사람 이름은 Samantha K.인데 사기꾼은 사기를 칠 만큼 바쁜지 이름조차 제대로 읽지 않고, “Kamantha”가 자신에게 수만~수십만 달러를 벌어주었다며 누군가 손팻말을 들고 찍은 명백히 조작된 사진을 계속 생성하고 있다. 이는 “해커”들이 흔히 쓰는 수법이고, Facebook에서 연결된 다른 한 명도 계정이 탈취당해 예전 계정을 복구하지도, 그 계정에서 쏟아지는 명백한 사기 게시물에도 불구하고 밴조차 시키지 못했다고 했다.

반면 lobste.rs에서는 이런 사기를 본 적이 없고, 수석 모더레이터인 Peter Bhat Harkins는 자신이 아는 한 한 번도 없었다고 한다. Mastodon에서는 내 피드나 멘션에서 한 번 본 것 같은 기억이 있다. 물론 Mastodon도 규모가 있으니 찾아보면 사기를 찾을 수 있지만, 메시지당·사용자당 비율은 일반 사용자가 마주치지 않을 정도로 낮다. (인수 전) Twitter나 reddit에서는 보통 수 주에 한 번 정도 내 일반 피드에서 보게 된다. Facebook에서는 이런 것을 항상 본다. 쇼핑 시즌마다 명백한 사기성 소비재 사이트를 보고, 비트코인 사기는 광고는 물론 계정 탈취를 통한 게시물로 연중 내내 이어진다. 많은 사람이 이런 사기를 신고해 봤자 Facebook이 조치하지 않는 것을 보고 이제는 신고조차 하지 않는다고 한다. 한편 Reuven Lerner는 Python과 Pandas 강의 광고를 하려다 Facebook 광고가 평생 금지되었다. Facebook 시스템이 Reuven의 광고를 프로그래밍이 아니라 동물 거래와 관련된 것으로 “오해”했기 때문인 것 같다. 이것이 저커버그가 어떤 작은 회사도 따라올 수 없다고 말하는 모더레이션과 스팸 통제의 수준이다. 참고로 Meta만 집요하게 꼬집으려는 게 아니다. 조금 다른 flavor의 사례를 원하면 부록의 Google 사례 모음에서 자동화 시스템이 오작동한 사례를 100가지 볼 수 있다.

이 모든 논의가 경험적 질문으로 귀결되는 이유는, 규모의 경제가 초대형 기업이 문제에 더 많은 자원을 투입할 수 있게 한다는 이야기가 회사가 실제로 그 자원을 투입하기로 선택해야만 의미가 있기 때문이다. 기업이 이 분야에 자원을 투입하도록 만드는 이론적 힘은 없으므로 이론적으로 추론할 수 없다. 하지만 투입된 자원이 문제에 비해 충분하지 않다는 것은 관찰할 수 있다. 심지어 대부분의 사람이 매우 명백히 최우선이어야 한다고 동의할 문제, 예를 들어 미얀마에서의 Meta 사례에서도 그렇다. 물론 우선순위가 덜 명확한 문제에서도 자원은 투입되지 않는다.

두 번째 문제인 고객지원에 대해서는, 대기업 플랫폼에서 지원을 받는 유일한 방법은 바이럴 소셜 미디어 게시물을 올리거나 내부에 아는 사람이 있는 것뿐이라는 말이 테크 업계에서 밈이 되어 있다. 이는 나쁜 모더레이션, 사기 탐지, 사기 방지 등의 문제를 가중시킨다. 지원이 좋다면 그 문제들을 완화할 수 있기 때문이다.

일반적인 지원 채널은 농담 수준이다. 정형화된 거절 메일을 받거나, 카프카적인 악몽을 겪은 뒤 정형화된 거절 메일을 받는다. 예를 들어 Adrian Black이 Adrian Black을 사칭했다는 이유로 YouTube에서 밴당했을 때(분명히 하자면 그는 같은 이름의 다른 사람이 아니라 자기 자신을 사칭했다는 이유로 밴당했다) 항소 후 받은 답변은 이랬다.

안타깝게도 저희 쪽에서 더 해드릴 수 있는 게 없습니다. 계정 정지와 항소는 매우 신중하게 검토되었으며 결정은 최종적입니다

다른 Google 지원 사례로, Simon Weber는 세금 납부에 필요한 정보를 얻으려다 Google 지원에서 뺑뺑이를 돌았다.

확장 프로그램용 회계 데이터 내보내기가 2018년 4월부터 저(그리고 아마 모든 확장 프로그램 판매자)에게서 고장 나 있었습니다[이 글은 2020년 9월에 쓰였다]. 뉴욕주 법무장관이 서한을 보내주기 전까지는 제대로 된 지원 답변을 받을 수 없어 세금 신고를 제대로 할 수 없었습니다

YouTube가 PointCrow의 젓가락으로 물을 먹는 영상(젓가락을 물에 담갔다가 물을 마시는 것을 반복하며 물 한 그릇을 아주 천천히 먹는 영상)을 계속 수익 창출 불가 처리한 일도 있었다.

다음과 같이 답하면서도

그 실수에 대해 정말 죄송하고 왔다 갔다 하게 해 드려 죄송합니다. 다시는 그런 일이 없도록 팀과 이야기했습니다

그는 다시 수익 창출 불가 처리를 당했고, 항소는 정책을 명백히 위반했으므로 어쩔 수 없다는, 세심하게 검토했다는 표준 지원 답변으로 시작됐다.

항소를 검토했습니다 … 콘텐츠를 신중히 검토한 결과 폭력적이거나 그래픽한 콘텐츠 정책을 위반한 것으로 확인되었습니다 … YouTube를 모두에게 안전한 곳으로 유지하는 것이 저희의 임무입니다

이는 유명 사례지만, 유명하지 않다고 밴을 피할 수 있는 건 아니다. FB 마켓플레이스에서 진공청소기를 팔다 밴당한 HN 사용자처럼 똑같이 사실상 자동 답변을 받는다. 여러 차례 항소 끝에 그는 이런 답변을 받았다.

안타깝게도 커뮤니티 가이드라인 위반으로 계정을 복구할 수 없습니다. 검토 결과는 최종적입니다

유료 지원이 선택 사항일 때 “돈을 내면 이런 문제를 겪지 않을 것”이라고 말하는 사람도 있지만, Google One 유료 지원이나 Facebook과 Instagram의 유료 크리에이터 지원을 이용해 본 사람들은 유료 지원도 무료와 다를 바 없다고 말한다. 사실상 유료 지원이 내장된 제품도 꼭 나은 건 아니다. 연간 Google Cloud에 8~9자리 숫자의 비용을 쓰는 회사에서 일하는 지인들도 무료 Google 지원에서 겪는 것과 같은 뺑뺑이를 경험한 걸 안다. 많은 사례 중 하나에서 사용자는 Google이 패킷을 드롭하고 있다고 보았지만 Google 지원은 패킷 트레이스상 그럴 수 없음이 명백한데도 드롭이 고객 데이터센터에서 일어난다고 계속 주장했다. 마지막으로 들은 바로는 그들은 그 건을 포기했지만, 때로는 문제가 완전히 쇼스토퍼일 때 누군가 Google 내부의 친구에게 전화해 지원을 받기도 한다. 표준 지원이 완전히 무용지물인 경우가 많기 때문이다. 그리고 이는 Google만의 일이 아니다. 다른 클라우드 벤더에서도 내 전 동료가 매우 고위 엔지니어가 고객이 한 시간에 여러 번 몇 초씩 패킷이 100% 드롭된다는 불만을 보고받자 “클라우드인데 감수해야죠”라는 취지로 답하는 자리에 있었다. 그 엔지니어는 그 이슈가 [VIP 고객]에게서 나왔고 [세계 최대 규모의 TV 중계 스포츠 이벤트]를 방해하고 있어 평소처럼 무시할 수 없다고 듣기 전까지는 무시하려 했다. 그 건은 고쳐졌지만, 당신이 연간 수억 달러를 내는 고객이라도 그 정도로 중요하지 않다면 고쳐질 가능성은 낮다.

그리고 이런 지원이 클라우드 벤더만의 일도 아니다. 예를 들어 Stripe이 한 고객의 40만 달러를 한 달 넘게 설명도 없이 묶어둔 사례가 있었고, 지원에 문의할 때마다 우리가 방금 본 것만큼이나 터무니없는 답변만 돌아왔다. 사용자는 유일하게 신뢰할 수 있는 Stripe 지원 수단인 HN에 글을 올려 프론트 페이지 1위를 노렸고, 그게 통했다. 많은 댓글 작성자가 “HN에 이런 글이 많이 올라오는데 고객 지원을 사기성으로 조작하려는 시도 같다”며 사용자가 뭔가 불법적이거나 사기성 있는 일을 하고 있다고 암시했지만, 사실은 Stripe 쪽 오류였고 대기업식 지원이 문제를 키운 것이었다. 한때 사용자는 이렇게 썼다.

HN 글을 쓰는 동안 Stripe와 한 시간 넘게 채팅했습니다. 새로운 정보는 없었습니다. 기본적으로 제 채팅을 종료하려 하더군요. 그러다 제가 HN 스토리를 보내주고 관심이 좀 생기고 있다고 보여주자 그제야 다시 제 이슈를 처리하고 더 많은 사람과 소통하려 했습니다

그리고 다음 날 문제가 해결되었다.

원칙적으로는 회사가 커질수록 규모의 경제를 활용해 더 효율적인 지원을 제공할 수도 있지만, 실제로는 더 나쁘지만 더 싸고 더 수익성 높은 지원을 제공하는 경향이 있다. 예를 들어 Google Play 스토어 승인 지원에 대해 한 Google 직원은 이렇게 말했다.

그 중 많은 부분이 해외로 아웃소싱되어 응답 시간이 훨씬 느려졌습니다. 미국에서는 빠르게 응답하기 위한 많은 지표가 있었습니다. 보통 앱은 당일에 리뷰되었습니다. 지금은 어떤지 모르겠지만 당시 매니저들은 무능했습니다

그리고 전직 FB 지원 담당자는 이렇게 말했다.

여기서 큰 문제는 분업이다. 큐에서 가장 많은 시간을 보내는 사람이 정책에 대해 가장 적은 영향력을 갖는다. 분석가는 이슈를 QA에게 올릴 수 있고 QA는 이를 Facebook 정규직에게 올릴 수 있다. 이슈가 처리되기까지, 처리된다 해도 수개월이 걸릴 수 있다. 최악은 상식적으로 행동하고 정책의 문자가 아니라 정신을 구현하면 품질 점수에 부정적인 영향을 미칠 수 있다는 점이다. 내 재직 기간 중 몇 달 동안은 부주의하게 쓰인 정책 “명확화” 때문에 경고 화면 없이 훼손된 동물 사진 대부분이 허용되었고 우리는 어찌할 도리가 없었다는 점을 종종 생각한다.

지원 담당자가 왜 앞뒤 안 맞는 답변을 하는지 궁금했다면, 때로는 그 이유가 뻔하다. 지원이 시간당 1달러를 받는 사람에게 아웃소싱되어(내가 많이 아웃소싱되는 한 국가의 표준 요율을 찾아보니 시간당 약 1달러였다) 언어를 제대로 못하고 시스템에 대해 아무것도 이해하지 못한 채 흐름도만 읽고 있기 때문이다. 하지만 덜 분명한 또 다른 이유는 지원 담당자가 흐름도대로 하지 않고 상식적인 조치를 취하면 불이익을 받고 결국 해고될 수도 있기 때문이다.

“고객 지원을 사기성으로 조작하려는 시도로 보인다”는 댓글로 돌아오면, 이는 임의적이고 변덕스러운 밴을 내리는 회사의 엔지니어들에게서 흔히 보아온 정서다. 그 심정은 이해한다. 내가 트위터에 합류하기 전 공개 정보를 언급하며 썼듯

트위터가 하루에 약 100만 개의 봇을 제거하고 있다는 것이 밝혀졌다. 트위터 MAU는 약 3억 명에 불과하니 오류 허용 범위는 매우 낮다. 이는 정말 어려운 문제처럼 보인다 … Gmail 스팸 필터는 제대로 분류된 정상 메일 1000개당 오탐이 maybe 1개 정도다 … 서비스에서 같은 비율로 실제 사용자를 정기적으로 날려버린다면 [끔찍할 것이다].

사실 거대 기업의 지원 큐를 파고들어 밴에 대한 항소를 살펴보면 거의 모든 항소는 기각되어야 하는 게 맞다. 하지만 항소 시스템을 다루는 엔지니어들과 이야기해 본 내 경험상 많은, 어쩌면 대다수가 “거의 모든”을 “모든”으로 반올림한다. 이는 양적으로도 질적으로도 다르다. 시스템에서 일하는 엔지니어들이 자신의 결정이 “거의 모두”가 아니라 “모두” 올바르다고 믿으면 사용자 경험은 나빠진다.

예를 들어 잘못된 밴으로 유명한 소셜 미디어 회사가 있다(내가 아는 사람의 최소 10%는 잘못된 밴으로 계정을 잃었고, 모르는 사람을 무작위로 검색해도 그 사람의 계정이 여러 개 나오고 최신 계정 프로필에는 “예전에는 @[예전 계정]이었다”고 쓰여 있는데 예전 계정에서 새 계정으로 포워딩이 없는 경우가 많다. 이제 밴당했기 때문이다). 이 일을 하는 팀의 시니어 엔지니어를 만났을 때 왜 그렇게 많은 정상 사용자가 밴당하냐고 묻자 그는 “그건 문제가 아니다. 진짜 문제는 밴을 충분히 하지 않는 것이다. 밴당한 사람은 모두 그럴 만하다. 항소를 듣거나 고민할 가치가 없다”는 취지로 답했다. 물론 모든 공개 플랫폼의 대부분 콘텐츠는 나쁜 콘텐츠, 스팸 등이다. 그래서 나쁜 콘텐츠인지 아닌지에 대한 어떤 신호라도 있으면, 들여다봤을 때 나쁜 콘텐츠일 가능성이 높다. 하지만 그 역인 “거의 아무도 잘못 밴당하지 않는다”는 참이 아니다. 그리고 나쁜 콘텐츠를 분류하는 팀의 고위 인력이 오탐은 걱정할 필요가 없다고, 플래그된 콘텐츠는 거의 모두 나쁘다고 생각하면 오탐이 많은 시스템이 만들어진다. 나중에 사기 탐지 시스템에서 오탐을 줄이기 위해 무엇을 했는지 물어봤더니 체계적으로 오탐을 추적하려는 시도 자체가 없었고, 직원이 잘못된 밴을 뒤집기 위해 내부 티켓을 낸 경우를 세는 방법조차 없었다. 메타 수준에서는 오탐률을 낮출 메커니즘은 사실상 없고 오탐률을 낮출 메커니즘이 없었다(예: 누군가 잡히지 않는 나쁜 콘텐츠를 보고 더 많은 나쁜 콘텐츠를 잡는 무언가를 추가하는 식으로 오탐률을 낮추는 메커니즘은 있었다). 이런 메타 시스템이 내가 아는 사람의 10% 이상이 잘못 정지나 밴을 당하는 결과를 낳은 건 놀라운 일이 아니다. 그리고 Patrick McKenzie가 말했듯 최적의 오탐률은 0이 아니다. 하지만 시스템에서 일하는 엔지니어들이 오탐이 불가능할 정도로 충분히 작업했다는 태도를 가지면 오탐률은 최적보다 높을 것이 거의 확실하다. 여기에 일반적인 대기업 수준의 지원을 결합하면 카프카적인 사용자 경험의 레시피가 된다.

또 한 번은 Uber의 모더레이션 정책 변경 발표가 오탐 밴을 초래할 가능성이 높다고 말했을 때였다. Uber의 TL이 즉시 나를 나무라며 밴이 어떻게 작동하는지에 대해 근거 없는 가정을 하고 있다고, Uber 엔지니어들은 오탐 밴이 없도록 엄청난 노력을 기울이며 밴이 유효한지 확인하기 위한 광범위한 검토가 있고 사실 내가 우려한 오탐 밴은 절대 일어날 수 없다고 했다. 그리고 나는 사기 탐지 시스템의 오탐으로 사실상 밴당했다. Uber가 잘못 밴당한 기사가 법원에 가서야 밴 이유에 대한 정보를 얻고 나서야 Uber가 실제로 들여다본(항소에 대해 들여다봤다고 거짓 메시지로 답하는 대신) 그 사건이 떠올랐다. 이후 Uber는 언론 질의에 이렇게 답했다.

법원이 의심되는 사기로 인해 기사 계정을 비활성화할 때 우리가 마련한 강력한 프로세스, 즉 의미 있는 인간 검토를 인정하지 않아 유감입니다

물론 그 기사 사례에서는 검토를 위한 강력한 프로세스도, 내 사례에 대한 강력한 항소 프로세스도 없었다. 지원에 연락했을 때 그들은 내 메시지를 제대로 읽지도 않고 오히려 계정을 이전보다 더 망가뜨리는 변경을 했다. 다행히 트위터 팔로워가 충분히 많아 내 트윗을 본 Uber 엔지니어 몇 명이 밴을 풀어주었지만, 대부분의 사람에게는 그런 선택지가 없다. 그래서 Google 계정에 문제가 생겨 필사적으로 도움을 구하는 사람이 Google 직원들을 대상으로 한 Facebook 광고 같은 기이한 일이 생긴다.

그리고 내부에 아는 사람이 있어도 문제가 항상 쉽게 해결되는 건 아니다. 회사가 커져도’efficacité가 높아지지 않더라도 시스템의 복잡성은 증가하기 때문이다. 좋은 예가 Gergely Orosz가 전한, 결제 팀 매니저가 Uber를 떠난 뒤 이해할 수 없는 머신러닝 사기 방지 알고리즘 때문에 결제 사기를 저지른다는 이유로 Uber에서 밴당한 이야기다. 문제를 고치려 6개월을 시도했지만 완화만 했을 뿐이다. 그리고 그 와중에도 무슨 일이 일어났는지 이해하고 근본 원인을 고치지는 못했다. 대신 전 결제 팀 매니저를 특별 화이트리스트에 추가했을 뿐, 다른 사용자를 위한 문제는 고치지 않았고 아마도 그 계정에 대한 결제 사기 방호는 심각하게 약화되거나 완전히 제거되었을 것이다.

근본 원인을 고치는 게 쉬웠다면 분명 고쳤을 것이다. 하지만 회사가 커질수록 기술적·비기술적 관료주의가 생겨 시스템이 직원에게조차 불투명해진다.

그 또 다른 예로, 랭킹된 소셜 피드를 가진 회사에서 timeline_injection:false, interstitial_ad_op_out 같은 필터를 추가하면 피드에서 원치 않는 것들을 없앨 수 있다는 아이디어가 바이럴로 퍼진 일이 있다. 처음 퍼졌을 때 여러 엔지니어가 들여다보고 그 트릭이 통하지 않는다고 생각했다. 100% 확신하지는 못했고 “이런 일을 하는 시스템이 구현된 기억이 없다”, “코드베이스에서 이 문자열을 검색해도 나오지 않는다”, “이런 일을 할 것 같은 시스템을 들여다봤는데 그런 일을 하지 않는 것 같다”는 식의 생각에 의존했다. 이 트릭이 통하지 않는다는 데 대해 중간 정도의 확신은 있었지만, 대형 회사에서 그렇듯 시스템의 전체 동작은 인간의 이해를 넘어서고 이해할 수 있는 부분조차 다른 우선순위 때문에 종종 이해되지 않기 때문에 아무도 그 트릭이 통하지 않는다고 단언하지는 못했다.

몇 달 뒤 그 트릭이 다시 바이럴로 퍼졌고, 사람들은 그게 사실인지 물을 때 지난 조사를 언급하곤 했다. 그런데 한 사람이 실제로 그 트릭을 시도해 보고 통한다는 슬랙 메시지를 썼다. 하지만 그 한 명의 재현 시도가 성공했다는 사실을 거의 아무도 알아차리지 못했다. 나중에 그 트릭이 다시 퍼졌을 때 사람들은 트릭이 통하지 않는다고 생각했다는 논의들을 가리켰고, 통하는 것처럼 보인다는(거의 확실히 사용자가 생각하는 메커니즘 때문이 아니라 필터 목록이 길어져 뭔가 타임아웃이 생기기 때문일 것이다) 메시지는 읽어야 할 정보가 너무 많아 묻혀버렸다.

내 주변 많은 사람들이 James Scott의 『국가처럼 보기(Seeing Like a State)』를 읽었다. 부제는 ‘인간 세계를 개선하려는 특정 계획들이 어떻게 실패했는가’이다. 이 책의 핵심 개념은 “가독성(legibility)”, 즉 국가가 볼 수 있는 것과 그것이 국가의 행동을 어떻게 왜곡하는가이다. 최소한 오늘날처럼 회사가 운영되는 한, 규모가 커진 회사에게 무엇이 비가독적인지에 대해 『테크 기업처럼 보기(Seeing like a Tech Company)』라는 매우 유사한 책을 쓸 수 있을 것이다. 간단한 예로, 3조 달러 규모의 회사에 속한 게임 스튜디오가 만든 게임을 포함한 많은 비디오 게임에서, 많은 사람이 계정을 문제 행동으로 신고하면 정지나 밴을 당하게 하기가 쉽다. 게임 회사가 볼 수 있는 것은 신고율이고 볼 수 없는 것은 플레이어의 실제 행동이다(볼 수 있게 할 수도 있지만, 회사는 실제 행동을 검토할 충분한 인원이나 숙련된 인원을 두지 않기로 선택한다). 많은 사람이 소셜 미디어 회사에서도 비슷한 밴을 당했다고 보고했다. 사기 방지 시스템 같은 것에 대해 말하자면, 회사가 볼 수 있는 것은 사기 방지 시스템 자체를 다루는 사람을 포함한 인간에게는 꽤나 비가독적인 경향이 있다.

비록 사기 방지 시스템을 직접 언급한 것은 아니지만, 특별조사 시스템에서 Facebook의 디렉터인 Eugene Zarashaw는 Facebook 자체 시스템의 비가독성을 보여주는 다음 코멘트를 했다.

광고 쪽에서 데이터 흐름이 정확히 어디에 있는지를 추적하려면 여러 팀이 필요하다. 그 좁은 질문에 대해 결론적으로 답할 수 있는 단 한 사람이라도 있다면 나는 놀랄 것이다

Facebook은 이 발언 때문에 부당하고 대부분 무지하게 뭇매를 맞았다(부록에서 논의하겠다). 하지만 일반적으로 Facebook 규모의 시스템이 어떻게 작동하는지 이해하기 어렵다는 건 사실이다.

원칙적으로는 회사가 제대로 된 보수를 받는 지원 인력이 극단적 결과를 초래할 수 있는 엣지 케이스 이슈, 즉 시스템이 상황을 “오해”하는 경우를 들여다보게 함으로써 불투명한 시스템의 가독성을 높일 수 있지만, 실제로는 회사는 이런 지원 인력에게 극히 낮은 임금을 주고 상황을 이해하지 못하는 사람을 고용한 뒤, 일반적으로 가독성 문제를 해결하지 못하도록 하는 지침을 준다.

규모에서 비가독성의 힘이 이기게 하는 한 가지는, 이런 초대형 회사의 고액 연봉 직원으로서 수백만·수십억 명의 사람(과 봇)을 모두 숫자로 보기 쉽다는 점이다. “한 사람의 죽음은 비극이다. 백만 명의 죽음은 통계다”라는 말처럼, 앞서 언급했듯 엔지니어들은 “거의 모든 X는 사기다”라는 생각을 “모든 X는 사기이니 X를 하는 사람을 모두 밴하고 항소를 보지 말자”로 바꾸곤 한다. 현대 테크 기업이 가진, 어떤 대가를 치르더라도 확장 가능한 해결책을 찾는 문화는 이를 다른 산업보다 같은 규모에서도 더 악화시키고, 테크 기업은 전례 없는 규모도 가지고 있다.

예를 들어 FB 광고 관리자가 미국 18~34세 인구에 대해 1억100만 명에게 도달할 수 있다고 주장하는데 미국 인구조사상 18~34세 총인구는 7600만 명이라는 지적에 대해, 광고 타기팅 팀의 전 PM은 이렇게 답했다.

FB 규모로 생각해 보세요

그리고 그는 “FB 규모”에서는 미국 18~34세 같은 인구통계에 대해 자르고 나누는 질의가 제대로 작동하리라 기대할 수 없다고 설명했다. Google에는 이런 경우에 아이러니하게 쓰이는 밈이 있다. “그렇게 낮은 수는 셀 수 없어”라는 말이다. 여기서는 전 FB 광고 PM이 비아이러니하게 “FB는 그렇게 낮은 수를 셀 수 없어”라고 말한 것이다. 1억 같은 숫자에 대해서 말이다. FB는 개별 사용자 한 명 한 명은 신경 쓰지 않을 뿐 아니라(유명하지 않다면), 이 PM은 1억 명 단위의 집단도 정확히 추적하는 데 신경 쓸 수 없다고 주장한다.

열악한 지원의 결과로 돌아오면, 이런 초대형 서비스에서 잘못 밴당했다는 이야기를 들었을 때 흔한 반응은 “잘됐네요! 애초에 왜 Uber/Amazon/뭐시기를 쓰나요? 끔찍한데 아무도 쓰지 말아야죠”이다. 나는 이 논리에 동의하지 않는다. 첫째, 그 사람이 서비스를 쓸지 말지, 무엇이 그에게 좋은지를 당신이 왜 결정해야 하는가? 둘째(이는 따로 한 편의 글로 다룰 만큼 큰 주제이므로 여기서는 간략히만 언급하고 @whitequark의 더 긴 코멘트를 링크한다), 사람들이 불필요한 편의로 치부해 그냥 안 쓰면 된다고 말하는 대부분의 서비스는 사실 꽤 많은 사람에게 심각한 접근성 문제다(비율보다는 절대적 수로). 작은 사업자라면 다른 곳으로 옮길 수 있지만 Uber나 Amazon 같은 곳은 비슷한 편의를 제공하는 대안이 없거나 하나뿐이고, 하나가 있을 때도 무작위 시스템 오작동으로 인한 밴은 다른 서비스에서도 일어날 수 있다. 예를 들어 DoorDash가 배달을 잘못했을 때 그냥 차지백하고 밴당하면 된다는 많은 댓글에 대해 한 장애인 사용자가 이렇게 답했다.

저는 장애인입니다. 운전면허도 차도 없습니다. 아파트 근처에 버스 정류장도 없고, 실제로는 하루 전에 미리 계획해야 하는 장애인 교통수단으로 출근합니다. Uber도 똑같은 짓을 해서 쿠폰이 있고 최근에 돈을 훔치지 않은 곳을 중심으로 Uber, DoorDash, Grubhub를 번갈아 씁니다. 모두가 그냥 가서 픽업할 수 있는 건 아닙니다.

또한 이런 부류의 문제를 논할 때 참여가 자발적이지 않은 경우도 많다. Fujitsu 버그로 사람들이 잘못 수감된 사례처럼.

세 번째 문제인 스팸, 사기 및 기타 금지된 콘텐츠에 대해 사람들이 무엇이 허용되어야 하는지에 동의하는 것이 불가능하다는 점은 여기서 자세히 논의했다. 우리는 단일하고 논란의 여지 없는 단순한 규칙 하나만 있어도 사람들이 무엇이 허용되는지에 동의할 수 없다는 것을 보았다. 그리고 규칙을 더 추가하거나 논란이 되는 주제를 추가하거나 사람 수를 늘리면 무엇이 허용되어야 하는지에 대해 동의하기는 더욱 어려워진다.

정리하면, 우리는 규모가 커질수록 모더레이션, 고객지원, 사기 방지, 스팸 방지가 더 나빠지는 규모의 비경제가 작용하는 세 영역을 살펴보았다. 첫 번째는 사기/스팸/피싱 웹사이트와 검색처럼 무엇이 나쁜지에 대해 폭넓은 합의가 있는 경우에도 가장 정교한 머신러닝을 가진 최대 기업이 작은 검색엔진을 운영하는 단 한 사람(매우 숙련된)도 따라잡지 못한다는 것이었다. 사기꾼에게 돌아오는 보상은 가장 큰 플랫폼을 노릴 때 훨씬 크므로, 스팸·사기 방지 등의 문제는 극도로 비선형적으로 어려워진다.

규모 차이를 감각적으로 이해하기 위해, HN은 스패머나 특정 종류의 악성 댓글을 다는 사람을 “헬밴(hellban)”한다. 대부분 스패머는 헬밴된 것을 깨닫지 못하고 한동안 계속 글을 올리므로, 로그인한 상태에서 “newest”(최신 글) 페이지를 보면 헬밴된 사용자에게서 자동으로 숨겨진 스토리들이 꾸준히 보인다. 꽤 많지만 비율은 일반적으로 절반에 훨씬 못 미친다. 2017년경 트위터 같은 “중간 규모” 빅테크를 공개 수치를 기준으로 보면, 스팸 봇을 삭제하는 대신 헬밴한다면 볼 수 있다면 보이는 것 모두가 스팸일 정도로 스팸이 압도적이다. 그리고 빅테크 중에서도 2017년 트위터는 그리 큰 편이 아니다. 앞서 언급했듯 전 FB 광고 타기팅 PM은 1억 같은 숫자조차 “그렇게 낮은 수는 셀 수 없어” 범주, 즉 신경 쓰기에는 너무 작다고 설명했다. 사실상 반올림 오차라는 것이다. 이 문제의 비선형적 난이도는 FB나 Google 같은 회사에서는 훨씬 더 심하다. 이 문제 난이도의 비선형성은 저커버그 등 테크 임원들이 자랑하고 싶어 하는 어떤 머신러닝이나 AI 기법보다도 더 큰 상대인 셈이다.

의회 증언에서 임원들은 “X를 95% 정확도로 식별할 수 있다”는 식의 말로 규모에서의 시스템 효과를 옹호하는 것을 볼 수 있다. 기술적으로는 맞을 수 있지만, 숫자에 어두운 청중을 의도적으로 오도하려는 진술처럼 보인다. 개인적 규모를 기준으로 하면 95%는 꽤 좋아 보일 수 있다. HN 규모 정도에서도 즉시 밴으로 이어지는 95% 정확도의 스팸 탐지가 그런대로 괜찮을 수도 있다. 어쨌든 그리 좋지 않더라도 잘못 밴당한 사람은 Dan Gackle에게 이메일을 보내면 밴이 풀린다. 우리가 숫자를 살펴봤을 때 언급했듯, 트위터 규모에서 95% 정확도의 탐지는 끔찍할 것이다(실제로 내가 받는 DM 대부분은 명백한 스팸이다). 아니면 한 발 물러서 매우 확신 있는 경우에만 사용자를 밴하거나, 아니면 얼마 지나지 않아 모든 사용자를 밴하게 되고, 회사가 지원을 처리하는 방식대로라면 항소는 “당신의 케이스는 신중히 검토되었으며 정책을 위반한 것으로 판단되었습니다. 이는 최종 결정입니다”라는 답변을 받게 된다. 심지어 자기 자신을 사칭했다는 이유로 사용자를 밴하는 것처럼 조금만 들여다보면 밴이 뒤집힐 케이스에서도 그렇다. 그리고 FB 규모에서는 더 나빠져 훨씬 더 빨리 모든 사용자를 밴하게 되므로, 한 발 물러서게 되고 결국 하루에 10만 명의 미성년자가 “성인 성기 사진이나 기타 성적 학대 콘텐츠”에 노출되는 일이 생긴다.

두 번째로 살펴본 영역은 고객지원으로, 회사가 커질수록 나빠지는 경향이 있다. 크게 보면 회사는 제대로 된 지원을 제공할 생각이 없다고 말해도 과언이 아니다(Amazon은 특히 AWS에서, 소비자 쪽에서도 어느 정도 예외다). 시스템 안에는 신경 쓰는 개인이 있지만, 지원에 투입되는 자원 비율을 성장이나 심지어 재미·명예 프로젝트와 비교하면 지원은 뒷전이다. DeepMind가 StarCraft AI를 훈련하던 시절에는 Alphabet이 지원 인력보다 StarCraft를 하는 데 더 많은 돈을 쓰고 있었을 가능성이 있다(그렇지 않더라도 크고 유명한 AI 훈련 프로젝트 한두 개만 더하면 충분히 그렇게 되고, 특히 맞춤형 하드웨어 개발의 분할 비용 등을 포함하면 더욱 그렇다).

대기업이 얼마나 지원을 신경 쓰지 않는지는 쉽게 알 수 있다. 지원에 연락해 겨우 아는 언어로 시간당 1달러를 받고 이해하지 못하는 문제를 흐름도대로 해결하려는 사람과 연결되거나, 이슈에 대해 항소하고 “신중한 검토 끝에 당신이 [실제로 한 일의 반대]를 한 것으로 판단했다”는 말을 들으면 된다. 어떤 경우에는 거기까지 갈 필요도 없다. Instagram 지원 안내를 따르면 시작했던 곳으로 돌아오는 무한 루프에 빠지고 “본인이 아닌 경우 여기를 클릭하세요” 링크가 404를 반환하는 경우처럼 말이다. 나는 Verizon에서 이런 무한 루프를 한 번 겪은 적이 있는데 적어도 6개월 동안 지속되었다. 그 이후로는 확인하지 않았지만 수년간 지속되었을 것이라고 장담한다. 온보딩이나 가입 페이지에 이런 문제가 있었다면 성장에 영향을 미치므로 심각하게 우선순위를 두고 고쳐야 할 버그로 간주될 것이다. 하지만 사기꾼이 계정을 탈취해 계정을 잃는 것과 같은 문제라면 수개월 혹은 수년이 지나서야 고쳐질 수도 있다. 혹은 아예 안 고쳐질 수도 있다.

정말로 지원을 신경 쓰는 회사에서 지원 업무를 하는 사람들과 이야기해 보면, 일반적인 빅테크 지원과는 프로세스든 문화든 완전히 다르게 운영된다는 것이 즉시 분명해진다. 대기업이 지원을 신경 쓰지 않는다는 또 다른 증거는, 지원이 어떻게 이루어지는지 혹은 지원을 잘하는 회사가 무엇을 하는지 전혀 들여다본 적 없는 대기업 직원과 임원들이 더 잘하는 것은 불가능하다고 말하곤 한다는 점이다.

실제로 지원을 신경 쓰는 회사의 지원 업무를 하는 사람들과 이야기해 보면 훨씬 더 잘할 수 있다는 것이 분명해진다. 이 글을 쓰는 동안 나는 실제로 지원 업무를 했다. 테크 기업치고 규모를 감안하면 지원이 상당히 잘 되는 회사에서(내가 보기에 99퍼센타일 이상이다), 지원 담당자를 위한 교육과 온보딩 과정을 포함해서 말이다. 규모에서 무언가를 잘 실행하는 것은 결코 사소하지 않다. 그래서 그 회사의 지원 조직이 얼마나 훌륭한지를 과소평가하려는 건 아니지만, 내게 가장 인상적이었던 것은 조직의 효과 중 많은 부분이 사용자에게 좋은 지원 경험을 제공하려는 마음에서 자연스럽게 따라온다는 점이었다. 그게 무엇을 의미하는지에 대한 전체 논의는 여기서 다룰 수 없을 만큼 길므로 다른 기회에 더 자세히 살펴보겠지만, 한 가지 예는 대기업 지원의 응답 방식을 보면 종종 사용자가 답장하지 않도록 유도하거나(“이 검토는 최종적입니다”) 혹은 회사가 적절한 일을 하고 있다는 것을 사용자에게 정당화하려는(“이는 순전히 자동화된 과정이 아니었으며 각 항소는 강력한 프로세스 안에서 인간에 의해 검토되었다 …”) 데 맞춰져 있다는 점이다. 이 회사의 교육은 표준적인 대기업식 “제발 꺼져 주세요” 스타일이나 “우리는 훌륭한 일을 했고 강력한 프로세스를 가지고 있으므로 불만은 부당하다” 스타일 응답의 정반대를 하라고 가르치고, 왜 그런 안티패턴이 나쁜 사용자 경험으로 이어지는지를 논한다. 게다가 문화는 이러한 아이디어를 깊이 내면화했고(혹은 오히려 이러한 아이디어가 문화에서 나왔다) 사람들이 정말로 좋은 지원이 무엇을 의미하는지 알고 실천하도록 보장하는 프로세스, 지원 인력이 제품을 구현하는 개발자와 직접 대화할 수 있는 방법 등이 있다.

사람들이 좋은 지원을 하는 데 관심이 있다면, 지원을 잘하는 회사의 지원 조직에서 일하는 사람들과 이야기하거나 심지어 불가능하다고 설명하기 전에 그곳에서 직접 일해 볼 수도 있지만, 일반적으로는 그렇게 하지 않는다. 회사 지원 조직의 리더십도 그렇게 할 수 있고, 내가 했던 것처럼 효과적인 지원 조직에서 직접 지원 역할을 해볼 수도 있지만, 그렇게 되지 않는다. 냉소적인 시각으로 보면 이 모든 것이 이해된다. 냉소주의자들이 주니어 직원에게 “대기업 HR은 당신을 돕기 위해 있는 게 아니다. 그들의 일은 회사를 보호하는 것이다”라고 조언하듯, 냉소주의자는 “대기업 지원은 사용자를 돕기 위해 있는 게 아니다. 그들의 일은 회사를 보호하는 것이다”라고 그럴듯하게 주장할 수 있다. 그래서 대기업이 사용자를 잘 지원하는 회사가 지원을 어떻게 하는지 이해하려고 시도하지 않는 것은 당연하다. 대기업 지원의 목적이 그게 아니기 때문이다.

세 번째로 살펴본 영역은 사람들이 플랫폼이 어떻게 운영되어야 하는지에 대해 동의하는 것이 불가능하고, 사람들의 편향 때문에 이 문제가 얼마나 어려운지를 이해하지 못한다는 점이었다. 미국인의 경우, 어떤 버그가 의사 난수적으로 서비스 장애나 밴을 일으킬 때마다 좌우를 막론하고 튀어나오는 음모론이 대표적인 사례다.

한 트윗에서 Ryan Greenberg는 이렇게 농담했다.

트위터에서 일하세요. 당신의 오늘 버그가 내일의 음모론이 될 수 있습니다!

내 주변 사람들은 버그로 사람들이 잘못 밴당하거나 사이트가 로드되지 않을 때 등 퍼지는 absurd한 우파 음모론을 비웃는 것을 좋아한다. 새로운 머신러닝 기능이 사기/스팸 봇의 거대 네트워크를 제대로 제거했는데 그 과정에서 일부 사용자의 팔로워 수가 줄어드는 경우에도 그렇다. 하지만 물론 이는 우파만의 일이 아니며, 좌파 오피니언 리더와 정치인들도 각자 음모론을 만들어낸다.

이 세 가지를 모두 합치면, 더 나쁜 이슈 탐지, 더 나쁜 지원, 정책에 대한 합의를 이루기 더 어려워진 상황을 시작으로, 서두에서 언급했듯 내 트위터 팔로워를 대상으로 한 투표에서 대체로 테크 업계에서 일하고 상당히 기술에 밝은 사람들 중 가장 큰 기업이 모더레이션과 스팸/사기 필터링을 가장 잘한다고 생각한 사람은 2.6%에 불과했다. 그러니 이 지점을 그토록 길게 논하는 것이 다소 어리석어 보일 수도 있다. 미국 전체 인구를 표본으로 하면 백신이 마이크로칩을 심는다거나 달에 착륙한 적이 없다는 식의 음모론을 믿는다고 말하는 사람 비율이 더 높고, 나는 백신이 실제로 마이크로칩을 심지 않는 이유나 달 착륙이 사실이라고 보는 것이 합리적인 이유를 설명하는 데 시간을 쓰지 않는다. 그럼에도 이 글을 쓰는 한 가지 그럴듯한 이유는, “이런 문제는 대기업만 처리할 수 있다”는 수사가 규제 기관, 입법자, 터무니없는 말을 듣고 그대로 되풀이하는 고위 정부 자문관 같은 비전문가들 사이에서 퍼지는 것을 우려하며 지켜봐 왔기 때문이다. 다음에 이런 문제는 가장 큰 회사만 처리할 수 있다고 말하는 비전문가를 만나면, 테크 업계 사람들 사이에서는 반대 방향의 매우 강한 합의가 있다는 점을 정중히 알려줄 수 있을 것이다5.

Gary Bernhardt, Peter Bhat Harkins, Laurence Tratt, Dan Gackle, Sophia Wisdom, David Turner, Yossi Kreinin, Justin Blank, Ben Cox, Horace He, @borzhemsky, Kevin Burke, Bert Muthalaly, Sasuke, anonymous, Zach Manson, Joachim Schipper, Tony D'Souza, @GL1zdA께 코멘트/수정/토론에 감사드립니다.

부록: 작은 규모에서만 통하는 기법들

이 글은 큰 것의 단점에 초점을 맞췄지만, 뒤집어서 작음의 이점을 볼 수도 있다.

언급했듯 플랫폼에서 내가 경험한 최고의 경험은 규모가 통하지 않는 일을 하는 것의 부산물이다. 잘 통할 수 있는 한 가지는 사이트 전체, 혹은 사이트가 너무 커서 전체를 맡을 수 없을 때는 사이트의 핵심 기능을 단일한 비전을 가진 한 사람이 맡는 것이다.

나는 토론이 활발하고 사실상 사기, 스팸 등이 전혀 없는 여러 소규모 디스코드에 있다. 전략은 단순하다. 채널 소유자가 모든 메시지를 읽고 나타나는 사기꾼이나 스패머를 밴한다. lobste.rs 같은 더 큰 사이트, 혹은 더 큰 HN 정도 되면 모든 메시지를 읽는 것이 너무 많아 한 사람이 모든 메시지를 읽기는 어렵다(물론 lobste.rs는 운영자가 여가 시간에 하는 일이고 메시지 양을 고려하면 짧은 시간 안에 모든 메시지를 읽으리라 기대하는 건 무리다). 하지만 여전히 what should happen에 대한 비전을 제공하는 한 사람이 있다. 비록 사이트가 말 그대로 모든 메시지를 읽을 수 없을 정도로 크더라도 말이다. “공원에 차량 금지” 문제는 여기서는 적용되지 않는다. 한 사람이 정책이 무엇이어야 할지를 결정하기 때문이다. 그 정책이 마음에 들지 않을 수도 있지만, 다른 작은 포럼을 찾거나 직접 만들면 된다(그리고 lobste.rs가 시작된 계기가 실제로 그렇다 — HN의 이전 모더레이션 체제, 즉 자신과 다른 의견을 내는 사람을 밴하기로 유명했던 체제 하에서 Joshua Stein이 HN 정책을 공개적으로 비판했다는 이유로 밴당하자 Joshua가 lobsters를 만들었고 이후 Peter Bhat Harkins에게 넘겼다).

초창기 craigslist가 막 커지면서 심각한 사기·스팸 문제를 겪기 시작했을 때 이야기도 있다.

… SFO에서 네 시간 정도 발이 묶였는데 Craig Newmark 옆에 앉아 반나절을 보낸 건 꽤 멋진 경험이었다.

Craig이 인터뷰에서 자신이 기본적으로 Craigslist의 “고객 서비스 책임자”일 뿐이라고 말하는 걸 들은 적이 있는데, 그게 그냥 던지는 자기 비하 농담인 줄 알았다. Google에서 Larry Page를 만나 그가 공동 창업자가 아니라 그냥 관리인이나 무료 시리얼을 고르는 사람이라고 주장하는 것처럼 말이다. 하지만 옆에 앉아 보니 그가 하는 일을 완전히 새롭게 이해하게 됐다. 그는 받은 편지함의 이메일을 확인하고, craigslist 포럼에서 질문에 답하고, 10분에 한 번꼴로 휴대폰으로 전화를 걸었다. 통화는 짧고 요점만 말했다. “안녕하세요, craigslist.org의 Craig Newmark입니다. 귀사 ISP의 고객 때문에 문제가 있어 저희 부동산 포럼에서의 그 고객의 나쁜 행동을 어떻게 시정할 수 있을지 논의하고 싶습니다.” 그는 말 그대로 포럼 스패머를 한 명씩 쫓아다니고 있었고, 때로는 문제 하나당 5분이 걸렸고, 때로는 스패머를 처리하는 데 30분이 걸리는 것 같았다. 그는 자신의 일에 완전히 몰두해 있었다. IP 주소를 조회하고, 할 수 있는 한 질문에 답하고, 내가 본 누구도 그렇게 열정적으로 해본 적 없는 고마운 일을 하고 있었다. 비행기에 탑승할 때쯤 그는 작업을 중단해야 했고, 거대한 작업 더미가 조금 줄어든 것 같았지만 착륙하면 다시 그 일을 처리할 생각에 들떠 있었다.

어느 시점이 되면 사이트가 너무 커져 한 사람이 사이트의 모든 기능과 모든 모더레이션 조치를 소유하는 것이 실제로 불가능해지지만, 사이트는 여전히 한 사람이 보통 자동화되어 있다고 생각하는 무언가를 소유함으로써 상당한 가치를 얻을 수 있다. 유명한 예로 Digg의 “알고리즘”이 기본적으로 한 사람이었다는 이야기가 있다.

Digg을 돌아가게 한 진짜 동력은 기계 같은 한 사람이었다. 그는 모든 스토리를 검증하고, 모든 SEO 네트워크에 침투해, 기본적으로 그들을 계속 방해해 Digg 프론트 페이지를 쓸 만하게 유지했다. Digg에는 알고리즘이 있었지만, 기본적으로는 그 한 사람의 생산성을 10배로 높여 품질을 유지하도록 돕는 단순한 알고리즘이었다.

Google이 Digg을 인수하러 왔지만, 정말로 중요한 건 하루 22시간 일하는 한 사람이 품질을 유지하고 있고, 알고리즘에 대한 모든 이야기는 SEO 업자들이 게임할 수 있다고 믿도록 속이는 연막(그들은 할 수 없었고, 그래서 프론트 페이지는 수년간 그렇게 고품질이었다)은 것을 파악했다. Google은 발길을 돌렸다.

그러자 창업자들은 이대로는 진지한 돈을 벌 수 없다는 걸 깨달았다. 그래서 그 한 사람이 하던 일을 독립적으로 시도하는 “진짜 알고리즘”을 개발했다.

…

완전한 난장판이었다 … 멋진 것이 무엇인지 아닌지를 판단하는 알고리즘은 하루 22시간 일하는 그 사람만큼 좋지 않았고, 그의 매우 큰 투입 없이는 기본적으로 며칠 전 다른 곳에서 인기 있었던 쓰레기를 재탕하는 수준이었다 … 이 엄청난 뺨때기를 건설적으로 받아들이는 대신 창업자들은 고집을 부렸다. 그리고 지금 우리가 여기 있다.

…

내가 언급하는 사람은 Amar라는 이름이었다(흔한 이름이라 신원을 노출하는 건 아니라고 생각한다). 그는 SEO 속삭임꾼이자 “알고리즘”이었다. 그는 말 그대로 스파이 같았다. 프론트 페이지를 게임하려는 끔찍한 그룹에 침투해, 그들이 캠페인을 조기에 식별해 죽일 수 있을 만큼 정보를 주도록 속였다. 그러면서 내내 그들처럼 SEO 루저인 척했다.

Etsy도 같은 전략을 썼다고 한다.

부록: 이론 vs. 실제

본문에서 우리는 대기업 직원들이 실제로 지원이 어떻게 이루어지는지, 지원을 잘하는 회사가 무엇을 하는지 들여다보지도 않고 이론적 이유 X 때문에 더 나은 지원을 제공하는 것은 불가능하다고 자주 말한다고 언급했다. 지금은 1조 달러 규모인 회사들이 많은 회사가 좋은 지원을 제공하던 규모였을 때도 이들 회사는 좋은 지원을 제공하지 않았으므로, 이는 규모에서 오는 것이 아닌 것으로 보인다. 당시나 지금이나 이들 초대형 기업은 좋은 지원을 제공하려고 시도조차 하지 않았기 때문이다. 이 이론적이고 그럴듯해 보이는 이유는 실제로는 잘 들어맞지 않는다.

이는 대형 테크 기업의 규모의 비경제에 대한 이론적 논의 전반에 해당한다. 또 다른 예는 이 글 서두에 언급된, 더 큰 표적이 되는 것이 더 정교한 머신러닝을 갖는 것보다 더 큰 영향을 미친다는 아이디어다. 이 아이디어의 표준 확장으로 내가 자주 듣는 것은 대기업이 실제로는 최고의 스팸·사기 방지 능력을 갖추고 있지만, 가장 정교한 공격을 받는다는 것이다. 나는 이것이 HN 같은 포럼보다 대기업이 왜 더 나쁜 스팸·사기 방지 능력을 가진 것처럼 보이는지를 정당화하는 데 쓰이는 것을 보았다. 대기업이 가장 정교한 공격을 받는다는 것이 사실일 가능성이 높지만, 이 전체 아이디어가 들어맞고 그들의 시스템이 정말로 훌륭하다면 reddit이나 Facebook에서 스팸이나 사기를 치는 것이 HN에서보다 절대적인 의미에서 더 어려워야 하지만 전혀 그렇지 않다.

실제로 스팸을 시도해 보면 대형 플랫폼에서 하는 것은 극도로 쉽고, 시도할 수 있는 가장 뻔한 방법들이 종종 통한다. 실험으로 나는 새로운 reddit 계정을 만들어 말도 안 되는 글을 프론트 페이지에 올려보려 했고 완전히 사소하게 성공했다. 마찬가지로 누군가의 Facebook 계정을 탈취해 몇 달에서 몇 년 동안 명백한 사기라는 표시가 극명함에도 계속 사기를 게시하는 것도 완전히 사소하다. 많은 사람이 계정이 탈취되어 사기를 치고 있다고 우려하며 댓글을 달지만 말이다(지원 업무를 하거나 reddit에 스팸을 하는 것과 달리 나는 사람들의 Facebook 계정을 탈취해 보지는 않았지만, 사람들의 비밀번호 관행을 고려하면 계정을 탈취하는 것은 매우 쉽고, 친구 계정이 탈취되었을 때 Facebook이 어떻게 대응하는지를 보면 가장 순진한 공격, 전혀 정교함이 없는 공격도 막히지 않는다는 것을 알 수 있다). 절대적인 의미에서 HN에서 스팸성·사기성 콘텐츠를 사람들의 눈앞에 노출시키는 것이 reddit이나 Facebook에서보다 실제로 더 어렵다.

여기서 이론적 이유는 대기업이 가진 자원으로 할 수 있는 수준에 조금이라도 근접했다면 중요할 만한 것이지만, 우리는 거기에 조금도 근접하지 못했다.

부록: 유출된 문서에 대한 기자들의 요약을 얼마나 신뢰해야 하는가?

전반적으로 거의 신뢰해서는 안 된다. 우리가 Cruise 보행자 사고 보고서를 살펴봤을 때 논의했듯, 내가 기자의 시각을 읽을 때마다(드문 예외인 Zeynep 같은 경우를 제외하고) 기자는 이야기에 씌우려는 프레임이 있고, 기사를 읽고 받는 인상은 원본 자료를 직접 볼 때 받는 인상과 꽤 다르다. 원본 문서가 말하는 것과 정반대의 이야기를 할 정도로 프레임이 심한 경우도 꽤 흔하다. 그것이 한 가지 문제다.

부록: 미얀마에서의 Meta에 대한 Erin Kissane

Erin은 이렇게 시작한다.

하지만 정말로 파고들기 시작하자 내가 알게 된 것은 내가 가정했던 것보다 훨씬 더 지저분하고 역겹고 더 파괴적이었다. Meta가 수동적으로 그리고 능동적으로 부추긴 피해는 수십만 명의 삶을 파괴하거나 끝냈다. 그 삶은 출생의 우연이 아니었다면 당신이나 내 삶이 될 수도 있었다. 나는 “수십만”이라고 말한다. “수백만”이라고 하면 믿을 수 없을 것 같기 때문이다. 하지만 연구를 마치자 실제 숫자는 매우, 매우 크다고 믿게 되었다.

부록: 다른 곳

부록: 모더레이션 및 필터링 실패 사례

Zuck이 대기업(그리고 클수록 더 좋다)만이 좋은 모더레이션, 사기 방지, 스팸 방지 등을 할 수 있다는 발언을 한 이후로, 나는 평소처럼 웹서핑을 하다가 마주친 대기업의 실패 사례 링크를 모아왔다.

Google

Facebook (Meta)

Amazon

Microsoft

Stripe

Uber

Cloudflare

부록: Jeff Horwitz의 Broken Code

내게 말하기로 동의한 전직 직원들은 처음부터 걱정스러운 이야기를 했다. Facebook의 자동 집행 시스템은 광고된 대로 수행할 능력이 전혀 없었다.

부록: 비진술(non-statements)

  • Facebook(또는 여기에 언급된 다른 회사, 예를 들어 Uber)이 유독 나쁘다
  • Zuckerberg(또는 언급된 다른 사람)가 유독 나쁘다
  • 빅테크 직원이 나쁜 사람이다
  • 빅테크 회사 직원이 열심히 일하거나 노력하고 있지 않다
  • 빅테크 기업을 분할하거나 달리 반독점 조치를 취해야 한다
  • 같은 산업에서 더 큰 회사가 더 작은 회사보다 엄격히 더 나쁘다
  • 여기서 논의된 큰 것 vs. 작은 것의 일반적인 트레이드오프가 모든 영역 모든 산업에 엄격히 적용된다
  • 규모에서 모더레이션과 지원을 하는 것이 쉽다
  • 평균적으로 대기업이 사용자에게 더 나쁜 경험을 제공한다
  1. Costco가 더 작았을 때는 Best Buy 대신 Costco를 꼽았겠지만, 규모가 커지면서 품질이 떨어지는 것을 느꼈다. [return]
  2. WSJ가 유출된 Meta 내부 문서를 살펴봤을 때, 하루에 미성년자 10만 명이 “성인 성기 사진이나 기타 성적 학대 콘텐츠”를 받았다고 Meta가 추정한 내용을 비롯해 여러 가지를 발견했다. [return]
  3. 하지만 다행히도 저커버그의 주된 청중은 테크 산업에 대한 이해가 거의 없는 것 같으니, 저커버그의 주장이 그럴듯하지 않다는 것은 별로 중요하지 않다. [return]
  4. “실제 지원을 제공하려면 비용이 너무 많이 든다”는 주장보다 더 드문 또 다른 주장은 “지원은 사회 공학적 공격 벡터이기 때문에 할 수 없다”는 것이다. [return]
  5. 덜 합리적이지만 이 글의 실제 동기가 된 또 다른 이유는, 오직 세계에서 가장 큰 기업만이 사기와 스팸 같은 문제를 처리할 수 있다는 저커버그의 발언이 내게는 완전히 터무니없게 들렸기 때문이다. [return]

이 글은 muse-spark-1.2-contributor 모델을 사용해 번역했습니다.

댓글