Blog Dice

Diseconomies of scale in fraud, spam, support, and moderation

Dan Luu

詐欺・スパム・サポート・モデレーションにおける規模の不経済

原文は Dan Luu により に公開されました。 このブログを購読する

「SDカードを買いたい。偽物ではなく本物を売ってくれるのはAmazonと近所のBest Buyのどちらだろう？」と自問すれば、答えはもちろん近所のBest Buyだ1。Amazonは偽造SDカードを平気で売っていることで悪名高いからだ。では「Best Buyと、地元で評判の良い電気店（Memory ExpressやB&H Photoなど）のどちらをより信頼するか？」と問えば、答えは地元の良い店のほうになる。彼らはBest Buyより偽物を売る可能性が低いうえ、Best Buyより偽物を掴まされる心配が少なく、万が一偽物だった場合の対応も良いことが期待できる。

同じように、「詐欺やスパム、虚偽コンテンツなどの遭遇率が高いのは[小さなプラットフォーム]と[大きなプラットフォーム]のどちらか？」と自問してみよう。答えはだいたい[大きなプラットフォーム]のほうだ。もちろん小さなプラットフォームの総数は多く、ばらつきも大きいので、わざと質の悪い小さなところを選べば話は別だが、良い選択肢同士で比べる限り、どの規模のクラスでも小さいほうがおおむねましだ。例えばSignalとWhatsAppなら、Signalでスパムを受け取ったことは一度もないが、WhatsAppではそこそこの頻度でスパムが来る。テック系の情報を読む場所で比べても、誰も知らないような極小フォーラムとlobste.rsを比べれば、目にするメッセージに占める有害コンテンツの割合（絶対量ではなく割合だ）は、極小フォーラムではゼロ、lobste.rsでは非常に低いがゼロではないという意味でlobste.rsのほうがわずかに高い。そしてlobste.rsと、Hacker Newsやmastodon.socialのようなやや大きなプラットフォームを比べると、後者のほうが（これもわずかだが）詐欺・スパム・虚偽コンテンツの割合が高い。さらにredditのような中規模SNSと比べると、redditは有害コンテンツの割合がはっきりと高く、目に見えて多い。そしてredditとYouTubeやFacebook、Google検索のような巨大プラットフォームを比べれば、さらに巨大なほうが詐欺・スパム・虚偽コンテンツの割合は高くなる。そしてSDカードの例と同じく、まともなサポートを受けられる可能性もプラットフォームが大きくなるほど下がる。誤った凍結やBANを受けた際にアカウントが復旧する可能性も、プラットフォームが大きいほど低くなる。

一般に、プラットフォームが大きくなるほど多くのことが悪化するというのは、特に異論のないことだと思う。例えば、緩くつながっている知り合いにどう思うかTwitterでアンケートを取ったとき、巨大企業のプラットフォームが最もモデレーションやスパム・詐欺対策に優れていると思った人はわずか2.6%だった。参考までに、ある世論調査では9%のアメリカ人が「ワクチンでマイクロチップが埋め込まれる」と答え、12%が「月面着陸は嘘だ」と答えている。母集団は違うが、無作為に選ばれたアメリカ人が月面着陸は捏造だと答える割合のほうが、テック関係者が「最大手企業が詐欺・スパム・モデレーション対策で一番優れている」と答える割合より高いということになる。

しかしこの5年ほど、真逆の主張をする人がどんどん増えているのを目にするようになった。まともなモデレーションやスパムフィルタリング、詐欺（や偽造品）検出ができるのは大企業だけだ、という主張だ。この一例を検索結果を調べたときに見たが、そこであるGoogleのエンジニアはこう言っていた。

誰かが、検索の世界がもっと競争的になって、3つくらいの大手ではなくたくさんの小さなプロバイダーがあれば、機械学習を使ったSEO悪用にもっと強くなるはずだと主張しようとしていた。

でね…もし*Google*ですら今それに対応できていないのに、シェア5%のちっぽけな会社にどうやってできるっていうの？

そしてあるオピニオンリーダーはこう返した。

だいたい95%くらいのケースで、誰かが「小さな独立系企業が市場リーダーより難しいことをうまくやれる」と主張するとき、それはただの強がりだよ。規模の経済はかなりうまく働くんだから！

だが実際に結果を調べてみると、調べた検索エンジンの中では、シェア0.0001%の会社がSEO悪用に最も強く（しかもかなり優秀で）、シェア0.001%の会社が次に強く、GoogleとBingはSEO悪用まみれで、しばしばユーザーを直接さまざまな詐欺に誘導していた。メールでも同じようなことが起きる。スパムのせいで個人でメールを運用するのは不可能だ、とよく聞くが、実際には多くの人が普通に運用していて、Gmailと同等かそれ以上の結果を出している。主な問題は、自分の小さなメールサーバーを大手のメールサーバーが誤ってブロックしてしまうことだ。

モデレーションやスパム対策、詐欺対策などは規模がないとできない、という主張を頻繁に見かけるようになったのは、ザッカーバーグが、エリザベス・ウォーレンによる巨大テック分割の呼びかけに応えて、分割すればコンテンツモデレーションの問題は大幅に悪化すると主張した頃からだ。

FacebookであれGoogleであれAmazonであれ、こうした企業を分割しても問題は実際には解決しないんです。選挙干渉が減るわけでもない。むしろ起こりやすくなる。なぜなら企業間で連携して取り組めなくなるからです。ヘイトスピーチなどの問題も減るわけではない。むしろ起こりやすくなる。なぜなら…私たちが導入し投資してきたプロセスが分断されてしまうからです。

だからTwitterは私たちほど上手くできないんです。彼らは質的には同じ種類の問題に直面しています。でも投資ができない。安全対策への私たちの投資額は、彼らの会社全体の売上よりも大きいんですよ。[笑い] 確かに私たちはより大きなスケールで運営していますが、彼らが質的に違う問題に直面しているわけではない。彼らも私たちと同じ種類の問題をすべて抱えているんです。

ここでの論法は、良いモデレーションを行うには莫大なリソースが必要で、当時時価総額300億ドル程度だったTwitter規模の会社では必要なリソースを集められない、というものだ。当時私はこの発言をかなり滑稽に感じた。買収前の時点でも、TwitterよりFacebookのほうが露骨な詐欺コンテンツの割合がはるかに高く見えたからだ。例えばホリデーシーズンにFacebook広告をクリックしてみると、大半が詐欺だったし、Twitterにも詐欺広告はあったがFacebookほどひどくはなかった。これは私だけの感想ではない。Facebookの初期の通報システムを設計し、トラスト＆セーフティの主要な取り組みを率いたArturo Bejarも同様のことに気づいている（詳細は脚注を参照）2。

ザッカーバーグはこの種の論法が気に入っているようで、別の場所でも似た主張をしている。例えばここでは、Metaの内部文書が「1日10万人の未成年が性的虐待画像に晒されている」と指摘したのと同じ年にこう述べている。

ある程度、寮の部屋で始めた頃は、コンテンツモデレーションに1万人や4万人を雇うことなんて明らかにできなかったし、当時は有害コンテンツを先回りして見つけるAIの能力自体が存在しなかった。事業が大きくなるにつれて、そうしたことが少しずつ可能になっていったんです。

ここでのレトリックのごまかしは、寮の部屋で始めた頃のFacebookに1万人や4万人ものモデレーターが必要だったかのように仮定している点だ。寮レベルのFacebookより大きなサービスでも、今日のFacebookより優れたモデレーションを、たった一人の、しばしばパートタイムのモデレーターで実現しているところはいくらでもある。だが、巨大テックに対する本格的な独占禁止法の適用が現実味を帯びて語られるようになるにつれ、巨大テックの創業者や幹部は反・独占禁止のレトリックを強め、もし最大手企業を2015年や2010年当時の最大手くらいの規模に分割したら人類にどんな災厄が降りかかるか、といった主張を繰り広げるようになった。この種の論法は少しずつ広まっているようで、大企業の従業員が非常によく似た理屈を述べるのをますますよく見かける。1979年のIBMの研修マニュアルにこう書かれてから、ずいぶん遠くまで来たものだ。

コンピュータは決して責任を負うことはできない

したがってコンピュータは決して経営判断を下してはならない

今や多くの重要な判断において、ほとんどの決定はコンピュータだけが下せるのであり、責任の所在のなさは最終的にバグではなく機能なのだ、というのが主張になっている。

しかしザッカーバーグの主張にとって残念なことに3、ここには少なくとも三つの大きな問題があり、そこでは規模の不経済が支配的だ。一つは、誰もが有害だと合意できるもの（ビットコイン詐欺や偽医薬品スパム、偽の天気予報、大人が子どもに性器の写真を送る行為など）について、大規模プラットフォームのほうが小規模より対応が悪いという点だ。二つ目は、ユーザーにとって、企業が大きくなるほどミスのコストが高く、修正が困難になるという点で、サポートが総じて悪化するからだ。三つ目は、プラットフォームが拡大するにつれ、何を許可すべきかについて強く意見が対立するユーザーの割合が増えるという点だ。

一つ目について、大企業はリソースが多いのは確かだが、リソースが多いからモデレーションが一番良いはずだというカクテルパーティー的発想は、最も狙われやすい標的だからモデレーションが一番悪いはずだという同じくらい単純な発想や、組織や問題領域を拡大したときに生じる通常の規模の不経済による分断で最も悪くなるはずだという発想と拮抗する。リソースの多さとこれらの要因のどちらが勝るかは理論的に決着をつけるには複雑すぎるが、結果は経験的に観察できる。少なくとも大企業がモデレーションやスパム対策などに割くことを選んでいるリソースの水準では、標的が大きいことや規模に伴う他の問題のほうが上回っている。

これらの企業は莫大な利益を上げており、この問題を大幅に減らすのに十分なリソースを割くこともできたはずだが、そうしないことを選んでいる。例えば、この文章を書く直前の1年間で、Metaの税引前利益（2023年12月までの1年間）は470億ドルだった。もしMetaが、友人が勤めていた電力会社の内部ビジョン「何世代にもわたり、低コストで信頼できるエネルギーを。」のようなものを掲げ、その電力会社と同じように利益の最大化やメタバース創出ではなくユーザーにとって良い体験を作ることを目指して運営していたら、メタバースに費やした500億ドルをモデレーションのプラットフォームや技術に費やし、さらに年3万ドル（今日モデレーターが雇われている多くの国では十分に良い収入となり、雇う側が選びたい放題になる金額）で160万人もの追加のフルタイムスタッフをエスカレーションやサポートのために雇うことができたはずだ。数千ユーザーあたり1人程度の追加モデレーター／サポート要員という計算になる（もちろん、これだけの人数を管理すること自体にも規模の不経済が働く）。MetaやGoogleがそうすべきだと言っているわけではない。ただ、大企業の誰かが「こうしたシステムは私たちの規模では完全に自動化するしかない。手作業のシステムを運用する余裕なんて誰にもない」といったことを言うとき、実際に言われているのは「曖昧だとシステムが判断したケースを手作業でレビューできるだけの有能な人を雇えば、年間数十億ドルの利益を上げられなくなるので、利益を損なわない範囲でできることに甘んじている」ということに近い、ということだ。4この選択を擁護することはできるが、それは選択なのだ。

同様に、規模の経済の利点についての主張についてもそうだ。規模の経済がユーザー体験を本当に良くする領域はある。例えば、なぜまともに動くものを買うのがこれほど難しいのかを調べたとき、Amazonの規模の経済によって、欠点はあるものの他では得られないほど信頼性の高い自社配送網を構築できたことを指摘した（そしてユーザーが各配送を評価できる機能を追加してからはさらに改善しているが、これは他の大手配送業者にはない）。同様に、Appleの規模と垂直統合は史上最高クラスのパフォーマンスチーム（正規化された性能で同時代の競合と比べて測定して）を作ることを可能にし、ベンチマークで競合を圧倒するだけでなく、デバイスのレイテンシのように最近まで誰もきちんと測定していなかった部分でもより良い体験を提供している。もっとありふれた規模の経済の例としては、保存が利くクラッカーなどの食品は、地元のスーパーよりAmazonのほうが安い。規模の経済がユーザーに利益をもたらす例を挙げるのは簡単だが、だからといってすべての領域で規模の経済が規模の不経済を上回ると決めつけるべきではない。この投稿の範囲を超えるが、企業が大きくなったほうがユーザーは得をするのか小さくなったほうが得をするのかを論じるなら、大きくなって何が良くなり何が悪くなるのかを見るべきで、良くなることがあるからといってすべてが良くなると（あるいはその逆も）思い込むべきではない。

巨大企業はモデレーションやスパム・詐欺対策などに最も多くのリソースを費やせるという主張と、実際にはそのリソースをメタバースに500億ドルを投じるなど別のところに費やし、雇おうと思えば雇えた160万人のモデレーターやサポート要員を雇わないという現実に話を戻すと、どれだけの労力が費やされているかを見るのが理にかなっている。Metaのミャンマーでの関与は、Erin Kissaneがかなり詳細な4万語にわたる顛末記を書いてくれたので良いケーススタディになる。何が起きたのか全体像は大きく複雑だが（詳細は付録を参照）、この投稿の主題に関して重要なのは、ほとんどの人が最優先のモデレーション・サポート問題だと合意できるであろう事案があり、Metaの社員（エンジニア、ディレクター、VP、幹部など）の様々なレベルに対して繰り返し、極めて深刻かつ緊急の警告がなされたにもかかわらず、ほとんどリソースが割かれず、内部文書によれば合意された有害コンテンツのうちシステムが捕捉できたのはわずか数パーセント程度だったということだ。これはMetaに限ったことではないと思うし、他の大手テック企業についても、ユーザーとしても従業員としても私の経験と一致する。

より小さな規模の例を挙げると、知り合いの一人がFacebookアカウントを乗っ取られ、今ではビットコイン詐欺に使われている。その人の名前はSamantha K.なのだが、詐欺師は十分に名前すら確認せず、誰かが「Kamanthaが自分に何万、何十万ドルも稼がせてくれた」と書かれた看板を持っているあからさまな合成写真を量産している。これは「ハッカー」の常套手段で、私がFBでつながっている別の人も同じ被害に遭い、古いアカウントを取り戻せず、明らかな詐欺投稿が流れ続けているにもかかわらずBANすらしてもらえていないと報告している。

対照的に、lobste.rsではこのような詐欺を一度も見たことがなく、ヘッドモデレーターのPeter Bhat Harkinsによれば、彼らの知る限り一度も起きていないという。Mastodonでは、フィードや返信、メンションで一度見たかもしれないという程度だ。もちろんMastodonは探せば詐欺が見つかる程度には大きいが、メッセージあたりやユーザーあたりの割合は、通常のユーザーなら遭遇しない程度に低い。Twitter（買収前）やredditでは、ほどほどの頻度で、おそらく通常のフィードで数週間に一度くらいは見かけた。Facebookではこういうものをしょっちゅう見かける。買い物シーズンには露骨な詐欺通販サイトが毎回出てくるし、広告からも乗っ取りアカウントからもビットコイン詐欺は一年中ある。多くの人が、報告してもFacebookは何もしてくれないと観察したので、もはやこうした詐欺を通報すらしていないと述べている。一方でReuven Lernerは、PythonやPandasのコースの広告を出そうとしてFacebook広告を永久BANされた。FacebookのシステムがReuvenの広告をプログラミングではなく動物取引に関わるものだと「判断」したからのようだ。これが、ザッカーバーグがどんな小規模企業にも真似できないというモデレーションとスパム制御の精度だ。ちなみにMetaだけをやり玉に挙げるつもりはない。少し毛色の違う例が見たければ、付録のGoogleの事例集に、Googleで自動化システムが誤作動した例が100件載っている。

これが経験的な問題に帰着する理由は、巨大企業がより多くのリソースを問題に投入できるという規模の経済の話が、企業がそのリソースを投入することを選んだ場合にしか意味をなさないからだ。企業にその領域にリソースを投入させる理論的な力は何もないので、理論的には推論できない。しかし投入されたリソースが、一般に誰もが明らかに最優先と合意するような問題でさえ足りていないことは観察できる。ミャンマーでのMetaの例がそうだ。もちろん優先度がそれほど明らかでない問題では、なおさらリソースは投入されない。

二つ目の問題であるサポートについて、巨大プラットフォームのユーザーとしてサポートを受ける唯一の方法は、バズるSNS投稿をするか、内部に知り合いを持つことだ、というのはテック界隈ではもはやネタになっている。これはモデレーションや詐欺検出などの不備をさらに悪化させる。サポートが良ければそうした問題は緩和できるのに、そうならないからだ。

通常のサポート窓口は冗談のようなもので、定型文の却下通知が来るか、カフカ的な悪夢の後に定型文の却下が来るかのどちらかだ。例えばAdrian BlackがYouTubeでAdrian Black本人になりすましたとしてBANされたとき（はっきりさせておくと、彼は同姓同名の他人ではなく自分自身になりすましたとしてBANされた）、異議申し立て後に返ってきたのはこうだ。

申し訳ありませんが、こちらではこれ以上できることがありません。あなたのアカウントの停止と異議申し立ては非常に慎重に審査され、決定は最終的なものです。

別のGoogleサポートの話では、Simon Weberが税金の支払いに必要な情報を得ようとしてGoogleサポートにたらい回しにされた。

拡張機能の会計データのエクスポートが、私（そしておそらくすべての拡張機能販売者）にとって2018年4月からずっと壊れたままだ[これは2020年9月に書かれた]。ニューヨーク州司法長官に手紙を書いてもらうまで、税金を正しく申告できるようにサポートのリクエストにまともに対応してもらえなかった。

YouTubeが、箸で水を食べる動画（箸を水に何度も浸してはゆっくりとお椀の水を飲む）を繰り返し収益化停止にした件もあった。

この度のミスと何度ものやり取りについて大変申し訳ありません。同じことが起きないようチームと話し合いました。

といった返事をしながら、彼はまた収益化を停止され、異議申し立てをすると、違反を慎重に検討したが明らかにポリシー違反なのでどうしようもない、という定番のサポート対応から始まる。

異議申し立てを審査しました…コンテンツを慎重に審査した結果、暴力的またはグロテスクなコンテンツに関するポリシーに違反していることを確認しました…YouTubeをすべての人にとって安全な場所に保つのが私たちの仕事です。

これらは目立つ例だが、もちろん目立たなければBANされずに済むわけでも、同じような定型文を免れるわけでもない。FBマーケットプレイスで掃除機を売っただけでBANされたHNユーザーのように、何度も異議申し立てた末にこう言われる。

申し訳ありませんが、コミュニティ規定違反のためあなたのアカウントを復旧することはできません。審査は最終決定です。

サポートが有料オプションのとき、「有料サポートならこんなことにはならない」とよく言われるが、Google Oneの有料サポートやFacebook・Instagramのクリエイター向け有料サポートを利用した人たちの報告によれば、有料サポートも無料サポートと大差ない。実質的に有料サポートが組み込まれているプロダクトも必ずしもましではない。年間8桁や9桁のGoogle Cloud利用料を払っている企業で働く知り合いでさえ、無料のGoogleサポートと同じたらい回しを経験している。数ある例の一つでは、ユーザーがGoogle側でパケットがドロップされていると訴えているのに、Googleサポートはパケットトレースで顧客側データセンターでは起こりえないことが示されているにもかかわらず、ドロップは顧客側で起きていると主張し続けた。私が最後に聞いたときは彼らは諦めていたが、時には問題が完全なブロッカーになる場合、誰かがGoogle内部の知り合いに電話してサポートしてもらう。標準サポートがまったく役に立たないことが多いからだ。そしてこれはGoogleに限ったことではない。別のクラウドベンダーでは、ある同僚が、顧客から1時間に数回、数秒間にわたってパケットが100%ドロップすると苦情が来ている件について、非常にシニアなエンジニアに調査を依頼した場に居合わせた。エンジニアは「クラウドなんだから我慢してもらうしかない」といった返事をしたが、[VIP顧客]からの問題で[世界最大級のテレビ中継されるスポーツイベント]が中断していると告げられると、いつものように無視するわけにはいかなくなった。その件は修正されたが、おそらくあなたはそこまで重要ではない。年間数億払っていてもだ。

もちろんこうしたサポートはクラウドベンダーに限ったことではない。例えばStripeが顧客から40万ドルを1か月以上説明もなく保留し、サポートに問い合わせても今見てきたような馬鹿げた返事しか返ってこなかった件がある。ユーザーは唯一信頼できるStripeのサポート手段、つまりHNに投稿してフロントページの1位を狙うという手を使い、それが功を奏した。もっとも多くのコメントは「HNでこういうのが大量に投稿されていて、詐欺的にカスタマーサポートを操作しようとする試みのように見えるのでフラグを立てた」といった定番のもので、何人かはユーザーが何か不正や詐欺をしているのではないかと示唆したが、実際にはStripe側のミスで、大企業のサポートによって悪化したものだった。ある時点でユーザーはこう記している。

HNの投稿を書いている間、Stripeのチャットサポートとも1時間以上話していた。新しい情報はまったくなかった。彼らは基本的に私とのチャットを切り上げようとしていたが、HNのストーリーを送ってある程度注目を集めていることを示したら、再び問題に取り組み、より多くの人と連絡を取り始めた。

そして問題は翌日に修正された。

原則として、企業が大きくなるにつれて規模の経済を活かしてより効率的なサポートを提供することもできるはずだが、実際にはより安く、より利益の出る、しかしより質の悪いサポートを提供するために規模の経済を使う傾向がある。例えばGoogle Playの審査サポートについて、あるGoogle社員はこう述べている。

多くが海外にアウトソースされ、応答時間が大幅に遅くなった。米国内では迅速な対応のための多くの指標があった。たいていアプリはその日のうちに審査された。今はどうなっているかわからないが、当時でさえマネージャーは無能だった。

そして元Facebookサポート担当者はこう述べている。

ここでの大きな問題は分業だ。キューで最も多くの時間を過ごす人ほど、ポリシーへの発言権が小さい。アナリストは問題をQAに上げ、QAはそれをFacebookの正社員に上げることができる。問題が対処されるまでに数か月かかることもあり、対処されないこともある。最悪なのは、ポリシーの文言ではなく精神に則って常識的に行動することが、品質スコアに悪影響を及ぼすことだ。在職中、不用意なポリシー「明確化」のせいで、数か月間にわたって切断された動物の写真のほとんどが警告画面なしで許可されていた時期があったが、私たちにはどうすることもできなかったことをよく思い出す。

サポート担当者の返事が意味不明だと不思議に思ったことがあるなら、時にはわかりやすい理由で、サポートが時給1ドル程度（サポートが多くアウトソースされているある国について標準的なレートを調べたところ、だいたい時給1ドル程度だった）の、あなたの言語をあまり話せず、フローチャートを読み上げるだけで自分がサポートしているシステムについて何も理解していない人にアウトソースされているからだが、もう一つの、あまり明白でない理由は、サポート担当者がフローチャート通りのナンセンスに従わずに理にかなった対応をすると、罰せられ、最終的に解雇される可能性があるからだ。

「詐欺的にカスタマーサポートを操作しようとする試みのように見える」というコメントに話を戻すと、これは恣意的で気まぐれなBANを行う企業のエンジニアからよく聞く感想だ。どうしてそうなるかは共感できる。私がTwitterに入社する前に、公開情報をもとにコメントしたように

Twitterは1日あたり約100万のボットを削除していることがわかった。TwitterのMAUは約3億しかないので、許容誤差は非常に低い。これは本当に難しい問題のようだ…Gmailのスパムフィルターは、正しく分類された正常なメール1000件あたり誤検知が1件程度だ…サービスで同じ割合の本物のユーザーを定期的に消してしまうのは[まずい]だろう。

巨大企業でサポートキューを掘り下げてBANへの異議申し立てを見れば、ほとんどすべての申し立ては却下されるべきだ、というのは実際のところ正しい。しかし、詐欺対策システムなどに取り組むエンジニアと話した経験から言うと、多く、あるいはおそらく大半の人が「ほとんどすべて」を「すべて」に丸めてしまい、これは量的にも質的にも異なる。「すべて」ではなく「ほとんどすべて」が正しいと信じることで、エンジニアはユーザーにとって悪い体験を生み出す。

例えば、ユーザーを誤ってBANすることで有名なあるSNS企業がある（私の知り合いの少なくとも10%は誤ったBANでアカウントを失っており、知らない人をランダムに検索しても、その人のアカウントが複数見つかり、最近作られたほうのプロフィールに「以前は@[旧アカウント]でした」と書かれていて、BANされたため旧アカウントから新アカウントへの転送がない、ということがよくある）。その分野を担当するシニアエンジニアに偶然会ったとき、なぜこれほど多くの正当なユーザーがBANされるのかと尋ねると、彼は「それは問題ではない。本当の問題はBANが足りないことだ。BANされた人は全員BANされるべきなんだ。異議申し立てを聞いたり考えたりする価値はない」といったことを言った。もちろんすべての公開プラットフォームでコンテンツの大半は有害コンテンツやスパムなどなので、何らかのシグナルがあれば、それが有害コンテンツである可能性は高い。しかしだからといって、その逆、つまりほとんどすべてのユーザーが正しくBANされていない、ということが真実でないことにはならない。そして有害コンテンツを分類するチームのシニアな人々が、旗が立ったコンテンツのほとんどは有害だから誤検知を心配する必要はない、という態度であれば、誤検知の多いシステムが出来上がる。私は後に、詐欺検出システムで誤検知を減らすために何が行われてきたかを尋ね回ったが、誤検知を体系的に追跡する試みはまったくなく、従業員が誤ったBANを内部チケットで上書きしたケースを数える方法すらないことがわかった。メタレベルでは、誤検知率を下げる仕組みはなく（例えば誰かが捕捉されていない有害コンテンツを見つけてより多く捕捉するものを追加するといった）誤検知率を下げる仕組みは事実上存在せず、誤検出を減らすメカニズムだけがあった。このメタシステムの結果、私の知り合いの10%以上が誤って停止やBANを受けたのも不思議ではない。そしてPatrick McKenzieが言うように、最適な誤検知率はゼロではない。しかし、これらのシステムに取り組むエンジニアが、十分に調査したので誤検知はありえないという態度であれば、誤検知率が最適より高くなることはほぼ確実だ。これに通常の大企業のサポートのひどさが組み合わさると、カフカ的なユーザー体験のレシピになる。

別のとき、Uberのモデレーションポリシーの変更発表が誤検知によるBANを招きそうだとコメントしたら、UberのTLがすぐに私をたしなめ、BANの仕組みについて根拠のない仮定をしていると言い、Uberのエンジニアは誤検知のBANが起きないように多大な努力をしており、徹底的なレビューでBANの妥当性を確認しており、実際、私が懸念していた誤検知によるBANは決して起こりえない、と言った。そして私は詐欺検出システムの誤検知で事実上BANされた。Uberが誤ってドライバーをBANし、ドライバーが裁判所に訴えてようやくBAN理由の情報を得るまでになり、その時点でUberはようやく実際に調査した（異議申し立てに対して調査したふりをする偽のメッセージを返すだけではなく）という事件を思い出した。その後Uberは報道機関の問い合わせに対してこう答えた。

詐欺の疑いでドライバーのアカウントを停止する際に、意味のある人間による審査を含む堅牢なプロセスがあることを裁判所が認めてくれなかったのは残念です。

もちろん、そのドライバーのケースでは堅牢な審査プロセスも堅牢な異議申し立てプロセスもなかった。私のケースでサポートに連絡したときも、彼らは私のメッセージをまともに読まず、アカウントを以前よりさらに壊すような変更を加えた。幸い、私にはTwitterのフォロワーが十分にいたので、何人かのUberエンジニアが私のツイートを見てBANを解除してくれたが、これはほとんどの人には使えない手段で、Googleアカウントで助けを求めて必死にGoogle社員をターゲットにしたFacebook広告を出す人のような奇妙なことも起きる。

そして内部に知り合いがいても、企業が大きくなっても有効性が高まるわけではないのにシステムの複雑さは増すので、問題を直すのが必ずしも簡単ではないという例もある。その良い例がGergely Oroszのエピソードで、Uberの決済チームのマネージャーが退職した後、不可解な機械学習の不正検出アルゴリズムが元決済チームマネージャーが決済詐欺をしていると判断してUberからBANされた話だ。問題の緩和に6か月かかり、しかも根本的な問題を理解して修正することはついにできず、代わりに元マネージャーを特別なホワイトリストに追加しただけで、他のどのユーザーにとっても問題は修正されず、おそらく元マネージャーのアカウントの決済詐欺対策は大幅に弱まるか、あるいは完全に無効になった。

根本的な問題が簡単に直せるならもちろん直しただろうが、企業が拡大するにつれ、技術的にも非技術的にも官僚制が生まれ、従業員自身にもシステムが不透明になる。

その別の例として、ランク付けされたソーシャルフィードを持つある会社で、timeline_injection:falseやinterstitial_ad_op_outといったフィルターを追加すればランク付けされたフィードから見たくないものを消せる、というアイデアがバズったことがある。最初にバズったとき、何人かのエンジニアが調べて、そうした裏技は効かないと考えた。彼らは100%確信があったわけではなく、「こんなことをするシステムが実装された記憶は誰にもない」「コードベースでこの文字列を検索しても出てこない」「これをやっていそうなシステムを調べてもやっていないようだ」といった推測に頼っていた。この裏技は効かないという確信は中程度だったが、誰も効かないと断言はしなかった。なぜなら、すべての大企業と同様に、システム全体の挙動は人間の理解を超えており、理解できるはずの部分でさえ他の優先事項があるため理解されていないことが多いからだ。

数か月後、その裏技は再びバズり、人々がそれが本当かどうか尋ねると前回の調査が参照されたが、一人だけ実際に裏技を試した人がいて、効いたと報告した。彼らはSlackで裏技が自分には効いたとメッセージを書いたが、再現を試した唯一の人が効いたと気づいたことにほとんど誰も気づかなかった。その後、裏技が再びバズったとき、人々は効かないと思われていたという議論を指し示し、効くように見えるというこのメッセージ（ほぼ確実にユーザーが思っている仕組みではなく、単にフィルターの長いリストが何かをタイムアウトさせているといった理由だ）は、読むべき情報が多すぎるためにほぼ埋もれてしまった。

私の周りでは多くの人がジェームズ・C・スコットの『国家のように見ること（Seeing Like a State）』を読んでいる。副題は「人間世界を改善しようとする特定の計画はいかに失敗したか」だ。本書の重要な概念は「可読性（legibility）」、つまり国家が何を見えるようにできるか、そしてそれが国家の行動をどう歪めるか、というものだ。少なくとも今日の企業のあり方において、企業が大規模化したときに何が見えなくなるかについて、まったく同様の本『テック企業のように見ること』を書くことも容易だろう。この単純な例として、時価総額3兆ドルの企業の一部であるゲームスタジオが作ったものを含む多くのビデオゲームで、大勢の人が通報すれば簡単に誰かを停止やBANに追い込めることがある。ゲーム会社にとって可読なのは通報の数であり、可読でないのはプレイヤーの実際の行動だ（可読にすることはできるが、実際の行動を調べるのに十分な人数やスキルのある人を雇わないことを企業が選んでいる）。そして多くの人がSNS企業でも同様のBANを報告している。詐欺対策システムのようなものになると、企業にとって可読なものは、詐欺対策システム自体に取り組む人間にとっても人間には可読でなくなる傾向がある。

詐欺対策システムそのものについて話していたわけではないが、特別調査制度（Special Master's System）の中で、FacebookのディレクターであるEugene Zarashawは、Facebook自身のシステムの不可読性を示すこんなコメントをしている。

データがどこを流れているかを正確に追跡するには、広告側の複数のチームが必要になるでしょう。その狭い問いに決定的に答えられる一人の人間がいるとしても、私は驚きます。

Facebookはこの発言で不当に、ほとんど無知から袋叩きにされた（それについては付録で論じる）が、Facebookほどの規模のシステムがどう動いているかを理解するのは困難だというのは概ね真実だ。

原則として、企業は、重大な結果を伴うエッジケースの問題でシステムが「誤解」している可能性があるものを、まともに給料を払ったサポート担当者に調べさせることで、自らの不可解なシステムの可読性を補うこともできるが、実際には企業はそうしたサポート担当者に極めて安い給料しか払わず、何が起きているかを本当に理解していない人を雇い、そして可読性の問題を解決できないようにする指示を与えている。

規模が大きくなるにつれて不可読性の力が勝つことを助ける一因は、こうした巨大企業の高給な従業員として、何百万、何十億という人々（やボット）をただの数字として見てしまいがちなことだ。「一人の死は悲劇だが、百万人の死は統計だ」という格言があるように、先に述べたようにエンジニアはしばしば「Xのほとんどすべては詐欺だ」という考えを「Xはすべて詐欺だから、Xをやる人は全員BANして異議申し立ては見なくていい」にすり替える。現代のテック企業が持つ、何としてでもスケーラブルな解決策を探す文化は、同じ規模の他の業界よりもこれを悪化させ、しかもテック企業は前例のない規模を持っている。

例えば、FB広告マネージャーが18〜34歳のアメリカ人に対して1億100万人のリーチが可能だと主張しているのに、国勢調査では18〜34歳の総人口が7600万人だと指摘されたことに対し、広告ターゲティングチームの元PMはこう返した。

FBのスケールで考えてくれ

そして、アメリカの18〜34歳といった人口統計について、スライス＆ダイスのクエリが「FBスケール」では機能することを期待できないと説明した。Googleにはこういうケースで皮肉として使われるミームがあり、「そんな小さな数は数えられない」と言う。ここでは元FB広告PMが、1億といった数について皮肉ではなく「FBはそんな小さな数は数えられない」と言っているのだ。FBは個々のユーザーを気にかけないだけでなく（有名人でない限り）、このPMによれば1億人という集団すら正確に追跡する手間をかける気がないという。

劣悪なサポートの帰結に話を戻すと、こうした巨大サービスのどれかから誤ってBANされた人の話を聞いたときの定番の反応は「ざまあみろ。そもそもUberやAmazonなんて使うなよ。ひどいんだから誰も使うべきじゃない」というものだ。私はこの考え方には同意しない。一つには、その人がサービスを使うべきかどうか、その人にとって何が良いかを他人が決めるべきではないからだ。もう一つ（これはそれだけで一つの投稿になるほど大きなテーマなので、ここでは簡単に触れて@whitequarkによるより長いコメントにリンクするにとどめるが）、多くの人が不要な便利さとして切り捨てて「使わなければいい」と言うサービスの多くは、実際にはかなりの数の人々にとって深刻なアクセシビリティの問題だということだ（割合ではなく絶対数として）。小さなビジネスなら別の店に切り替えられることも多いが、UberやAmazonのようなものでは、同様の利便性を提供する代替手段がゼロか一つしかないこともあり、一方があったとしても、ランダムなシステムの誤作動でBANされることはもう一方でも起こりうる。例えば、DoorDashが届けなかったときにチャージバックしてBANされればいいという多くのコメントに対して、ある障害を持つユーザーはこう返している。

私は障害を持っています。運転免許も車も持っていません。アパートの近くにバス停もなく、仕事へは前日に予約が必要なパラトランジットで行っています。Uberも同じようなことをするので、クーポンがあるか、最近お金を盗まれていないかに応じてUber、DoorDash、Grubhubをぐるぐる回して使っています。誰もが気軽に取りに行けるわけではないんです。

また、この種の問題について、関与が自発的でないこともよくある。例えば富士通のバグで無実の人々が投獄されたケースのように。

三つ目の問題、スパムや詐欺、その他の禁止コンテンツとして何が該当するかについて人々が合意することが不可能だという点については、ここで詳しく論じた。そこでは、たった一つの、明白で単純なルールがあるだけの些細なケースでさえ、人々は何が許可されるかについて合意できないことを見た。そしてルールを増やしたり、議論を呼ぶトピックを加えたり、人数を増やしたりすれば、何を許可すべきかについて合意するのはさらに難しくなる。

まとめると、企業が大きくなるほどモデレーションやサポート、詐欺・スパム対策が悪化する規模の不経済の三つの領域を見てきた。一つ目は、詐欺・フィッシングサイトや検索のように誰もが有害だと合意するケースでさえ、最も洗練された機械学習を持つ最大の企業が、実は小さな検索エンジンに取り組むたった一人（非常に熟練した人物ではあるが）にさえ追いつけないという点だ。詐欺師にとっての見返りは、最大のプラットフォームを狙ったほうがはるかに大きいため、スパム・詐欺対策などの問題は極めて非線形に難しくなる。

規模の違いを実感するために、HNはスパマーや特定の有害なコメントを投稿する人を「ヘルバン（hellban）」する。ヘルバンされた人の多くは自分がヘルバンされたことに気づかず、しばらく投稿し続けるので、ログインした状態で「newest」（新着投稿）ページを見ると、ヘルバンされたユーザーからの自動的に削除されたストーリーが絶えず流れてくるのが見える。数はそこそこあるが、割合はだいたい半分を大きく下回る。2017年頃のTwitterのような「中規模」の大手テック企業を見てみると、公開されている数字に基づけば、スパムボットを削除する代わりにヘルバンしていたら、見えるものはすべてスパムということになるほどの蔓延ぶりだ。そして大企業の中でも2017年当時のTwitterはそれほど大きくない。先に述べたように、元FB広告ターゲティングPMは1億といった数ですら「そんな小さな数は数えられない」範囲で、小さすぎて気にかける価値がない、ほぼ誤差の範囲だと説明していた。この難易度の非線形な違いは、FBやGoogleのような企業ではさらにひどい。ザッカーバーグや他のテック幹部が自慢したい機械学習やAIの技術がどうあれ、この問題の難易度の非線形性はそれを上回るようだ。

議会での証言では、幹部たちが「Xを95%の精度で識別できます」といったコメントで大規模なシステムの有効性を擁護するのを目にするが、これは技術的には正しいかもしれないが、聞き手が数字に疎いことを前提に意図的に誤解させようとしているように見える。個人規模のものを基準にすれば、95%はかなり良く聞こえるかもしれない。HNの規模でさえ、95%の精度のスパム検出で即BANするならまあ許容範囲かもしれない。いずれにせよ、たとえ良くなくても、誤ってBANされた人はDan GackleにメールすればBANを解除してもらえる。先に数字を見たように、Twitterの規模で95%の精度の検出はひどいことになる（実際、私のDMの大半は露骨なスパムだ）。極めて確信が持てる場合にだけユーザーをBANするか、そうでなければそう遠くないうちに全ユーザーをBANすることになるが、企業が好むサポートのやり方では、異議申し立てをしても「あなたのケースは慎重に審査され、ポリシーに違反したと判断しました。これは最終決定です」と返ってくるだけだ。自分自身になりすましたとしてユーザーをBANするような、ちょっと見ればBANが覆るようなケースでさえそうだ。そしてFBの規模ではさらにひどく、全ユーザーをさらに速くBANすることになるので、結局手を緩め、1日に10万人の未成年が「成人器の写真やその他の性的虐待コンテンツ」に晒されるといった事態になる。

二つ目に見た領域はサポートで、企業が大きくなるほど悪化する傾向がある。大まかに言えば、企業はまともなサポートを提供することに関心がない（Amazonはここではやや例外で、特にAWSはそうだが、コンシューマー側でもそうだ）。システムの中には関心を持つ個人はいるが、サポートに費やされるリソースの割合を成長や楽しい／名誉なプロジェクトと比べれば、サポートは後回しにされている。DeepMindがStarCraftのAIをトレーニングしていた頃、Alphabetはサポート担当者よりもStarCraftをプレイすることにより多くのお金を費やしていた可能性があり、そうでなかったとしても、大規模なAIトレーニングプロジェクトをあと1つ2つ加えればそうなるだろう。特にカスタムハードウェアの開発の償却コストなどを含めれば。

大企業がどれだけサポートを気にかけていないかは、サポートに連絡してみればすぐにわかる。時給1ドルの、あなたの言語をかろうじてしか話せず、自分が解決しようとしている問題を理解せずフローチャートをなぞるだけの人に繋がれるか、異議申し立てをして「慎重な審査の結果、あなたが[実際にはやったことと真逆のこと]をしたと判断しました」と言われるかのどちらかだ。場合によってはそこまで行く必要すらない。Instagramのサポート指示に従うと、元に戻る無限ループに陥るとか、「これが自分でない場合はこちらをクリック」のリンクが404を返すといった具合だ。私もVerizonで一度このような無限ループに遭遇し、少なくとも半年は続いた。その後は確認していないが、何年も続いていたに違いない。もしこれがオンボーディングやサインアップページで起きた問題なら、成長に影響するので深刻なバグと見なされ優先して修正されるだろう。しかし詐欺師によるアカウント乗っ取りのようなアカウント喪失については、数か月や数年後に修正されるかもしれない。あるいは修正されないかもしれない。

サポートを本当に大切にしている会社で働く人々と話したことがあれば、彼らが通常の巨大テック企業のサポートとはプロセスにおいても文化においてもまったく違った運営をしていることがすぐにわかる。大企業がサポートを気にかけていないことがわかる別の手がかりは、大企業の従業員や幹部が、サポートがどう行われているか、あるいはどう行われるべきかを一度も調べたこともないのに、理論的な理由Xでより良いサポートは不可能だと語ることがいかに多いかだ。

実際にサポートを大切にしている会社のサポート担当者と話すと、はるかにましにできることは明らかだ。この投稿を書いている間、私は実際にサポート業務を、サポートをまともにやっている会社（テック企業として、規模を調整した上で99パーセンタイル以上に良いと言えるだろう）で行い、サポート担当者向けの研修やオンボーディングプロセスも経験した。何かを大規模にうまく実行することは簡単ではないので、彼らのサポート組織がどれだけ優れているかを軽視するつもりはないが、最も印象的だったのは、組織の有効性の多くが、ユーザーに良いサポート体験を提供することを気にかけることから自然に生じているということだった。それが何を意味するかをすべてここで論じるには長すぎるので、別の機会に詳しく見るとして、一例を挙げると、大企業のサポートの対応を見ると、しばしばユーザーに返信を思いとどまらせるように設計されていたり（「この審査は最終決定です」）、あるいは会社が適切な仕事をしていることをユーザーに対して正当化するように設計されていたりする（「これは純粋に自動化されたプロセスではなく、各異議申し立ては堅牢なプロセスで人間によって審査されました…」）。この会社では、研修で標準的な大企業の「どうか立ち去ってください」式や「私たちは素晴らしい仕事をしており堅牢なプロセスがあるのだから苦情は無効だ」式の対応とは逆のことをするように指導され、なぜアンチパターンが悪いユーザー体験を生むのかが議論される。さらに、文化自体がこれらの考えを深く吸収しており（というか、これらの考えは文化から生まれている）、人々が良いサポートを提供するとはどういうことかを本当に理解し実行することを確保するためのプロセスがあり、サポート担当者がプロダクトを実装する開発者と直接話す手段がある、といった具合だ。

もし人々が良いサポートをすることに関心があれば、ユーザーのサポートが得意な組織で働く人々に話を聞いたり、どうすればより良くできるかが不可能だと説明する前にそうした組織で働いてみたりすることもできるだろうが、これは一般には行われない。彼らの会社のサポート組織のリーダーも同様にそうすることができるし、私がやったように実際に効果的なサポート組織で直接サポートの役割を担ってみることもできるが、そうはならない。シニカルに見れば、これはすべて合点がいく。シニカルな人が若手社員に「大企業の人事はあなたを助けるためにいるのではない。彼らの仕事は会社を守ることだ」と助言するのと同じように、シニカルな人は「大企業のサポートはユーザーを助けるためにいるのではない。彼らの仕事は会社を守ることだ」ともっともらしく主張できる。だからもちろん大企業は、ユーザーのサポートが得意な会社がどうサポートしているかを理解しようとしない。それが大企業のサポートの目的ではないからだ。

三つ目に見た領域は、プラットフォームをどう運営すべきかについて人々が合意することが不可能であり、人々のバイアスのせいでこの問題がどれほど難しいかが理解されていないということだった。アメリカ人にとって顕著な例は、何らかのバグが擬似ランダムにサービス障害やBANを引き起こすたびに現れる左右両翼の陰謀論だ。

あるツイートでRyan Greenbergはこう冗談を言った。

Twitterで働こう。君の今日のバグが、明日の陰謀論になる職場だ！

私の周りでは、バグで誤ってBANされたりサイトが読み込めなくなったりした後に流布される馬鹿げた右派の陰謀論や、新しい機械学習機能が詐欺・スパムボットの巨大ネットワークを正しく削除し、それがたまたま一部ユーザーのフォロワー数を減らしたときに起きることなどを笑うのが好きな人がいる。しかしもちろんこれは右派に限ったことではなく、左派のオピニオンリーダーや政治家も独自の陰謀論を作り上げる。

この三つ、すなわち問題の検出の悪化、サポートの悪化、そしてポリシーへの合意の困難さを合わせると、冒頭で触れた状況に行き着く。私のTwitterフォロワーへのアンケートでは、回答者の大半はテック業界で働き、概して技術的にも詳しいにもかかわらず、最大手企業がモデレーションやスパム・詐欺フィルタリングで最も優れていると思った人はわずか2.6%だった。だから、これほど長々と論じるのは少し馬鹿げているようにも見えるかもしれない。アメリカ国民全体を対象にすれば、ワクチンでマイクロチップが埋め込まれるとか月面着陸はなかったとかいった陰謀論を信じると答える人の割合のほうが大きく、私はワクチンが実際にマイクロチップを埋め込むわけではないことや月面着陸が事実と考えるのが合理的である理由を説明するのに時間を費やしたりはしない。もっともらしい理由の一つは、「こうした問題に対処できるのは大企業だけだ」というレトリックが、規制当局や議員、ナンセンスを聞いてはオウム返しする高位の政府顧問のような専門外の人々の間で広まっているのを懸念を持って見てきたことだ。次に、規模がないとこうした問題は対処できないと素人に言われたときは、テック関係者の間では逆の見解で非常に強いコンセンサスがあることを丁寧に指摘できるかもしれない5。

Gary Bernhardt、Peter Bhat Harkins、Laurence Tratt、Dan Gackle、Sophia Wisdom、David Turner、Yossi Kreinin、Justin Blank、Ben Cox、Horace He、@borzhemsky、Kevin Burke、Bert Muthalaly、Sasuke、匿名、Zach Manson、Joachim Schipper、Tony D'Souza、@GL1zdAにコメント／訂正／議論の協力を感謝します。

付録：小規模でしか機能しない手法

本文では大きさのデメリットに焦点を当ててきたが、これを裏返して小ささのメリットを見ることもできる。

述べたように、私がプラットフォームで得た最高の体験は、スケールしないことをやることの副産物だ。一つうまくいくのは、一人の人物が、単一のビジョンを持ってサイト全体を、あるいはサイトが大きすぎる場合はサイトの主要な機能を担うことだ。

私はスパムや詐欺などがほぼゼロで議論の質が高い小さなDiscordにいくつか参加しているが、その戦略は単純だ。チャンネルのオーナーがすべてのメッセージを読み、現れた詐欺師やスパマーをBANする。lobste.rsのような、さらに大きなHNのようなサイトになると、すべてのメッセージを読むには大きすぎる（lobste.rsならやろうと思えばできるが、オーナーの空き時間での活動であることやメッセージ量を考えると、短時間ですべてを読むことを期待するのは無理がある）が、それでも何が起きるべきかというビジョンを提供する一人の人物がいる。ここでは「公園に車両を入れるな」問題は起きない。なぜなら一人の人間がポリシーをどうすべきかを決めるからだ。気に入らなければ、別の小さなフォーラムを探すか、自分で始めればいい（そしてこれは実際にlobste.rsが始まった経緯でもある。以前のHNのモデレーション体制では、自分たちと意見が違う人をBANすることで知られていたが、Joshua SteinがHNのポリシーに公然と異議を唱えてBANされたため、Joshuaがlobstersを作った（そして最終的にPeter Bhat Harkinsに引き継いだ）。

初期のcraigslistについてのこんな話もある。ちょうど深刻な詐欺やスパム問題を抱え始めた頃のことだ。

… 私たちはSFOで何か4時間ほど足止めを食い、Craig Newmarkの隣に半日座って過ごせたのは最高だった。

Craigがインタビューで自分は基本的にcraigslistの「カスタマーサービス責任者」だと言っているのを聞いたことがあったが、それはずっと、自虐的な冗談だと思っていた。GoogleでLarry Pageに会って、彼が創業者ではなく清掃員だとか社内の無料シリアルを選ぶ係だと言っているようなものだと。でも隣に座ってみて、彼が何をしているのかまったく新しい appreciation を得た。彼は受信箱のメールを処理し、craigslistのフォーラムで質問に答え、10分に一度くらい携帯電話で電話をかけていた。電話は手短で要点だけだった。「こんにちは、craigslist.orgのCraig Newmarkです。御社のISPの顧客と問題があり、不動産フォーラムでの彼らの迷惑行為をどう是正できるか話し合いたいのですが」。彼は文字通りフォーラムのスパマーを一人ひとり追いかけ、時には1件に5分、時には30分かけてスパマーに対処していた。彼は完全に仕事に没頭し、IPアドレスを調べ、できる限り質問に答え、他では見たことのないほどの熱意であの報われない仕事をこなしていた。飛行機に搭乗する頃には仕事の山は少し小さくなっていたが、着陸したらまた取り組むのを楽しみにしているようだった。

ある時点で、サイトが成長すると、一人の人間がサイト上のすべての機能やすべてのモデレーション行為を担うには大きすぎるようになるが、それでも通常は自動化されていると思われるようなものを一人の人間が担うことで大きな価値を得られることがある。有名な例はDiggの「アルゴリズム」が基本的に一人だったという話だ。

Diggを機能させていたのは本当に一人の男で、彼は機械のように働いていた。彼はすべてのストーリーを精査し、すべてのSEOネットワークに潜入し、基本的にそれらを出し抜き続けてDiggのトップページを使える状態に保っていた。Diggにはアルゴリズムはあったが、それは基本的にこの一人の生産性を10倍にするのを助ける単純なアルゴリズムに過ぎなかった。

GoogleがDiggを買収しようとしたが、実際には1日22時間働く一人の男が品質を保っているだけで、アルゴリズムの話はSEO業者にそれが攻略できるものだと思わせるための煙幕に過ぎないと気づいた（彼らには攻略できず、だからこそトップページは何年も高品質だった）。Googleは手を引いた。

そこで創業者たちは、このままではまともな金を引き出せないと気づき、修正した。彼らは、この一人の男がやっていたことを独立してやろうとする「本物のアルゴリズム」を開発した。

…

それは完全な大惨事だった…何がクールで何がそうでないかを判断するアルゴリズムは、1日22時間働く男ほど優れておらず、彼の非常に大きな貢献なしでは、基本的に数日前にどこか他で人気だったクズを再利用するだけになった…創業者たちはこの大きな平手打ちを建設的に受け止める代わりに、さらに固執した。そして今に至る。

…

私が言及しているのはAmarという人物だった（彼の名前は十分に一般的だと思うので身バレにはならないだろう）。彼はSEOの囁き手であり「アルゴリズム」だった。文字通りスパイのようだった。彼はフロントページをハックしようとするひどいグループに潜入し、彼らのキャンペーンを早期に特定して潰せるだけの情報を騙し取らせた。ずっと彼らのような負け組SEO業者のふりをしながら。

Etsyも同じ戦略を使っていたとされている。

付録：理論 vs. 実践

本文で述べたように、大企業の従業員は、サポートのやり方や良いサポートを提供している企業が何をしているかを実際に調べもせずに、理論的な理由Xでより良いサポートは不可能だ、とよく言う。今や時価総額1兆ドルの企業が、多くの企業が良いサポートを提供している規模だった頃も、これらの企業は良いサポートを提供していなかったので、これは規模に由来するものではないようだ。なぜならその巨大企業は当時も今も良いサポートを提供しようとすらしなかったからだ。この理論的で、もっともらしく聞こえる理由は、実際には成り立たない。

これは大手テック企業の規模の不経済に関する理論的な議論一般に当てはまる。別の例は、本文の冒頭で触れた、より大きな標的であることのほうがより洗練された機械学習を持つことより大きな影響を持つという考えだ。この考えの標準的な拡張としてよく聞くのは、大企業は実際には最高のスパム・詐欺対策を持っているが、最も洗練された攻撃にも晒されている、というものだ。これは大企業のスパム・詐欺対策がHNのようなフォーラムより悪く見える理由の正当化として使われるのを見たことがある。大企業が最も洗練された攻撃に晒されているのはおそらく真実だが、この考え全体が成り立ち、彼らのシステムが本当に優れているのであれば、redditやFacebookでスパムや詐欺を働くほうがHNでやるより絶対的に難しいはずだが、まったくそうではない。

実際にスパムを試してみれば、大規模プラットフォームでそうすることは極めて簡単で、思いつく最も明白なことをやればしばしばうまくいく。実験として、新しいredditアカウントを作ってナンセンスをフロントページに載せようとしてみたが、これは完全に簡単だった。同様に、誰かのFacebookアカウントを乗っ取り、詐欺だとわかる極めて明白な目印があり、多くの人が心配してアカウントが乗っ取られて詐欺をやっていると返信しているのに、何か月も何年も露骨な詐欺を投稿し続けることも完全に簡単だ（サポートで働いたりredditでスパムをしたりするのとは違って、私は人々のFacebookアカウントを乗っ取ろうとはしなかったが、人々のパスワードの practices を考えればアカウントを乗っ取るのは非常に簡単で、友人のアカウントが乗っ取られたときにFacebookがどう対応するかを見れば、何の洗練もなく最も素朴なことだけをやる攻撃が阻止されていないことがわかる）、といった具合だ。絶対的に見て、HNでスパム的・詐欺的コンテンツを人目に触れさせるほうが、redditやFacebookでやるより実際に難しい。

ここでの理論的な理由は、大企業が持つリソースでできる仕事にほんの少しでも近づいていれば重要になるものだが、私たちはそこにすらまったく近づいていない。

付録：リーク文書に対するジャーナリストの要約をどれだけ信頼すべきか

全体として、ほとんど信頼できない。Cruiseの歩行者事故報告書を見たときに論じたように、私がジャーナリストの見解を読むほぼすべてのケースで（Zeynepのような稀な例外を除いて）、ジャーナリストはストーリーに特定のスピンをかけようとしており、記事を読んで受ける印象は、一次資料を見たときに受ける印象とはかなり異なる。一次資料と正反対のことを記事が述べるほどスピンがかかっていることすらかなり一般的だ。それが一つの問題だ。

付録：ミャンマーにおけるMetaについてのErin Kissane

Erinはこう書き始めている。

しかし本格的に掘り下げ始めると、私が学んだことは想定していたよりもはるかに厄介で、おぞましく、壊滅的だった。Metaが受動的にも能動的にも助長した害は、数十万人の命を破壊し、あるいは奪った。それは生まれた場所の偶然が違えばあなたや私の命だったかもしれないのだ。「数十万人」と言うのは「数百万人」では信じられないように聞こえるからだが、調査を終える頃には実際の数は非常に、非常に大きいと信じるようになった。

付録：他所では

付録：モデレーションとフィルタリングの失敗例

巨大企業（そして大きければ大きいほど良い）にしか良いモデレーションや詐欺対策、スパム対策などができないというZuckの発言を見て以来、普段のネットサーフィンで見かけた大企業による失敗のリンクを集めてきた。

Google

Facebook（Meta）

Amazon

Microsoft

Stripe

Uber

Cloudflare

付録：Jeff Horwitzの『Broken Code』

話に応じてくれた元従業員たちは、最初から気がかりなことを口にした。Facebookの自動執行システムは、謳われているようにはまったく機能していなかったのだ。

付録：主張していないこと

  • Facebook（あるいはここで名指しされた他のどの企業、例えばUber）が際立ってひどい
  • ザッカーバーグ（あるいは名指しされた他のどの人物）が際立ってひどい
  • 大手テック企業の従業員は悪い人間だ
  • 大手テック企業の従業員は誰も一生懸命働いていない、あるいは努力していない
  • 大手テック企業は分割されるべきだ、あるいは独占禁止法上の措置を受けるべきだ
  • 同じ業界でより大きな企業はより小さな企業より厳密に劣っている
  • ここで論じた大規模 vs. 小規模のトレードオフの一般論が、すべての領域のすべての業界に厳密に当てはまる
  • 大規模にモデレーションやサポートを行うのは簡単だ
  • 平均して、大企業はユーザーにより悪い体験を提供している
  1. Costcoがまだ小さかった頃は、ここにはBest BuyではなくCostcoを入れていただろうが、大きくなるにつれて品質が下がっているのに気づいた。[戻る]
  2. WSJがMetaのリークされた内部文書を調べたところ、とりわけ、Metaは1日あたり10万人の未成年が「成人の性器の写真やその他の性的虐待コンテンツを受け取った」と推定していたことがわかった。[戻る]
  3. だがザッカーバーグにとって幸いなことに、彼の聞き手はテック業界についてほとんど理解していないようで、だからザッカーバーグの主張がもっともらしくなくてもあまり問題にならない。[戻る]
  4. 「本物のサポートを提供するにはコストがかかりすぎる」という主張よりは稀だが、もう一つの主張は「サポートはソーシャルエンジニアリング攻撃の経路になるからできない」というものだ。[戻る]
  5. もう一つの理由は、あまりもっともではないが、この投稿を書く実際のきっかけになったものだ。ザッカーバーグが、詐欺やスパムのような問題に対処できるのは世界で最も巨大な企業だけだとコメントしたとき、それが完全に馬鹿げていると感じたのだ。[戻る]

この記事は「muse-spark-1.2-contributor」を使用して翻訳されました。

コメント