多くの人にとって意外な話でしょうが、場合によっては、応募者全体について何も知らなくても、選考過程に偏りがあるかどうかを見抜けます。これは興味深いことです。なぜなら、とりわけ、選考する側が望むかどうかにかかわらず、第三者がこの手法を使って偏りを検出できるということだからです。

この手法は、（a）選ばれた応募者について少なくとも無作為抽出されたサンプルがあり、（b）その後のパフォーマンスが測定され、（c）比較する応募者グループ間で能力の分布がほぼ等しい場合に使えます。

どういう仕組みでしょうか。偏りがあるとはどういうことか考えてみてください。選考過程がタイプxの応募者に対して偏っているというのは、彼らが選考を通過しにくいということです。つまり、タイプxの応募者は、タイプxではない応募者よりも優秀でなければ選ばれません。[1] その結果、選考を通過したタイプxの応募者は、選ばれた他の応募者よりも優れた成果を上げるはずです。そして、選ばれた応募者全員のパフォーマンスを測定すれば、実際にそうなっているかどうかがわかります。

もちろん、パフォーマンスの測定に使うテストは妥当なものでなければなりません。特に、測定しようとしている偏りによって妥当性を失うものであってはいけません。しかし、パフォーマンスを測定できる分野はいくつかあり、そうした分野では偏りを見抜くのは簡単です。あるタイプの応募者に対して選考過程が偏っていたか知りたいですか。その人たちが他の応募者を上回るかどうかを調べればよいのです。これは偏りを検出するための単なる経験則ではありません。それが偏りというものなのです。

たとえば、ベンチャーキャピタルは女性創業者に対して偏っているのではないかと、多くの人が疑っています。これは簡単に検証できます。投資先企業の中で、女性創業者のいるスタートアップは、いないスタートアップを上回る成果を上げているでしょうか。数か月前、あるVC（ほぼ間違いなく意図せずに）が、この種の偏りを示す調査を公表しました。First Round Capitalの投資先企業では、女性創業者のいるスタートアップが、いないスタートアップを63％上回っていたのです。[2]

この手法が多くの人にとって意外だろうと言って話を始めたのは、この種の分析を目にすることがほとんどないからです。First Roundの人たちも、自分たちがそのような分析をしていたと知れば驚くでしょう。自社の投資先だけにサンプルを限定することで、彼らはスタートアップの動向ではなく、企業を選ぶ際の自分たちの偏りを調べる研究を行っていたのです。おそらく、そこにいた誰もそのことに気づいていなかったでしょう。

今後、この手法がもっと使われるようになると私は予測しています。こうした調査に必要な情報は、ますます入手しやすくなっているからです。何に応募したのかというデータは、通常、選考する組織が厳重に管理しています。しかし今では、誰が選ばれたのかというデータは、手間をかけて集計する人なら誰でも入手できる形で公開されていることが多いのです。

注

[1] 選考過程が応募者のタイプごとに異なるものを見ている場合、この手法は機能しません。たとえば、雇用主が男性については能力を基準に採用し、女性については外見を基準に採用している場合です。

[2] Paul Buchheitが指摘しているように、First Roundは最も成功した投資先であるUberをこの調査から除外していました。いくつかの種類の調査では外れ値を除外するのが理にかなっていますが、外れ値を当てることがすべてであるスタートアップ投資のリターンに関する調査は、その一つではありません。

謝辞 草稿を読んでくれたSam Altman、Jessica Livingston、Geoff Ralstonに感謝します。