偵測偏見的一種方法
這可能會讓許多人感到意外,但在某些情況下,即使對申請者群體一無所知,也有可能偵測出遴選過程中的偏見。令人振奮的是,這意味著——除了其他意義之外——第三方也能夠運用這項技術來偵測偏見,無論負責遴選的人是否願意被檢視。
只要符合以下三個條件,就能使用這項技術:(a)你至少擁有獲選申請者的隨機樣本,(b)他們後續的表現有被衡量,以及(c)你所比較的各申請者群體,其能力分布大致相當。
它是怎麼運作的呢?先想想偏見究竟意味著什麼。一個遴選過程對某類 x 申請者存在偏見,意味著這類人要通過遴選更加困難。也就是說,x 類型的申請者必須比非 x 類型的申請者更優秀,才有機會獲選。[1] 這也意味著,那些確實通過遴選的 x 類型申請者,其表現將會超越其他獲選者。而如果所有獲選者的表現都有被衡量,你就能知道他們是否真的如此。
當然,用來衡量表現的檢測方式本身必須是有效的。特別是,它不能被你正試圖衡量的偏見本身所扭曲。但在某些領域中,表現是可以被衡量的,而在這些領域中,偵測偏見就相當直接。想知道遴選過程是否對某類申請者存在偏見?看看他們的表現是否超越其他人。這不僅僅是偵測偏見的一種經驗法則,這就是偏見的本質。
舉例來說,許多人懷疑創投公司對女性創辦人存在偏見。這其實很容易偵測:在其投資組合公司中,有女性創辦人的新創,其表現是否優於沒有女性創辦人的新創?幾個月前,有一家創投公司(幾乎可以肯定是無意間)發布了一項研究,顯示出這類偏見。First Round Capital 發現,在其投資組合中,有女性創辦人的新創表現優於沒有女性創辦人的新創達 63%。[2]
我一開始會說這項技術會讓許多人感到意外,正是因為我們很少看到這種類型的分析。我敢肯定,First Round 得知自己竟然完成了一項這樣的分析,也會感到驚訝。我懷疑他們內部沒有人意識到,透過將樣本僅限於自家投資組合,他們所產生的與其說是一份關於新創趨勢的研究,不如說是一份關於自身在挑選公司時偏見的研究。
我預測未來我們會看到這項技術被更廣泛地運用。進行這類研究所需的資訊正變得越來越容易取得。關於誰申請了什麼的資料,通常被負責遴選的組織嚴密保管,但如今,關於誰獲選的資料,往往只要有人願意花功夫彙整,就能公開取得。
附註
[1] 如果遴選過程對不同類型的申請者尋求不同的條件,這項技術就無法奏效——例如,如果雇主根據能力雇用男性,卻根據外表雇用女性。
[2] 如同 Paul Buchheit(保羅·布赫海特)所指出的,First Round 在這項研究中排除了他們最成功的一筆投資——Uber。雖然在某些類型的研究中排除離群值是合理的,但對於新創投資報酬這類本質上就是追求離群值的研究而言,並非如此。
致謝 感謝 Sam Altman(山姆·奧特曼)、Jessica Livingston(潔西卡·李文斯頓)與 Geoff Ralston(傑夫·羅爾斯頓)閱讀本文草稿。
隨機一篇部落格