많은 사람들에게는 놀라운 이야기겠지만, 경우에 따라 선발 과정의 편향을 지원자 풀에 대해 아무것도 모르면서도 감지할 수 있습니다. 이것이 흥미로운 이유는, 무엇보다도 선발하는 쪽이 원하든 원하지 않든 제3자가 이 기법을 이용해 편향을 밝혀낼 수 있다는 점 때문입니다.

이 기법은 다음 세 가지 조건이 갖춰졌을 때 언제든 쓸 수 있습니다. (a) 선발된 지원자 중 최소한 무작위 표본을 확보할 수 있고, (b) 그 이후의 성과가 측정되며, (c) 비교하려는 지원자 집단들의 능력 분포가 대체로 비슷한 경우입니다.

원리는 무엇일까요? 편향이 무엇을 의미하는지 생각해 보면 됩니다. 선발 과정이 x 유형의 지원자에게 편향되어 있다는 것은 그들이 통과하기가 더 어렵다는 뜻입니다. 즉 x 유형의 지원자는 x 유형이 아닌 지원자보다 더 뛰어나야 선발될 수 있다는 의미입니다. [1] 이는 결국 선발 과정을 뚫고 올라온 x 유형의 지원자들이 다른 합격자들보다 더 뛰어난 성과를 낼 것이라는 뜻이 됩니다. 그리고 모든 합격자의 성과가 측정된다면, 실제로 그런지 알 수 있습니다.

물론 성과를 측정하는 데 쓰는 테스트는 타당한 것이어야 합니다. 특히 측정하려는 편향 때문에 그 타당성이 훼손되어서는 안 됩니다. 하지만 성과를 측정할 수 있는 영역이 분명 존재하고, 그런 영역에서는 편향을 가려내는 일이 간단합니다. 특정 유형의 지원자에 대해 선발 과정이 편향되었는지 알고 싶다면, 그들이 다른 사람들보다 성과가 더 좋은지 확인하면 됩니다. 이는 편향을 찾기 위한 단순한 휴리스틱이 아닙니다. 편향이라는 말 자체가 의미하는 바입니다.

예를 들어 많은 이들은 벤처캐피털 회사들이 여성 창업가에 대해 편향되어 있다고 의심합니다. 이는 쉽게 확인할 수 있습니다. 포트폴리오 기업들 가운데 여성 창업가가 있는 스타트업이 그렇지 않은 스타트업보다 성과가 더 좋은지 보면 됩니다. 몇 달 전 한 VC 회사가 (거의 확실히 의도치 않게) 이런 유형의 편향을 보여주는 연구를 발표했습니다. First Round Capital은 자사 포트폴리오 기업 중 여성 창업가가 있는 스타트업이 그렇지 않은 스타트업보다 더 뛰어난 성과를 냈다는 사실을 발견했는데, 그 차이는 63%에 달했습니다. [2]

제가 처음에 이 기법이 많은 사람에게 놀라움으로 다가올 것이라고 말한 이유는 이런 유형의 분석을 좀처럼 볼 수 없기 때문입니다. First Round 역시 자신들이 그런 분석을 했다는 사실에 놀랄 것이라 확신합니다. 그곳의 누구도 자신들의 포트폴리오로 표본을 제한함으로써 스타트업 트렌드에 대한 연구가 아니라 자신들의 기업 선별 과정에 존재하는 편향에 대한 연구를 내놓게 되었다는 사실을 깨닫지 못했을 것입니다.

앞으로 이 기법이 더 자주 쓰이게 될 것이라 예상합니다. 이런 연구를 수행하는 데 필요한 정보는 점점 더 구하기 쉬워지고 있습니다. 누가 지원했는지에 대한 데이터는 보통 선발하는 조직이 철저히 비공개로 관리하지만, 누가 선발되었는지에 대한 데이터는 오늘날 조금만 수고를 들여 모으면 누구나 공개적으로 구할 수 있는 경우가 많습니다.

주석

[1] 선발 과정이 지원자 유형에 따라 서로 다른 기준을 적용한다면 이 기법은 통하지 않습니다. 예를 들어 고용주가 남성은 능력으로 뽑고 여성은 외모로 뽑는 경우입니다.

[2] Paul Buchheit가 지적했듯, First Round는 연구에서 가장 성공적인 투자처인 Uber를 제외했습니다. 일부 유형의 연구에서는 이상치를 제외하는 것이 타당하지만, 대박을 터뜨리는 것이 핵심인 스타트업 투자 수익률 연구는 그런 경우에 해당하지 않습니다.

감사 — 이 글의 초고를 읽어준 Sam Altman, Jessica Livingston, Geoff Ralston에게 감사드립니다.