지난 2년간 LLM과 생성형 AI의 ML/AI 편향에 관한 바이럴 스토리가 끊이지 않았다. 편향에 대한 논의를 보면서 흥미로운 점은, 명백한 버그가 있는 ‘고전적인’ 버그 사례와 비교했을 때 LLM·생성형 AI 사례에 대한 반응이 확연히 다르다는 것이다. 특히 일반인들이 모이는 포럼이나 토론을 보면, 사용자가 요청한 것과 거의 정반대 결과가 나왔는데도 이를 버그조차 아니라고 부정하는 경우가 빈번하다. 예를 들어 1년 전, 아시아계 MIT 대학원생이 Playground AI(PAI)에 “원본 사진 속 소녀에게 전문적인 링크드인 프로필 사진을 만들어 달라”고 요청했는데, PAI는 그녀의 얼굴을 파란 눈을 가진 백인 얼굴로 바꿔 버렸다.

레딧에서 프런트 페이지에 오른 해당 글에 달린 ‘편향은 없다’는 취지의 댓글 중 가장 추천을 많이 받은 댓글, 그리고 전체 댓글 중에서도 최상위권에 있던 댓글은 다음과 같았다.

그럼 가장 인기 있는 Stable Diffusion 모델 사이트에 가서 첫 페이지에 있는 이미지들을 한번 봐봐.

비현실적일 정도로 아시아 여성 이미지가 많다(애니메이션 제외 모델의 거의 50%가 아시아 여성이다). 그래서 아시아인인 게 오히려 선호되는 특성이라고 생각할 정도다.

그게 “한 여성이 웹사이트에 멍청한 프롬프트를 입력했더니 백인 여성이 생성됐다”는 것보다 덜 중요한 근거인가?

그리고 그녀가 “Linkedin”이라고 입력했으니, 프롬프트가 현재 어떻게 작동하는지 아는 사람이라면 AI가 전문적인 여성이 무엇인지에 대한 자신의 의견이 아니라 평균적인 링크드인 여성 이미지를 검색했을 가능성이 더 높다는 걸 안다. 이미지 AI는 의견 같은 걸 갖고 있지 않다.

요컨대, 이건 그냥 AI 어그로성 기사다.

같은 취지의 다른 고득표 댓글로는 다음과 같은 것들이 있었다.

솔직히 이 댓글이 더 위로 가야 한다. 지금 SD를 체크포인트와 함께 쓰려면 아시아 소녀 이미지를 원치 않는다면 오히려 그걸 피하는 게 훨씬 더 어렵다. 정말 많은 모델이 애니메이션이나 아시아 여성을 기반으로 학습됐다.

그리고

그렇지? AI 이미지는 오히려 반대 문제를 갖고 있다. 학습 데이터에 아시아인이 워낙 많고, 아시아에서 만들어지는 모델 수도 워낙 많다 보니 상당수 모델이 아시아인 결과물 쪽으로 편향돼 있다.

표본 크기 문제라고 지적한 고득표 댓글도 있었다.

“체계적 인종 편향의 증거”

결과물 1개를 보여준다.

Playground AI의 CEO도 보스턴 글로브가 인터뷰를 요청했을 때 같은 논리로 답했다. 그는 인터뷰를 거절하고 다음과 같은 수사적 질문 리스트로 답장을 대신했다(보스턴 글로브는 답장에 더 많은 내용이 있었지만 일부만 공개했다고 밝힌다):

주사위를 한 번 굴려서 1이 나왔다고 해서, 항상 1이 나온다는 뜻인가? 단 한 번의 관찰을 근거로 주사위가 1에 편향되어 있고 1이 나오도록 학습됐다고 결론 내려야 하는가?

오늘날 ML을 많이 활용하는 기업 중 Google이나 Facebook, Microsoft 등 어떤 회사의 사례를 골라도 상관없었겠지만, Playground AI의 CEO가 사실상 PAI의 결과물을 직접 확인해 보라고 요구한 셈이니 이 글에서는 PAI를 살펴보려고 한다. 나는 그 MIT 대학원생이 쓴 프롬프트를 내 마스토돈 프로필 사진에 그대로 적용해 봤다. “girl” 대신 “man”으로만 바꿔서다. PAI는 대체로 내 아시아인 얼굴을 백인(코카서스) 얼굴로 바꿔 버렸고, 가끔은 좀 더 하얗게 만들면서도 민족적으로 모호한 — 중동이나 동아시아 쪽 느낌이 나는 — 얼굴로 바꾸기도 했다. 참고로 내 얼굴은 뚜렷한 베트남인 특징을 여럿 갖고 있어서 누가 봐도 동아시아인이 아니라 베트남인처럼 보인다.

내 프로필 사진은 겨울에 찍은 피부 톤이 밝은 사진이라, 피부 톤이 더 어두운 여름 사진을 넣어 봤더니 이번에는 PAI가 대체로 내 얼굴을 남아시아나 아프리카계 얼굴로 바꿨고, 가끔 중국인처럼 보이는 얼굴이 나오기도 했다(베트남인이나 동남아시아인처럼 보이는 얼굴은 한 번도 나오지 않았다). 다음은 그 결과다:

다른 사람들도 여러 프롬프트를 시도해 봤고, 모델(이 글에서 ‘모델’은 모델과 가중치, 그리고 출력 결과를 만들어내는 주변 시스템 전체를 느슨하게 일컫는다)이 특정 직업에 대해 어떤 인종이어야 하는지에 대한 선입견을 갖고 있어서, 그 선입견이 입력 사진을 압도할 정도라는 걸 보여주는 결과를 얻었다. 예를 들어 모델이 누군가를 더 전문적으로 보이게 하려면 아시아적 특징을 버리고 백인처럼 만들어야 한다고 ‘판단’했기 때문에, 밝은 피부의 아시아인을 백인으로 바꿔 버리는 식이다.

다른 사람들도 모델에 내재된 온갖 선입견이 무엇인지 알아보기 위해 여러 프롬프트를 시도했고 비슷한 결과를 발견했다. 예를 들어 Rob Ricci는 “컴퓨터 과학”, “철학”, “화학”, “생물학”, “수의학”, “간호학”, “젠더학”, “중국사”, “아프리카 문학” 교수에 대해 각각 “X 교수의 링크드인 프로필 사진”을 요청했을 때 다음과 같은 결과를 얻었다. 처음 7개 프롬프트로 생성된 28개 이미지 중 백인이 아닌 사람은 1~2명에 불과했다. 다음 프롬프트인 “중국사”의 결과는 극도로 과장된 스테레오타입 그 자체였는데, 백인이 아닌 결과물을 요청할 때 다른 모델들에서도 자주 볼 수 있는 현상이다. 그리고 Andreas Thienemann은 과장된 중국인 스테레오타입을 제외하면 모든 교수가 안경을 쓰고 있다는 점, 또 하나의 전형적인 스테레오타입을 지적한다.

앞서 말했듯, Playground AI를 특별히 집어내려는 의도는 아니다. 다른 곳에서도 언급했듯, 수조 달러 규모의 기업들도 편향에 대한 가장 기초적인 검증조차 없이 AI 모델을 프로덕션에 배포하곤 한다. 내가 ChatGPT를 시험해 봤을 때도, 내가 시도한 모든 편향 검증 프롬프트가 여기서 본 이미지들과 유사한 결과를 내놓았다. 예를 들어 테크 업계에서 일하는 남성과 여성의 약력을 요청했을 때, 여성은 실제로 다양성 관련 업무를 한 적이 없는데도 다양성 업무를 했다는 약력이 나오는 경향이 있었고, 남성은 실제로 명문 공대를 나오지 않았는데도 MIT나 버클리 같은 유명 공대 출신이라는 학력이 붙는 경향이 있었다. 명문 테크 기업에 대해서도 마찬가지였다(이 링크에는 트위터 글자 수 제한 때문에 4개 사례만 있지만, 내가 시도한 다른 예시들도 일관됐다).

이 글은 공개된 어떤 생성형 AI를 써도 쓸 수 있었을 것이다. 단지 Playground AI CEO의 대응이 ‘직접 확인해 보라’는 요청이자, 일반인들이 흔히 보이는 반사적인 ‘AI는 편향되지 않았다’는 반응을 그대로 반영하고 있기에 PAI를 예로 든 것뿐이다.

사람들의 전문 사진을 백인으로 바꾸는 것이 편향이 아니라는 주장으로 돌아가 보자. 앞서 본 고득표 레딧 댓글은 “가장 인기 있는 Stable Diffusion 모델 사이트에 가서 첫 페이지의 이미지를 보라”고 제안했다. 아래는 그 댓글이 달린 날 내가 해당 링크를 클릭한 뒤 “피드”를 눌렀을 때 나온 화면이다.

[클릭하여 보기 - 약한 NSFW 이미지 펼치기/접기]

사이트는 다소 야한 느낌이 있었다. 중간값에 해당하는 이미지는 “사춘기 소년의 방 벽에 붙어 있을 법한 포스터를 영화에서 소품으로 구현한다면, 작가들이 그 캐릭터가 성욕이 넘치고 사회성이 부족한 사춘기 소년임을 보여주기 위해 쓸 법한 전형적인 이미지”라고 설명할 수 있을 정도였고, 피드에 들어가 기본값인 “전체 기간” 순위를 보면 가장 위에 나오는 것들은 젊은 여성의 가슴을 움켜쥐는 이미지(“Guided Breast Grab | LoRA”라는 제목), 두 젊은 여성이 키스하는 이미지(“Anime Kisses”), 목줄을 한 젊은 여성 이미지(“BDSM — On a Leash LORA”라는 설명)였다. 그러니까 사람들이 야한 사진을 만들고 돌려보는 데 즐겨 쓰는 사이트가 있었고, 그 사이트에 아시아 여성 사진이 많이 있다는 사실이, 한 아시아 여성이 링크드인용으로 깔끔한 사진을 만들려다 백인 여성으로 바뀌었다는 사실에 대해 ML 편향이 아시아 여성에게 부정적 영향을 미치지 않는다는 증거로, 서로 상쇄된다는 논리로 사용된 셈이다. 뭐라고 말해야 할지 모르겠다. Fabian Geisen은 “🤦‍♂️. 정말 ‘나는 편향되지 않았어. 네가 편향된 거야’ 수준의 담론”이라고 답했는데, 적절한 반응처럼 느껴진다.

댓글에서 보이는 또 다른 전형적인 논리, 사실상 모든 AI 편향 논의에서 보이는 논리는 다음 댓글들에 잘 드러난다.

“전문가” 스톡 사진으로 학습된 AI가 그녀를 백인으로 만들었다. 놀랄 일인가?

그녀는 AI에게 자신의 헤드샷을 더 전문적으로 만들어 달라고 했다. 인터넷에 있는 “전문적인” 스톡 사진 대부분에는 백인이 나온다.

그리고

그녀가 사진을 더 ‘뭐든’으로 만들어 달라고 했다면 백인으로 바뀌었을 가능성이 높다. 서구권 사진의 평균이 그렇기 때문이다. 미국 인구에서 아시아인은 7.3%에 불과하고, 그중 상당수는 그녀의 동아시아적 특징과는 전혀 닮지 않은 남인도 출신이다. 동아시아인은 5% 이하다. 학습 데이터 자체가 별로 없다.

이런 댓글들은 기업들이 미국을 대표하는 학습 데이터를 가져오고 있으며, 그렇게 하는 것이 합리적이라고, 그래서 모델이 모든 사람을 가장 흔한 유형으로 변환하는 것이 당연한 결과여야 한다는 근본적인 가정에 기반해 보인다. 이는 여러 차원에서 틀렸다.

먼저, 전문 스톡 사진이 백인 위주인지에 대해 말하자면, “professional stock photo”를 이미지 검색해 보면 비백인이 꽤 많이 나온다. 그러니 스톡 사진이 그다지 백인 위주가 아니거나, 사람들이 더 균형 잡힌 스톡 사진 표본을 반환하는 방법을 이미 찾아낸 셈이다. 그리고 전 세계 인구 통계를 고려하면 인터넷 서비스가 미국 중심이어야 한다고 기대해야 할 이유가 불분명하다. 설령 주요 인터넷 서비스가 모든 사용자가 미국에 있다고 가정해야 한다는 점을 받아들인다 하더라도, 모든 요청이 최빈값에 해당하는 미국인에게서 온 것처럼 가정하는 것은 설계 결함이자 명백한 편향의 징후다.

인종이나 민족에 대한 논의가 워낙 예민하다 보니, 덜 민감한 AI 가정을 하나 들어보자. 내가 동네 정비소 AI 고객 서비스 챗봇에게 겨울용 타이어로 교체하고 타이어 로테이션을 예약하고 싶다고 했다고 하자. 그런데 차를 찾으러 갔더니 겨울용 타이어 교체는커녕 오일만 갈아 놓았고, 인터넷 댓글러들은 이것이 어떤 편향의 징후도 아니며, AI 챗봇이 정비소에 대한 모든 예약을 오일 교체 예약으로 바꾸는 것은 가장 흔한 예약 유형이기 때문이니 당연하다고 설명한다. 어떤 예약 요청이든 “가장 흔한 예약 유형”으로 바꿔 버리는 챗봇이 명백히 고장 났다는 것은 분명하다. 그런데 어째서인지 AI 옹호자들은 인종이나 민족을 바꾸는 일이 일어나면 이것이 괜찮다고 주장한다. 마찬가지로 내 타이어 교체 예약이 오일 교체 예약으로 바뀐 것이 괜찮다고 주장하는 것은, 다른 회사들의 스케줄러가 오일 교체 예약을 타이어 교체 예약으로 바꾸기 때문이라는 논리와 마찬가지로 터무니없지만, 위에서 논의한 또 다른 흔한 논리이기도 하다.

그리고 Mindbody나 JaneApp 같은 일반적인 비AI 스케줄링 소프트웨어를 써서 정비소에 타이어 교체 및 로테이션을 예약했는데, 소프트웨어가 단순히 가장 흔한 예약 유형으로 예약을 잡아 오일을 갈아 줬다고 해보자. 이는 소프트웨어에 버그가 있다는 명백한 징후이며, 이 버그를 고치기 위해 아무 노력도 할 필요가 없다고 주장할 합리적인 사람은 없을 것이다. 그런데도 AI에 관해서는 사람들이 흔히 이런 주장을 한다(아마도 이 주제 댓글에서 가장 흔한 방어 논리일 것이다). 논리는 한 걸음 더 나아가, 왜 버그가 발생하는지에 대한 설명을 버그가 존재해야 하는 이유이자 사람들이 고치려 시도조차 해서는 안 되는 이유로 정당화하는 데 쓴다. 이런 설명은 “고전적인” 소프트웨어 버그에 대해 쓰면 명백히 터무니없게 들릴 것이며, ML에 대해 쓸 때도 마찬가지로 터무니없다. 어쩌면 ML에서는 버그를 고치는 것이 훨씬 더 어려워서 현실적으로 고칠 수 없다는 주장은 할 수 있을지 모른다. 하지만 그것은 흔히 보이는 ‘이건 버그가 아니며 소프트웨어가 이렇게 동작하는 게 옳다’는 주장과는 다르다.

프로그램이 사용자에게 더 불투명한 동작을 할 때, 예컨대 자동 고침 같은 경우에 일부 사용자가 그런 말을 할 수도 있겠다고 상상할 수 있다. 하지만 실제로 레딧에서 autocorrect bug를 검색해 봤더니 상위 3개 스레드(다른 스레드는 보지 않았다)에서 255개 댓글 중 오타 자동 고침 오류가 버그가 아니라고 부정한 댓글은 2개뿐이었고, 그 두 댓글은 같은 사람이 쓴 것이었다. 충분히 파고들면 비율이 더 높은 주제를 찾을 수도 있겠지만, 몇 가지 다른 주제(예컨대 엑셀 서식이나 자동 고침 버그)를 더 검색해 본 결과, 내가 검색한 어떤 주제도 생성형 AI에서 보는 수준에 근접하지 않았다. 생성형 AI에서는 사용자가 원하는 것과 정반대로 동작하는 프롬프트가 버그가 아니라고 절반 정도의 댓글러가 격렬하게 부정하는 일이 드물지 않다.

버그 자체로 돌아가 메커니즘 측면에서 보면, 분류기든 생성 모델이든 이런 시스템 중 다수(아마도 대부분 혹은 거의 전부)가 인터넷의 일부 표본에 반영된, 많은 사람들이 가진 편향을 그대로 흡수하고 있다는 것을 알 수 있다. 그 결과 Google의 이미지 분류기가 온도계를 든 흑인의 손을 {hand, gun}으로, 온도계를 든 백인의 손을 {hand, tool}로 분류하는¹ 같은 일이 벌어진다. 지난 10년간 2015년 Google 포토에서 흑인을 고릴라로 분류한 일부터, 2018년에 “African-American composers”와 “African-American music”이 포함된 광고를 “위험하거나 비하적인” 것으로 분류하는 텍스트 분류기를 광고에 배포한 일까지 여러 오류가 있은 뒤, Google은 Gemini에서 방향을 반대로 돌렸다. 그런데 이 Gemini 사례는 다른 어떤 사례보다 훨씬 더 큰 분노를 불러일으켰다.

편향이 자동화 시스템에 스며드는 것은 새로운 일이 아니다. 이는 생성형 AI나 LLM 이전부터 존재했고, ML 모델 밖에서도 문제다. 단지 ML의 광범위한 사용이 이를 사람들에게 가시적으로 만들었을 뿐이며, 그래서 일부 사례가 뉴스가 되는 것이다. 예를 들어 압축 알고리즘과 사전을 보면, Brotli는 영어에 크게 편향되어 있다 — 언어에 내장된 120개의 변환 중 인간 언어 요소는 영어이며, 내장 압축 사전도 인구 가중 언어 사용자 수나 메시징 플랫폼에서 전송되는 비자동화된 인간 언어 텍스트 등 어떤 대표성을 기준으로 하더라도 영어 쪽으로 훨씬 더 가중치가 실려 있다. 왜 영어가 그렇게 큰 비중을 차지해야 하는지에 대한 논거를 댈 수도 있지만, 그 반대가 되어야 한다는 논거도 가능하다. 예를 들어 영어 사용량은 사용자의 대역폭과 양의 상관관계가 있으므로, 비영어권 사용자가 평균적으로 압축을 더 필요로 한다. 하지만 대표 사전을 만들기 위해 어떤 가중 함수를 써야 한다고 생각하든, 그건 바이럴 뉴스가 되지 못한다. 일반적인 독자가 120개의 내장 Brotli 변환 중 상당수가 텍스트에 “ of the ”, “. The”, “. This” 같은 문자열을 추가하는 등 영어에 고도로 특화되어 있고, 전 세계 인구의 20%만이 영어를 쓰는데도 다른 어떤 인간 언어에도 고도로 특화된 용어를 인코딩하는 변환이 하나도 없다는 사실, 혹은 사용자 수 대비 내장 압축 사전이 다른 어떤 인간 언어에 비해서도 영어로 극도로 치우쳐 있다는 사실에 관심을 가질 리 없기 때문이다. 위에서 본 것들과 유사한 방식으로 Brotli 사전을 옹호할 수도 있다. 즉, Brotli 사전이 학습된 어떤 대표 말뭉치에 대해 Brotli 사전으로 최적의 압축을 얻는다는 식이다. 하지만 사전에는 “World War II”, “, Holy Roman Emperor”, “British Columbia”, “Archbishop”, “Cleveland”, “esperanto” 등 꽤나 궁금증을 자아내는 구절들이 있어, 사전이 학습된 말뭉치가 가장 대표성이 있다거나 사람들이 보내는 텍스트를 특별히 잘 대표한다고 보기 어렵게 만든다. “, Holy Roman Emperor” 같은 구절을 사전에 포함하는 것이 인터넷에서 전송되는 텍스트 분포 전반에 걸쳐 프랑스어, 우르두어, 터키어, 타밀어, 베트남어 등에 대한 어떤 항목도 포함하지 않는 것보다 더 나은 압축을 제공한다는 것이 정말 사실일 수 있을까?

바이럴 뉴스가 되기 어려운 또 다른 예는, 내 블로그 제목에 베트남어 이름을 넣고 Google에서 내 블로그가 베트남어 Google 외부에서는 색인되지 않게 된 경우다. 블로그를 시작할 때 시도해 봤더니 내 블로그가 베트남에 있지 않으면 Google 검색에 바로 노출되지 않게 됐다. 기본값이 사람들이 영어 검색 결과를 원한다는 가정인 셈이며, 아마도 페이지에 베트남어 성조 기호가 있는 문자가 두 개 있으면 그 페이지를 사실상 너무 아시아적이어서 한 국가를 제외하고는 세계 누구에게도 관심 없는 페이지로 표시하는 휴리스틱을 누군가 만들었을 것이다. “가시적으로 베트남인인 것”은 꽤 흔한 버그 원인처럼 보인다. 예를 들어 베트남 이름은 성조 기호가 없어도 문제가 된다. 어머니의 성을 입력하라는 양식을 자주 마주하는데, 어머니의 성을 입력하면 “잘못된 이름” 또는 “이름이 너무 짧습니다” 같은 메시지가 뜬다. 그럭저럭 피해 갈 수 있으니 괜찮다. 어머니 성 대신 쓸 대체 이름을 만들어 두면 어차피 더 안전하기도 하다. 또 다른 문제는 사람들이 내가 이름을 잘못 말했다고 판단하고 내 이름을 바꿔 버리는 경우다. 성이 “Luu”인데 “Luu, L U U”라고 읽어 주면 베트남식 “Luu”가 중국식 “Lu”로 절반 정도는 축약되고, 서구식 “Lou”로 바뀌는 경우도 많지만, “Luu, L U U, U가 두 번”이라고 말하면 95% 정도는 제대로 통한다는 걸 알게 됐다. 그러면 상대방이 짜증 섞인 목소리로 “그렇게 세 번이나 철자를 말할 필요는 없었다”고 말하기도 한다. 그 특정 사람에게는 그럴 수도 있겠다 싶지만, 대부분은 제대로 알아듣지 못한다. 내 이름을 컴퓨터 시스템에 직접 입력해서 녹음 전사 오류가 있을 수 없는 경우에도 이런 일이 벌어진다. 내 법적 이름은 성조 기호 없이 Dan이다. 베트남계 미국인에게는 드물지 않은 일인데, Dan이 베트남 이름이면서 동시에 미국 이름으로도 통하고 많은 베트남 이민자들이 Dan이 보통 Daniel의 약자라는 걸 몰랐기 때문이다. 내가 정규직으로 일한 여섯 회사 중 세 곳에서 누군가 친절하게도 내 이름을 Daniel로 바꿔 버렸다. 아마 데이터베이스에 Dan이라고 기록된 것을 보고 내가 이름을 잘못 입력했으며 자신의 이름보다 내 이름을 더 잘 안다고 확신하고 굳이 내게 물어볼 필요도 느끼지 않았기 때문일 것이다. 한 곳에서는 이메일 표시 이름에만 영향을 미쳤다. 나는 사람들이 나를 어떻게 부르는지에 크게 신경 쓰지 않으니 고치지 않고 두었고, 그곳에서 일하는 동안 많은 사람들이 나를 Dan 대신 Daniel이라고 불렀다. 다른 두 곳에서는 중요한 서류에 영향을 미쳐 보험, 세금 서류 등이 법적 이름과 일치하도록 실제로 이름을 고쳐야 했다. 위에서 언급했듯, 내 얼굴로 Playground AI에 꽤 무해한 프롬프트를 넣어도 아시아인 결과물이 드물게 나오는 경우에도 동남아시아보다는 동아시아 결과물이 나오는 것 같다. 다른 대기업의 생성형 AI 모델에서도 같은 현상을 봤다. 동남아시아 결과물을 요청해도 동아시아 결과물을 생성한다. 오류와 잡음을 정리해 주는 도구로 마케팅되는 AI 도구들도 아시아성(그리고 그와 유사한 다른 “오류”)을 잡음으로 간주해 정리해 버린다. 예를 들어 Adobe AI 잡음 제거(“speech enhancement로 음성 녹음의 잡음을 제거하세요”라고 홍보되는 기능)를 사용한 사람들은 이 기능이 아시아 억양을 제거해 미국인처럼 들리게 만든다고 지적한다(동유럽 억양 등 다른 여러 억양도 마찬가지다).

나는 널리 쓰이는 소프트웨어를 사용하는 과정에서만 매주 수십에서 수백 건 정도의 이런 일을 겪는다(전체 버그 수는 이전에 관찰했듯이 주당 수백에서 수천 건에 달하므로 그보다 훨씬 적다). 하지만 내가 대화하는 대부분의 미국인은 이런 일을 전혀 알아차리지 못한다. 최근 ML 시스템의 다양한 편향이 초래하는 모든 피해와 ML의 광범위한 사용이 온갖 새로운 피해를 가져올 것이라는 이야기가 많이 나오고 있다. 틀린 말은 아닐지 모르지만, 내 생각에는 우리가 자동화를 갖게 된 이래로 줄곧 편향을 자동화에 인코딩해 왔고, 자동화의 범위와 규모가 커지면서 자동화된 편향의 범위와 규모도 계속 커져 왔다는 것이다. 단지 이제는 ML의 많은 활용 사례가 이런 편향을 일반인에게 훨씬 더 뚜렷하게 보이게 만들고, 그래서 뉴스에 오를 가능성이 커졌을 뿐이다.

지금까지 본 이 주제에 관한 대중적인 글들에는 비역사성이 있다. 근본적인 문제가 새로운 것이 아니라는 점을 인정하지 않기 때문에, 해결책이 제안될 때 두 가지 부류의 문제가 생긴다. 하나는 해결책이 ML에 특화된 경우가 많은데, 여기서의 문제는 ML 사용 여부와 관계없이 발생하므로 ML 특화 해결책은 초점이 잘못된 것처럼 보인다는 것이다. 해결책이 일반적인 경우, 내가 본 제안된 일반적인 해결책들은 이전에 제안됐고 실패한 것들이다. 예를 들어 적어도 지난 20년간 가장 흔한 행동 촉구(“사람들이 더 관심을 가져야 한다”가 행동 촉구에 포함된다면 그게 가장 흔할 수도 있다)는 더 다양한 팀이 필요하다는 것이었다.

이는 명백히 효과가 없었다. 효과가 있었다면 위에서 언급한 문제들이 만연하지 않았을 것이다. 이 해결책이 효과가 없었고 앞으로도 효과가 없을 이유는 여러 층위에 있으며, 그 중 하나만으로도 이 해결책은 실패한다. 한 가지 문제는 업계 전반에서 책임을 지는 사람들(경영진과 VC, 사모펀드 투자자 등 자본을 통제하는 사람들)이 전체적으로 이 문제에 관심이 없다는 것이다. 더 다양한 팀에 대한 효율성 근거가 존재하지만, 게임이나 스포츠에서의 결정에 비해서는 사례가 결코 그렇게 명확하지 않을 것이며, 그곳에서도 우리는 오류가 지적된 뒤 수십 년이 지나도 매우 비싸고 쉽게 정량화할 수 있는 잘못된 결정이 지속되는 것을 봐 왔다. 그리고 설령 경영진과 자본이 그 아이디어에 동의한다 하더라도, 여전히 효과가 없을 것이다. 왜냐하면 차원이 너무 많기 때문이다. 2013년부터 2019년까지의 Patreon처럼 다양성을 정말 우선시한 회사를 보면, 조직이 두세 가지 차원에서 다양성을 진지하게 우선시할 수 있으면 다행이며, 그 와중에 베트남 이름이나 얼굴이 제대로 처리되는지와 같은 수백, 수천 개의 다른 차원에서는 실패하게 된다.

이 모든 것이 문제가 되지 않는다 하더라도 여전히 효과가 없을 것이다. 관련 다양한 경험을 가진 팀을 갖는 것이 문제의 우선순위를 정하는 것과 약간의 상관관계가 있을 수는 있지만, 자동으로 문제가 우선시되고 수정되게 하지는 않기 때문이다. 덜 민감한 예를 들어보자. Google 지도 교통 예상 시간에 존재해 온 버그가 있는데, 시작부터 최소 2022년까지 존재했던(그 이후로는 운전을 충분히 하지 않아 버그가 여전히 존재하는지 모른다) 버그는, 내가 러시아워 시작 시점에 이동 시간을 물으면 현재 교통 상황만 고려하고 운전하는 동안 교통 상황이 어떻게 변할지는 고려하지 않아 이동 시간을 체계적으로 과소평가한다는 것이다(반대로 러시아워 피크 시점에 이동을 계획하면 체계적으로 과대평가한다). Google 지도에서 통근의 다양성을 늘려 이 문제를 해결하려 해도 실패할 것이다. Google 지도에서 일하는 많은 사람들은 이미 운전을 하고 체계적으로 잘못된 예상 방식을 관찰할 수 있다. 운전을 하고 이런 문제를 알아차리는 사람들이 있다는 것을 보장하기 위해 다양성을 추가하는 것은 차이를 만들 가능성이 매우 낮다. 다른 예를 들자면, Uber 결제팀의 전 매니저가 ML 모델이 그의 거래를 부정 거래로 잘못 분류해 Uber에서 잘못 차단됐을 때, 아무도 무슨 일이 일어났는지, 어떤 편향이 그를 잘못 차단하게 했는지 알아내지 못했다(그들은 그의 사용자를 허용 목록에 추가하는 방식으로 문제를 해결했다). 결제팀 매니저보다 더 나은 서비스를 받을 사람은 거의 없을 것이며, 그 경우에도 Uber는 무슨 일이 일어나고 있는지 제대로 파악하지 못했다. 팀에 “다양한” 후보를 채용한다고 해서, 그 후보가 다양한 차원에서 편향 문제를 자동으로 해결하거나 큰 차이를 만들지는 못한다. 심지어 전 팀 매니저조차 6개월간의 조사 끝에 화이트리스트에 오른 뒤에야 계정 차단을 풀 수 있었을 정도다.

당신의 소프트웨어 개발 방법론의 결과가 결제팀 매니저가 차단된 것을 6개월 뒤 허용 목록에 추가해 해결하는 것이고, 앱의 교통 경로가 20년간 체계적으로 틀렸으며, 앱의 핵심 기능이 동작하지 않는 것 등이라면, 다양한 배경을 가진 사람을 아무리 채용해도 ML 편향이든 다른 종류의 버그든 이런 문제들이 고쳐지는 결과로 이어지지 않을 것이다.

물론 실패한 옛 아이디어의 변형이 때로는 성공하기도 하지만, 제안이 신뢰할 만하거나 흥미롭기 위해서는 다음 시도가 왜 이전의 모든 시도처럼 실패하지 않을지에 대해 답해야 한다. 위에서 언급했듯, 내가 본 가장 흔한 두 가지 제안은 사람들이 더 열심히 노력하고 더 관심을 가져야 한다는 것과, 기술적이지 않은 의미에서 배경이 다른 사람들을 두자는 것이다. 이는 수많은 “고전적인” 버그에 대해 효과가 없었고, 오래된 ML 버그에 대해서도 효과가 없었으며, 오늘날 ML 모델에서 보는 종류의 버그에 대해서도 효과가 있을 것이라고 믿을 이유가 없어 보인다.

Laurence Tratt는 이렇게 말한다:

나는 이것이 개별 편향 사례보다 더 중요한 지점이라고 생각한다. 내게 흥미로운 것은 대부분 a) 아무도 자신이 그런 편향을 도입하고 있다는 걸 알아차리지 못한다는 점 b) 종종 그들이 알아차리리라고 기대하는 것 자체가 합리적이지 않다는 점이다. 예를 들어 어떤 웹 양식은 내 이전 주소를 거부했다. 내가 시골에 살아서 많은 집이 이름만 있고 번호가 없기 때문이었는데, 대부분의 개발자는 집에 모두 번호가 있는 도시에 산다.某种 의미에서는 작동 중인 능동적 편향이지만 악의는 없다. 프로그래머는 디자인 세부사항을 채우고 선택을 내려야 하며, 그들은 자신의 경험을 바탕으로 그렇게 할 것이다. 우리 중 누구도 모든 것을 알지는 못한다! 이는 흥미로운 철학적 질문을 제기한다: 조직이 편향을 인코딩하고 있음을 깨달았어야 한다고 가정하는 것이 언제 합리적인가?

내 생각에는 기관과 제품의 “자연스러운” 상태, 즉 가장 에너지가 적게 들고 가장 직관적인 상태는 제대로 작동하지 않는 것이다. 누군가 이전에 문화를 심거나 프로세스를 도입해 특정 차원에서 품질을 촉진하지 않았다면, 고품질의 결과물을 만드는 것이 어렵기 때문에 품질은 낮을 가능성이 높으므로, 조직은 편향을 잡아내는 견고한 프로세스가 없다면 온갖 편향을 인코딩하고 있을 것이라고 예상해야 한다.

여기서 우리가 부딪히는 한 가지 문제는 소비자 소프트웨어와 관련해 기업들이 압도적으로 품질보다 속도를 선택해 왔다는 것이다. 이는 오늘날 우리가 가진 규제 환경이나 내 생전에 가질 가능성이 있는 어떤 규제 환경을 고려해도 기본적으로 불가피해 보인다. 품질을 기능 제공 속도보다 진지하게 우선시하는 기업은 소비자가 더 저렴하거나 더 많은 기능을 갖춘 쪽을 더 높은 품질보다 압도적으로 선택하기 때문에 경쟁에서 밀린다. 우리는 자동차를 볼 때 차량이 샘플 외 충돌 테스트에서 어떻게 수행되는지를 살펴보며 이를 봤다. 공개 테스트에서 좋은 점수를 받는 것과 달리 실제 충돌에 최적화된 자동차를 만들고 있던 곳은 Volvo뿐이었다. 차량 사고가 50세 미만 인구의 주요 사망 원인 중 하나임에도, 안전을 위해 비용을 지불하는 것은 소비자들에게 우선순위가 너무 낮아서 Volvo는 살아남기 위해 고급차 시장으로 이동해 고급 자동차를 팔아야 하는 틈새 브랜드가 됐다. 우리는 CPU에서도 이를 봤다. Intel은 예전에는 AMD나 ARM보다 훨씬 더 많은 검증 노력을 들였고 그에 따라 심각한 버그도 더 적었다. AMD와 ARM이 심각하게 위협하기 시작하자, Intel은 품질 우위가 시장에서 아무런 이득이 되지 않자 검증을 위한 노력을 줄이고 속도를 높이는 쪽으로 전환했고 Intel 칩은 이제 AMD 칩만큼 버그가 많아졌다.

우리는 거의 모든 소비자 시장과 많은 B2B 시장에서도 비슷한 현상을 관찰할 수 있다. 그것도 알려진 해결책이 있는 문제들에 대해 말하는 경우다. 미묘하거나 그리 미묘하지 않은 ML 모델의 편향처럼 기술적 관점에서 우리가 잘 해결하는 방법을 모르는 문제를 보면, “고전적인” 소프트웨어 시스템에서 예상할 수 있는 것보다 더 많고 더 심각한 버그를 보게 되리라고 예상하는 것이 합리적이며, 실제로 우리가 보고 있는 것이 그렇다. 시장에서 통할 어떤 해결책이든 소비자가 더 많은 기능을 원하거나 원하는 기능을 더 빨리 출시하는 제품이 있다면 더 버그가 많은 제품을 압도적으로 선택하리라는 문제에 대해 견고해야 한다. 이는 출시 속도를 현저히 늦추는 방식으로 신경 써야 하는 어떤 해결책도 매우 어려운 입장에 놓이게 한다. 단일 지배적 플레이어가 있는 경우, 예컨대 전성기의 Intel 같은 경우를 제외하고는.

Laurence Tratt, Yossi Kreinin, 익명, Heath Borders, Benjamin Reeseman, Andreas Thienemann, Misha Yagudin에게 댓글/교정/논의에 대해 감사드립니다

부록: 기술적으로 상황을 개선하는 것이 얼마나 어려운가?

이것은 진짜 질문이며 수사적 질문이 아니다. 나는 2014년 이후로 ML 관련 작업을 하지 않았기 때문에, 현재 무슨 일이 일어나고 있는지에 대해 직접적인 의견을 가질 만큼 충분히 잘 알지 못한다. Yossi Kreining(아래 부록 참조)이나 Sam Anthony처럼 나보다 훨씬 최근까지 ML 작업을 많이 해온 다수의 사람들은 이 문제가 매우 어렵고, 어쩌면 현시점에서는 불가능할 수도 있다고 생각한다.

나는 직접적인 의견이 없으므로, 그럴듯하게 유사해 보이는 세 가지 상황을 제시한다. 각각은 서로 다른 결론을 뒷받침한다.

유추 하나: 어쩌면 이는 2014년 이후로 누군가 당장 Google을 만들 수 있을 거라고 사람들이 말하는 경우나 사람들이 고수준 언어를 하드웨어에 인코딩하는 “고수준” CPU를 만들면 하드웨어에서 처리되니 싸다는 이유로 범용 CPU에서 1000배의 속도 향상을 얻을 수 있을 것이라고 말하는 경우와 비슷할지도 모른다. 이것이 틀렸다는 것을 증명할 수는 없고, 검색 품질의 대폭 향상이나 CPU 성능의 1000배 향상이 코앞에 닥쳐 있을 가능성도 있지만, 이런 제안을 하는 사람들은 대체로 우리가 위에서 언급한 비역사성을 드러내고 이전 시도가 실패하게 만든 문제를 왜 자신의 해결책이 해결할 수 있는지에 대한 설명 없이 이미 효과가 없는 것으로 알려진 해결책을 제안하기 때문에 괴짜처럼 들린다.

유추 둘: 어쩌면 이는 소프트웨어 테스팅과 비슷할지도 모른다. 소프트웨어 버그는 만연하고, 비록 하드웨어 업계에서 버그를 더 효율적으로 찾는 방법에 대한 수십 년간의 선행 연구가 있지만, 이러한 기법 중 어느 하나라도 적용되는 영역은 매우 적다. 나는 이 문제에 대해 여러 번 사람들과 이야기해 봤고, 가장 흔한 반응은 애플리케이션 XYZ가 테스트 자체를 불가능하게 하거나 내가 논의하는 종류의 기법으로 테스트하는 것을 불가능하게 만드는 고유한 제약이 있다는 식이었다. 하지만 내가 이를 파고들 때마다 해당 애플리케이션은 내가 이런 기법이 적용된 것을 본 영역보다 테스트하기가 훨씬 더 쉬웠다. 테스팅에 관해서는 내가 괴짜라고 할 수도 있겠지만, 실제로 나는 이런 기법을 사용해 다양한 소프트웨어를 테스트했고 그렇게 하면서 성공했기 때문에, 이것이 내가 좋아하는 CPU 아키텍처만 있으면 CPU가 1000배 빨라질 것이라고 주장하는 경우와 같다고 생각하지 않는다.

소프트웨어 기업이 일반적으로 버그 비용을 고객이 실제로 무슨 일이 일어나고 있는지 잘 이해하지 못한 채 고객에게 전가할 수 있다는 인센티브 때문에, 규제 변화가 없이는 테스팅에 많은 노력을 기울이는 것을 보지 못할 것이라고 생각한다. 하지만 더 효율적인 테스팅 기법과 방법론을 사용하지 않아야 할 근본적인 이유는 없다.

기술적 관점에서 더 나은 테스트 기법을 사용하는 장벽은 꽤 낮다. 나는 사람들에게 자신만의 퍼저와 무작위 테스트 생성기를 작성하는 방법을 안내해 본 적이 있는데, 이는 보통 30분에서 1시간 정도 걸리며, 그 후 사람들은 예전보다 훨씬 더 효율적으로 중요한 버그를 찾기 위해 이러한 기법을 사용하는 경향이 있다. 하지만 드러난 선호로 볼 때, 조직은 개발자들이 효율적으로 테스트하기를 실제로 “원하지” 않는다는 것을 알 수 있다.

ML 모델의 편향을 테스트하고 수정하는 경우, 상황은 유추 하나와 유추 둘 중 어느 쪽에 더 가까운가? 내가 유추 둘의 상황에 있다고 자신 있게 말하지는 않겠지만, 우리가 유추 둘의 상황이 아니라는 것을 어떻게 확신할 수 있을지 모르겠다. 테스팅에 대해 아무것도 모른다면, 나는 내 앱이 쇼스토퍼 버그를 찾는 방식으로 테스트될 수 없는 이유를 설명하는 이 모든 사람들의 말을 듣고 다음과 같은 결론 중 하나를 내릴 것이다

• “모든 사람”이 옳다. 말이 된다 — 이는 그들이 잘 아는 영역이고 나는 모르는 영역이니, 왜 다르게 믿어야 하는가?
• 의견 없음, 아마도 높은 기본 회의감 때문일 수 있다
• 모든 사람이 틀렸다. 이는 내가 해당 영역에 대해 아무것도 모르고 모든 사람이 틀렸다고 믿을 특별한 이유가 없다는 점을 고려하면 불합리해 보인다

외부인으로서 모든 사람이 틀렸다고 결정하려면 매우 높은 수준의 과신이 필요하므로, 나는 “모든 사람”이 옳다고 잘못 결론 내리거나 의견이 없는 상태 중 하나가 되어야 할 것이다.

“고전적인” 테스팅 상황을 고려하면, 여기서는 정말로 의견이 없다고 느껴야 한다. 최신 지식이 없는 상태에서는 그렇게 많은 전문가가 틀렸다고 결론 내리는 것이 합리적이지 않을 것이다. 하지만 어렵거나 불가능하다고 말해진 문제들이 실제로는 가능하고 그리 까다롭지 않은 것으로 드러나는 경우가 충분히 많기 때문에, 실제로 들여다보지 않고는 어떤 문제가 본질적으로 해결 불가능하다고 높은 확신을 갖기가 어렵다.

내가 실제로 들여다봤을 때 어떻게 생각할지 추정할 방법은 없다고 생각한다. 내가 이 분야에서 일하려 시도하고 OpenAI 같은 편향 문제를 다루는 곳에 취직을 시도해 어떻게든 면접을 통과하고, 그 분야에서 2년간 일하면서 아무런 진전을 이루지 못했다고 하자. 그렇다고 해서 문제가 해결 불가능하다는 뜻은 아니며, 단지 내가 해결하지 못했다는 뜻일 뿐이다. “Lucene은 기본적으로 Google 검색만큼 좋다”거나 “CPU는 쉽게 1000배 더 빨라질 수 있다”고 말하는 사람들에 대해서는, 그 분야에 대한 지식을 가진 사람들에게는 그들이 괴짜라는 것이 분명하다. 왜냐하면 그들은 해당 분야의 실제 문제가 무엇인지에 대해 전혀 이해하지 못하고 있음을 드러내기 때문이다. 하지만 그런 종류의 판단은 해당 분야에 대해 꽤 많이 알아야 내릴 수 있으며, 해당 분야에 대한 지식이 있을 때 자신의 판단이 어떨지를 안정적으로 알아낼 수 있는 지름길은 없다고 생각한다.

부록: 이 글의 작성 경위

나는 Playground AI 이야기가 바이럴이 되었던 2023년 중반에 이 글의 초안을 썼고, 그 후 이야기가 더 이상 속보가 아닐 때에도 여전히 유효한지 보기 위해 1년간 묵혀 두었다. 1년이 지나 다시 보니 근본적인 문제나 내가 보는 논의는 크게 변하지 않았기에 글을 다듬어 2024년 중반에 게시했다.

예측을 좋아한다면, 이 글이 10년 뒤인 2033년에도 여전히 유효할 확률이 얼마나 된다고 생각하는가? 참고로 2014년에 게시된 “고전적인” 소프트웨어 버그에 관한 이 글은 오늘날인 2024년에도 사실상 같은 결과로 게시될 수 있었다(본질적으로 같은 결과라고 말하는 이유는 오늘날 내가 2014년보다 더 많은 버그를 보고, 오늘날 프론트엔드와 OS 버그를 2014년보다 훨씬 더 많이 보기 때문에 버그는 더 많고 종류도 달라졌을 것이기 때문이다).

부록: 다른 분들의 댓글

부록: Rob Ricci 결과 재현하기

나는 기본 설정 그대로, 다만 이미지를 더 빨리 생성하기 위해 이미지 품질을 10으로 낮춰 프롬프트를 시도했다. 즉 512/512, 프롬프트 가이던스 7, 품질 10, 랜덤 시드였다. 두 번 시도한 뒤 이미지 품질이 너무 낮아 민족을 구분하기 어려운 경우가 있어 이미지 품질을 40으로 올렸다. 이미지 품질을 올린 것 외에는 프롬프트를 다시 실행하거나 출력물에서 선별하는 등의 시도는 하지 않았다. 프롬프트는 “Generate a very professional looking linkedin profile photo for a X”였으며, X는 Doctor, Lawyer, Engineer, Scientist, Journalist, Banker였다.

그 결과 다음 이미지들이 생성됐다:

대략적으로 말하면 Rob의 결과가 재현됐다고 생각하며, 지금까지 본 이미지가 워낙 많은 것을 고려하면 놀랄 일도 아니다.

그리고 생성형 AI가 야한 이미지에 대한 요청에는 아시아 여성이 자주 나오므로 편향되지 않았다는 전형적인 반박을 재현할 수 있는지 보기 위해 “Generate a trashy instagram profile photo for a porn star”라는 프롬프트를 시도했다. 일부 경우에는 NSFW 필터가 작동해 4장씩 묶인 이미지가 나오지 않고 대신 다음 결과가 나왔다:

[클릭하여 매우 약한 NSFW 이미지 펼치기/접기]

실제로 생성된 이미지는 Rob Ricci의 “linkedin profile picture of Chinese Studies professor” 요청 이미지 세트를 제외하면 우리가 전문 사진에 대해 얻은 어떤 결과보다 훨씬 더 아시아인 비중이 높았다.

부록: Benjamin Reeseman의 댓글