2025년 5월 당시 OpenAI에서 국가 안보 정책을 담당하며 모델이 팬데믹을 일으킬 병원체 제작을 심각하게 도울 수 있는 미래에 대비하는 방안을 고민하던 Yo Shavit을 만났다. 그와 통화를 한 뒤 팀에 내용을 공유했더니 돌아온 주된 반응은 “그럼 그런 걸 할 수 있는 모델을 만들지 않는 것부터 시작하면 안 되나?”라는 것이었다.

여러 면에서 타당한 지적이다. 생물학적 역량을 계속 최전선에서 끌어올리면서 OpenAI의 행보는 SecureBio가 해결하려는 많은 문제를 오히려 악화시키고 있었기 때문이다. 하지만 OpenAI가 멈춘다고 문제가 해결될 일도 아니었다. 다른 기업들도 빠르게 치고 나가고 있었고, 경제적 인센티브는 역량 향상을 빠르게 추진하는 쪽으로 강하게 기울어져 있었다. 세계를 팬데믹에 더 회복력 있게 만드는 일은 그와 관계없이 최우선 과제가 되어야 했고, 특히 모델이 생물학 분야에서 사람을 돕는 능력이 점점 커지고 있는 상황에서는 더욱 그랬다.

다만 그 초기 대화가 어디로 이어질지 고민했을 때, 내가 가장 우려한 것은 그것이 (a) SecureBio가 OpenAI의 활동을 독립적으로 평가하고 비판하는 능력을 훼손하거나 (b) 모델 개발사들이 안전장치를 개선하려는 동기를 약화시켜 세상을 더 위험하게 만들지 않을까 하는 점이었다. 두 우려 모두 일리가 있다고 생각하며 아래에서 더 자세히 다루겠지만, Yo와 협력 방안을 논의해 볼 가치는 충분히 있다고 판단했다.

나는 우리가 발병을 조기에 포착하기 위한 조기 경보 시스템을 구축하고 있으며, 특히 탐지 전에 넓게 퍼질 수 있는 인위적으로 조작된 병원체에 초점을 맞추고 있다고 설명했다. 메타게놈 시퀀싱이 어떻게 미리 찾을 서열을 정하지 않고도 샘플 안에 어떤 핵산 서열(DNA와 RNA)이 존재하는지 볼 수 있게 해주는지, 그리고 우리가 이를 하수와 코 면봉을 대상으로 시범 운영하고 있다고 설명했다. 그 후 몇 달 동안 우리는 연구를 가속할 기회를 함께 논의했고, 그는 우리를 OpenAI 공동창업자인 Wojciech Zaremba에게 소개해 주었다. 그리고 Yo와 Wojciech 두 사람 모두 영리 법인인 OpenAI PBC를 떠나 OpenAI Foundation(OAIF)으로 자리를 옮겼다. 우리는 이들의 새로운 역할에서 대화를 이어갔고, 이러한 논의와 면밀한 실사를 거쳐 오늘 발표한 1720만 달러 규모의 OAIF 지원금이 성사되었다. 이 지원금이 우리의 모니터링 시스템을 확장하고, 처리 시간을 대폭 단축하며[1], 무언가가 탐지 전에 널리 퍼질 위험을 전반적으로 줄일 수 있게 해줄 것이라는 점에 큰 기대를 걸고 있다.

다시 앞에서 언급한 두 가지 우려로 돌아가 보자. (a) 독립성 문제와 관련해, SecureBio는 Detection(탐지)과 AI라는 두 개 부서로 나뉘어 있다. 이번 지원금은 Detection 부서에 지원되며, SecureBio의 AI 쪽은 OpenAI를 포함한 여러 기업의 모델을 평가한다. 이 지원금이 OpenAI나 OAIF에게 SecureBio 구성원이 모델에 대해 공개적으로 무엇을 말할 수 있는지에 대한 공식적인 통제권을 부여하지는 않는다. 이 점은 우리에게 중요했지만, OAIF에게도 핵심적인 사안이었다. Yo는 SecureBio AI의 활동에 영향을 미치고 싶지 않다는 점을 매우 분명히 했고, 우리의 정책이 충분히 견고한지 검토하고 싶어 했다.

그렇다고 해도 인센티브 문제는 주의 깊게 봐야 한다. 내 눈에는 OAIF가 독자적으로 결정을 내리는 것처럼 보이지만, 두 조직은 단순히 “OpenAI”라는 이름을 공유하는 것을 넘어 밀접하게 연결되어 있다. OpenAI Foundation의 기금은 OpenAI PBC 지분의 약 1/4이며, 두 조직의 이사회 구성도 거의 동일하다. SecureBio의 AI 쪽이 OAIF가 앞으로 Detection에 더 많은 지원을 할 가능성을 높이기 위해 PBC에 대한 비판의 수위를 조절하지 않을까?

SecureBio는 이해충돌을 완화하기 위한 시스템적 장치를 갖추고 있다. 리더십과 예산, 성과물을 분리해 운영하고 있으며, AI 팀은 자신들의 원칙과 이해충돌 정책에 대한 공개 문서를 작성해 두었다. 하지만 이와 관련해 가장 강력한 증거는 지난 4월 AI 팀이 GPT 5.5를 검토했을 때라고 생각한다. 당시 지원금은 내가 보기에 가장 민감한 단계에 있었다. 수개월 동안 작업을 해왔고 매우 긍정적인 신호를 받고 있었지만, 아직 확정 답변을 받지 못한 상태였다. 이는 내부적으로 공개된 사실이었고 AI 리더십도 공유받고 있었지만, 이것이 AI 팀의 발표 내용에 영향을 미친다는 이야기는 전혀 나오지 않았고, AI 팀은 평가 보고서에서 다양한 우려 사항을 기록했다. 가장 큰 문제는 여러 벤치마크에서 모델이 위험한 질문에 대해 얼핏 회피하며 거부하는 것처럼 보이지만, 실제로는 전이 가능성이 높은 연관된 해결책을 제시함으로써 요청된 정보를 계속 제공했다는 점이었다. 이들 벤치마크에서 안전장치는 사실상 허상에 불과했고, AI 팀은 지원금이 계류 중인 상태에서 평가 결과를 공개했다.

하지만 이러한 인센티브에 대한 우려는 이번 지원금으로 처음 생긴 것이 아니다. AI 쪽에서 기업의 모델을 평가할 때 통상 해당 기업이 평가 비용을 부담한다. 예컨대 위에서 언급한 GPT 5.5 평가의 경우 OpenAI PBC가 SecureBio의 비용을 부담했다. 이는 AI 평가 분야에서 흔한 관행이며, 평가자를 재정적 인센티브로부터 분리해 주는 AI-Detection 부서 간 칸막이가 없다는 점에서 이번 지원금보다 오히려 더 직접적인 연결이다.

그럼에도 이는 기준을 지키기 위해 지속적인 노력이 필요한 영역이며, Detection에 대한 지원금이 우리 AI 팀의 평가에 압력을 가하는 지렛대로 쓰이고 있다는 징후가 보인다면 나는 이를 공개적으로 알리고 내가 가진 모든 수단을 동원해 막을 것이다(필요하다면 사임을 포함해서). 하지만 그런 일이 일어날 것이라고 예상하지는 않으며, 진짜 우려는 누구도 명시적으로 무엇을 요구하지 않았는데도 미묘하게 더 관대해지는 쪽으로 흘러가는 것이라고 생각한다. 이는 Anthropic 직원들로부터 받는 지원금에서도 마찬가지 우려인데, SecureBio가 Anthropic의 활동 역시 평가하기 때문이다(예시). 따라서 SecureBio가 OpenAI나 Anthropic에 대해 부당하게 긍정적인 내용을 내놓거나, 이러한 인센티브를 의식해 과도하게 보정하느라 부당하게 부정적으로 평가하는 것을 보게 된다면 꼭 알려주기 바란다.

(b)와 관련해서는, 이것이 모델 개발사들이 더 큰 위험을 감수하도록 만들지 않을까 하는 문제다. 우리가 방어를 강화해 그들이 밤에 더 편히 잘 수 있게 해주면, 낮에는 오히려 더 빠르게 앞으로 나아가지 않을까? 나는 우리가 프론티어 기업들의 내부 안전장치를 보완하는 존재가 되기를 바라지만, 대체재가 되어버리면 어쩌나 하는 것이다.

모델이 무엇을 설명하려 하든 현실 세계의 보호 체계가 모델 안전장치를 완전히 대체할 수 있어 치명적인 바이오 위험에 충분히 견고한 세상은 정말 이상적인 곳일 것이다. 우리와 많은 다른 프로젝트들이 그런 세상을 향해 나아가고 있다! 하지만 그곳에 도달하려면 해야 할 일이 산더미다. 우려되는 점은 AI 기업들이 위험을 더 낮게 인식하고, 위험이 여전히 용인할 수 없는 수준인데도 안전장치를 느슨하게 할 수 있다는 것이다.

이러한 흐름 자체는 실제한다고 생각하지만, 직접적인 대체재로서는 기업이 안전장치에 투자하도록 압박하는 평판적, 법적(책임 문제와 규제 지시 위험), 도덕적 요인에 비하면 작은 영향이다. 이번 지원금은 우리가 공격을 더 일찍 포착할 수 있게 해주겠지만, 공격의 전체 영향을 완화하는 데는 턱없이 부족하고 대규모 생물학적 피해를 낳을 수 있는 여러 경로 중 하나만을 다룰 뿐이다. 세계를 치명적인 바이오 위험에 더 견고하게 만드는 1차적인 긍정적 효과는 안전장치를 약화시키는 2차적인 효과를 충분히 압도할 가능성이 매우 높다. 만약 반대로 생각한다면, 다른 이들이 더 적극적으로 나서도록 동기를 부여하기 위해 오히려 눈에 띄게 위험을 높이는 일(바이러스 수색 같은?)을 하거나 지원해야 한다는 결론이 나오는데, 이는 명백히 끔찍한 생각이다.

이와는 별개이면서도 관련된 문제로, “정치적 방패” 측면도 있다. PBC가(비록 지원금이 OAIF에서 나온 것이라 해도) 이 지원금을 가리키며 자신들이 뭔가 하고 있다고 주장하며 외부 압력을 덜어내려 할 수 있다는 것이다. 이러한 압력 감소가 위험을 더 크게 줄일 수 있는 비용이 많이 드는 조치를 피하게 만든다면 이는 손실이며, 이번 지원금과 관련해 내가 가장 크게 우려하는 지점이기도 하다. 자선적 지원이 무모하게 행동해도 된다는 면죄부가 되어서는 안 되며, 그들이 이를 변명으로 내세운다면 받아들여서는 안 된다. OpenAI를 비롯한 모든 프론티어 기업들이 속도를 늦추고 자신들의 활동이 재앙으로 이어질 위험을 줄이는 것을 우선순위에 두도록 계속 압박해 주기 바란다. 하지만 기업에 대한 압박보다 더 중요한 것은 신중한 AI 규제에 대한 옹호다. 이는 개별 기업 입장에서는 속도를 늦출 유인이 없지만 인류 전체의 이익을 위해서는 필요한 조정 문제이기 때문이다.

종합적으로 볼 때 이번 지원금은 매우 긍정적이라고 생각하며, 우리의 노력이 OpenAI 등이 자체적인 노력을 느슨하게 만들까 봐 걱정하기보다는 우리가 이 일을 최선으로 추진하지 못할까 봐 더 걱정된다.

[1] 마침내 4년 전, Google을 떠나 이 프로젝트에 합류하기 몇 달 전에 내가 던졌던 질문에 답할 수 있게 되었다. Google을 떠나 이 프로젝트에 합류하기 전의 일이었다.