2025년 5월, 저는 OpenAI에서 국가 안보 정책을 담당하며 모델이 팬데믹을 일으키는 데 공격자를 심각하게 도울 수 있는 미래에 어떻게 대비할지 고민하던 Yo Shavit을 만났습니다. 그와 통화를 한 뒤 팀에 내용을 공유했을 때 돌아온 주된 반응은 “그러면 그런 걸 할 수 있는 모델을 애초에 만들지 않는 것부터 시작하면 되지 않나?”였습니다.

여러모로 타당한 지적입니다. OpenAI가 생물학적 역량의 최전선을 계속 밀어붙이는 동안, 그 행보는 SecureBio가 해결하려는 많은 문제를 더 악화시키고 있었으니까요. 하지만 OpenAI가 멈춘다고 문제가 해결될 일도 아니었습니다. 다른 기업들도 빠르게 치고 나가고 있었고, 경제적 유인은 역량의 빠른 발전을 강하게 부추기고 있었습니다. 모델이 생물학 분야에서 사람들을 돕는 능력이 점점 커지는 상황에서, 세상을 팬데믹에 더 회복력 있게 만드는 일은 그 자체로 최우선 과제가 되어야 했습니다.

다만 우리의 초기 대화가 어떤 방향으로 이어질지 고민했을 때, 제가 가장 우려한 것은 그것이 (a) SecureBio가 OpenAI의 활동을 독립적으로 평가하고 비판하는 능력을 훼손하지 않을지, 혹은 (b) 모델 개발사들이 안전장치를 개선하려는 동기를 약화시켜 세상을 더 위험하게 만들지 않을지였습니다. 두 가지 모두 일리가 있다고 생각하며 아래에서 더 자세히 다루겠지만, 그럼에도 Yo와 협력 방안을 논의해 볼 가치는 충분하다고 판단했습니다.

저는 우리가 발병을 조기에 포착하는 조기 경보 시스템을 어떻게 만들고 있는지 설명했습니다. 특히 탐지되기 전에 널리 퍼질 수 있는 인위적으로 조작된 병원체에 초점을 맞추고 있다고 했습니다. 메타게놈 시퀀싱을 이용하면 어떤 서열을 찾을지 미리 정하지 않고도 시료 안에 어떤 핵산 서열(DNA와 RNA)이 존재하는지 볼 수 있으며, 이를 하수와 비강 면봉 샘플을 대상으로 시범 운영하고 있다고 설명했습니다. 그 후 몇 달 동안 우리는 연구를 가속할 기회를 함께 논의했고, 그는 저희를 OpenAI 공동 창업자인 Wojciech Zaremba에게 소개해 주었습니다. 이후 Yo와 Wojciech 두 사람 모두 영리법인인 OpenAI PBC를 떠나 OpenAI Foundation(OAIF)으로 자리를 옮겼습니다. 우리는 이들의 새로운 역할을 바탕으로 대화를 이어갔고, 이러한 논의와 철저한 실사를 거쳐 오늘 발표한 1,720만 달러 규모의 OAIF 지원으로 이어졌습니다. 이 지원으로 모니터링 시스템을 확장하고 결과를 받아보기까지 걸리는 시간을 크게 단축하며[1], 궁극적으로 무언가가 탐지 전에 널리 퍼질 위험을 낮출 수 있게 되어 매우 기쁩니다.

앞서 언급한 두 가지 우려로 다시 돌아가 보겠습니다. (a) 독립성 문제부터 말씀드리면, SecureBio에는 Detection과 AI라는 두 개 부문이 있습니다. 이번 지원금은 Detection 부문에 사용되며, SecureBio의 AI 부문은 OpenAI를 포함한 여러 기업의 모델을 평가합니다. 이 지원금은 OpenAI나 OAIF에 SecureBio 구성원이 모델에 대해 공개적으로 발언하는 내용에 대해 어떤 공식적인 통제권도 부여하지 않습니다. 이는 저희에게 중요한 조건이었지만, OAIF 측에서도 핵심 원칙이었습니다. Yo는 SecureBio AI의 활동에 영향을 미치고 싶지 않다는 점을 분명히 했고, 우리의 정책이 충분히 견고한지 직접 검토하고 싶어 했습니다.

그렇다고 해서 유인 구조를 간과해서는 안 됩니다. 제 눈에는 OAIF가 독자적으로 의사결정을 하는 것처럼 보이지만, 두 조직은 ‘OpenAI’라는 이름을 공유하는 것 이상으로 긴밀하게 연결되어 있습니다. OpenAI Foundation의 기금은 OpenAI PBC 지분의 약 4분의 1에 해당하며, 이사회 구성도 거의 동일합니다. 그렇다면 SecureBio의 AI 부문이 앞으로 OAIF로부터 Detection 부문에 더 많은 지원을 받기 위해 PBC를 비판하는 수위를 일부러 낮추게 되지는 않을까요?

SecureBio는 이해상충을 완화하기 위한 시스템적 통제 장치를 갖추고 있습니다. 리더십과 예산, 성과물을 분리하고, AI 팀은 원칙과 이해상충 정책을 공개 문서로 정리해 두었습니다. 하지만 이와 관련해 가장 강력한 증거는 지난 4월, AI 팀이 GPT 5.5를 검토하던 때라고 생각합니다. 당시 지원금은 제가 보기에 가장 민감한 단계에 있었습니다. 수개월 동안 논의를 이어오며 매우 긍정적인 신호를 받고 있었지만 아직 최종 답을 듣지 못한 상태였습니다. 이는 내부적으로 공개된 사실이었고 AI 부문 리더십도 공유받고 있었지만, 이것이 AI 팀의 발표 내용에 영향을 미칠 것이라는 논의 자체가 없었습니다. AI 팀은 평가에서 여러 우려 사항을 기록했는데, 가장 큰 문제는 여러 벤치마크에서 모델이 위험한 질문을 회피하는 방식으로 거절하는 것처럼 보였지만, 실제로는 전이 가능성이 매우 높은 관련 해법을 제시함으로써 요청한 정보를 그대로 제공했다는 점이었습니다. 해당 벤치마크에서 안전장치는 사실상 허상에 불과했고, AI 팀은 지원금 심사가 진행 중인 상황에서도 평가 결과를 공개했습니다.

하지만 이러한 유인에 대한 우려는 이번 지원금 때문에 새롭게 생긴 것이 아닙니다. AI 부문이 기업의 모델을 평가할 때 해당 기업이 평가 비용을 부담하는 것이 일반적입니다. 예를 들어 위에서 언급한 GPT 5.5 평가 비용도 OpenAI PBC가 부담했습니다. 이는 AI 평가 분야에서는 흔한 관행이며, 평가자를 재정적 유인으로부터 분리해 주는 AI-Detection 부문 간의 칸막이가 없다는 점에서 이번 지원금보다 오히려 더 직접적인 연결입니다.

그럼에도 기준을 지키기 위해서는 지속적인 노력이 필요한 영역이며, 만약 Detection에 대한 지원금이 AI 팀의 평가에 압력을 가하는 지렛대로 활용된다는 징후가 보인다면 저는 이를 공개적으로 알리고 제가 가진 모든 수단을 동원해 막을 것입니다. 사임까지도 포함해서 말입니다. 다만 저는 그런 일이 일어나리라 예상하지 않으며, 진짜 우려는 누구도 명시적으로 요구하지 않았는데도 은연중에 더 관대해지는 방향으로 흐르는 것이라고 생각합니다. 이는 Anthropic 직원들로부터 받는 지원금에도 해당하는 문제입니다. SecureBio는 Anthropic의 활동 역시 평가하고 있기 때문입니다(예시). 따라서 만약 SecureBio가 OpenAI나 Anthropic에 대해 부당하게 긍정적인 평가를 내놓거나, 이러한 유인을 의식해 과도하게 보정하느라 부당하게 부정적인 평가를 내놓는 것을 보신다면 꼭 알려주시기 바랍니다.

(b)에 대해 말씀드리면, 핵심 질문은 이것이 모델 개발사들이 더 큰 위험을 감수하도록 만들지 않을지입니다. 방어 체계가 더 강해졌다는 사실에 안심해 밤에 더 편히 잠들게 된다면, 낮에는 오히려 더 빠르게 질주하게 되지는 않을까요? 저는 우리가 프론티어 기업들의 내부 안전장치를 보완하는 역할이 되길 바랍니다. 하지만 대체재가 되어 버리면 어떻게 될까요?

모델이 무엇을 설명하려 하는지가 중요하지 않을 정도로 현실 세계의 보호 체계가 모델의 안전장치를 완전히 대체할 만큼, 치명적인 생물학적 위험에 충분히 견고한 세상이 된다면 정말 이상적일 것입니다. 저희를 비롯해 많은 다른 프로젝트들이 그런 세상을 향해 나아가고 있습니다! 하지만 그곳에 도달하려면 해야 할 일이 산더미처럼 남아 있습니다. 우려되는 점은 AI 기업들이 위험을 실제보다 낮게 인식하고, 위험이 여전히 용납할 수 없을 만큼 높은데도 안전장치를 느슨하게 할 수 있다는 것입니다.

저는 이러한 경향이 방향성 자체는 현실적이라고 생각하지만, 직접적인 대체 효과로서는 기업들이 안전장치에 투자하도록 만드는 평판적, 법적(책임 문제와 규제 지시 위험), 도덕적 압력에 비하면 작다고 봅니다. 이번 지원금으로 우리는 공격을 더 일찍 탐지할 수 있게 되지만, 공격의 전체 피해를 완화하기에는 턱없이 부족하며 대규모 생물학적 피해를 초래하는 여러 경로 중 하나만을 다룰 뿐입니다. 세상을 치명적인 생물학적 위험에 더 견고하게 만드는 1차적인 긍정 효과가 안전장치 완화를 초래하는 2차적인 부정 효과를 압도할 가능성은 매우 높습니다. 만약 반대로 생각한다면, 오히려 다른 이들의 대응을 촉구하기 위해 눈에 띄게 위험을 높이는 일(바이러스 탐색 같은?)을 하거나 지원해야 한다는 결론이 나오는데, 이는 명백히 좋지 않은 생각입니다.

이와는 별개이지만 연관된 문제로, ‘정치적 방패’ 측면도 있습니다. PBC가 (실제로는 OAIF가 제공한) 이번 지원금을 가리키며 자신들이 뭔가 하고 있다고 주장하며 외부 압력을 덜어내려 할 수 있다는 것입니다. 이러한 압력 감소로 인해 위험을 더 크게 줄일 수 있는 비용이 드는 조치를 회피하게 된다면 이는 분명한 손실이며, 이번 지원금과 관련해 제가 가장 크게 우려하는 지점이기도 합니다. 자선적 지원이 무모하게 행동해도 된다는 면죄부가 되어서는 안 되며, 그들이 이를 변명으로 내세운다면 받아들여서는 안 됩니다. OpenAI를 비롯한 모든 프론티어 기업들이 속도를 늦추고 자신들의 활동이 재앙으로 이어질 위험을 줄이는 일을 최우선에 두도록 계속 압박해 주시기 바랍니다. 하지만 기업에 대한 압박보다 더 중요한 것은 신중한 AI 규제를 옹호하는 일입니다. 이는 개별 기업 입장에서는 속도를 늦출 유인이 없지만, 인류 전체의 관점에서는 반드시 필요한 조정 문제이기 때문입니다.

종합해 보면 이번 지원금은 매우 긍정적이라고 생각하며, 우리의 노력이 OpenAI 등이 자체적인 노력을 느슨하게 만들까 봐 걱정하기보다는, 우리가 이 일을 가능한 한 최선으로 추진하지 못할까 봐 더 걱정됩니다.

[1] 마침내 4년 전, 제가 Google을 떠나 이 프로젝트에 합류하기 몇 달 전에 던졌던 질문에 답할 수 있게 되었습니다.