사진: JTMorkis via Pixabay

서론

약 일주일 전 Trevor Morris가 The Loss of Links Continues¹라는 글을 올렸고, 이에 대해 Naty S.²와 Michael Harley³가 각각 답글을 남겼다. 이 글들을 흥미롭게 읽었는데, Michael Harley가 자신의 블로그를 더 오래가게 만드는 방법에 대해 쓴 글⁴이나 링크를 공유하는 방식에 대한 글⁵ 등 다른 일련의 글들과도 연관이 있었기 때문이다. 그리고 내 사이트 중 하나에 임베드가 심각한 해를 끼쳤다는 내 글⁶도 있었다.

이 글들을 계기로 링크 로트라는 주제를 조금 더 파고들기 시작했다. 알고 보니 처음 생각했던 것보다 훨씬 범위가 넓은 주제였고, 더 깊이 이야기해 볼 가치가 있다고 느꼈다.

문제

혹시 이 주제가 낯선 독자를 위해 링크 로트를 간단히 정의하자면, 링크란 한 웹사이트에 있는 클릭 가능한 참조가 다른 정보를 가리키는 것이다. 그 정보는 같은 웹사이트 안에 있을 수도 있고(다른 글로 이동하거나 프로필을 불러오는 경우처럼), 다른 웹사이트에 있는 무언가를 가리킬 수도 있다(이 글의 미주에서 내가 링크한 모든 글처럼). 링크는 웹을 탐색하는 데 쓰이는 가장 근본적인 요소다.

링크 로트란 링크가 더 이상 작동하지 않는 현상을 말한다. 보통 “찾을 수 없음” 같은 오류 메시지를 보게 된다. 이 오류에는 숫자 코드로 알려진 여러 변형이 있다: 301, 302, 404가 그것이다. 오류의 원인은 다양하지만, 가장 흔한 원인은 다음과 같다:

• 작성자가 정보를 새로운 위치로 옮겼다.
• 작성자가 인터넷에서 정보를 삭제했다.

따라서 이 글에서 다루려는 것은 인터넷에서 정보가 옮겨지거나 삭제된 상황을 어떻게 처리할지에 대한 방법이다. 핵심은 우리가 제공할 수 있는 최선의 해결책을 찾는 것이다.

가장 흔한 시나리오

우리가 가장 흔히 마주하는 상황은 링크가 완전히 사라져 버린 경우다. 이럴 때 가장 간편한 대응 방법은 인터넷 아카이브(Internet Archive)의 웨이백 머신(Wayback Machine)⁷을 이용하는 것이다. 이 방법이 링크가 여전히 관련 있는 무언가를 가리키도록 하려는 시도이긴 하지만, 몇 가지 문제가 있다.

잘못된 스냅샷

이 접근 방식에서 내가 보는 첫 번째 문제는 링크 대상의 잘못된 스냅샷을 가져올 가능성이 크다는 점이다. 예를 들어 도메인이 탈취된 경우다. 해당 웹사이트의 가장 최근 스냅샷이 원래 의도했던 것과는 완전히 다른 내용일 수 있다.

또 다른 경우는 웹사이트가 기존 콘텐츠를 변경한 경우다. 웹사이트 소유자가 어떤 이유에서든 사이트 내용을 바꾸고 그대로 방치한 사례가 있다. 이 경우 웨이백 머신이 보관한 이미지는 변경된 내용일 가능성이 매우 높다.

이런 경우에도 스냅샷을 일일이 뒤져보면 (대부분) 의도했던 내용의 이미지를 찾을 수 있다. 하지만 이는 링크를 자동으로 업데이트하는 과정이 시간 정보를 더 정교하게 고려해야 함을 의미한다. 그럼에도 여전히 작성자의 글 맥락과 맞지 않는 사이트 이미지를 링크할 가능성은 남아 있다. 이를테면 대상 웹사이트가 대상 문서를 업데이트했는데(예: 기사에 정정 내용을 추가), 우리가 그 정정을 참조하는 글을 발행했다고 하자. 만약 웨이백 머신이 그 정정이 포함된 대상 기사의 이미지를 갖고 있지 않다면 어떻게 될까?

이는 단순히 업데이트된 링크를 제공하는 것을 넘어, 맥락 자체를 보존하는 방법을 더 깊이 연구할 필요가 있음을 시사한다.

접근성 문제

인터넷 아카이브는 찾기 어렵거나 사라질 위기에 처한 정보를 찾는 데 있어 인터넷에서 가장 훌륭한 도구 중 하나다. 하지만 그 정보에 접근하는 데 있어 항상 가장 접근성이 좋은 곳은 아니라는 점을 알아둘 필요가 있다. 안타깝게도 인터넷 아카이브에 대한 접근성 문제는 정치적인 이유가 개입되어 있다.

이 글을 쓰는 시점 기준으로 인터넷 아카이브는 5개국에서 차단된 것으로 알려져 있다⁸. 다만 그중 하나의 보고는 오류로 보이며, 2026년 4월 미국을 차단 국가로 포함하고 있다. 반면 미국에서는 접속 가능하다는 다른 목록도 있다. (그리고 나 자신은 인터넷 아카이브 접속에 문제가 없었지만, 물론 그렇다고 해서 특정 주 단위에서 차단되지 않았다는 의미는 아니다.)

단순한 사실은, 이 정보에 가장 접근이 필요한 국가일수록 오히려 인터넷 아카이브를 통해서는 접근할 수 없다는 것이다. 물론 국가 단위에서 인터넷의 일부를 적극적으로 차단하고 있다는 사실 자체는 우리가 직접 바꿀 수 있는 문제가 아니다.

하지만 원래 전 세계에서 접속 가능했을 출처를, 여러 지역에서 차단된 것으로 알려진 대상으로 링크를 바꿔야 하는 것은 이 문제에 대한 최적의 해결책이 아니다. 검열 필터에 걸리지 않으면서도 관련 정보를 제공하는 방법을 고민해야 한다.

단일 장애 지점 우려

언급하고 싶지 않은 이야기지만 꼭 짚어야 할 부분이 있다. 인터넷 아카이브는 운영 기간 동안 여러 차례 서비스 장애를 겪었다. 안타깝게도 이 장애들을 안정적으로 견뎌낼 만큼 충분한 이중화를 아키텍처가 갖추지 못한 것으로 보인다.

그렇다고 해서 그들이 보관 중인 정보 자체가 위험하다는 뜻은 아니다. 그들은 스토리지를 위한 백업 거점으로 상당히 성공적으로 기능해 온 코로케이션 시설을 갖추고 있다. 그리고 지난 10년간 저장 및 검색 기술도 크게 개선되었다. (예전에는 내가 아카이브해 둔 자료가 보이지 않아 저장 시스템을 뒤져 무엇이 고장 났는지 확인해야 했던 시절이 있었다. 그런 일은 몇 년째 겪지 않고 있다.)

하지만 전력과 네트워크 장애가 모두 서비스 가용성에 영향을 미치는 요인이었다는 것은 사실이다. 이는 새로운 문제가 아니다. 계속해서 우려되는 부분이다.

영속성

인터넷 아카이브는 보관하는 모든 정보를 영구히 제공하고자 한다. 이는 그들의 사이트에서 찾을 수 있는 아주 간단한 문장이다:

파일을 얼마나 오래 보관하나요? 아카이브로서 우리의 의도는 자료를 영구히 보관하고 제공하는 것입니다. ⁹

하지만 이는 어디까지나 의도의 표명일 뿐이다. 문제는 (위에서 언급했듯이) 인터넷 아카이브가 제공하는 정보를 차단하는 국가 주체가 있다는 점이다. 그 외에도 출판사가 인터넷 아카이브/웨이백 머신을 차단하는 경우¹⁰나, 단순한 요청만으로 콘텐츠가 삭제되는 경우¹¹ 같은 다른 우려도 있다.

따라서 아카이브가 보관하고 있는 모든 정보에 대해 확정적인 기록으로 간주할 수는 없다. 우리가 가진 최선의 선택지일 수는 있지만, 1차 자료로 볼 수는 없고, 그저 정확한 기록에 가장 가까운 자료 정도로 여겨야 한다.

이 문제들을 어떻게 다룰 것인가

나에게 완벽한 해답이 있는 것은 아니다. 이들은 우리가 맞서야 할 매우 깊은 문제들이며, 단 하나의 가장 신뢰할 수 있는 정답이 존재한다고 생각하지 않는다.

도움이 될 수 있는 방법 중 하나는 위키백과와 같은 방식으로 열람 정보를 기록하는 것이다.:

위키백과 참고 문헌 스크린샷

다른 것이 아니라도, 이는 웨이백 머신 링크와 원래 링크 사이의 잠재적 불일치를 기록하는 데 도움이 될 수 있다. 더 나아가 열람일을 파싱 가능한 형태로 인코딩할 수 있다면, 이를 이용해 웨이백 머신에서 열람본을 선택하는 데 활용할 수도 있다. 물론 이는 우리가 원래 참조한 내용과 정확히 일치하는 이미지가 존재한다는 전제하에서의 이야기다.

마지막 선택지는 다소 극단적으로 보일 수 있지만, 어쩌면 우리가 가진 최선의 선택지일 수 있는, 직접 이미지를 캡처해 두는 것이다. 나는 Zotero¹²를 이용해 많은 정보를 저장하고, 웹사이트 북마크조차 여기에 보관한다. Zotero의 가장 좋은 기능 중 하나는 항목을 추가할 때 이미지/스냅샷을 함께 저장할 수 있다는 점이다:

접속일이 표시된 Zotero 항목 스크린샷

이 기능의 유용성은 링크가 컬렉션에 추가된 시점과 접속한 시점, 그리고 스냅샷을 함께 기록으로 남겨준다는 데 있다. 검토해 볼 만한 한 가지 방법은 스냅샷 아카이브를 별도로 유지해 두었다가, 링크 로트가 발생했을 때 링크 대신 스냅샷을 제공하는 것이다.

Zotero 같은 도구가 제공하는 또 다른 기능은 저장하는 콘텐츠의 PDF를 생성하는 것이다. 이는 향후 콘텐츠를 검색 가능한 형태로 보관하고 싶을 때 유용하다.

물론 Zotero 같은 서지 데이터베이스 도구를 사용하는 데는 단점도 있다. 연구자를 주 대상으로 하는 도구인 만큼 반드시 가장 직관적인 도구는 아니다. 그리고 로컬 우선(local-first) 도구도 아니어서 클라우드 스토리지에 의존하는데, 이 역시 나름의 어려움이 있다. 예를 들어 저장 공간이 부족하면 추가 용량을 구매해야 할 수 있고, 비용이 꽤 들 수 있다. 개인적으로 Zotero의 영속성 문제는 아직 깊이 살펴보지 않았다.

링크 로트 대응에 필요한 기능을 제공하는 다른 선택지도 많다. 북마크 관리자, 오프라인 리더, 웹 클리핑 도구 등이 그것이다. 그중 유망해 보이는 것 중 하나는 직접 호스팅할 수 있는 wallabag이라는 오프라인 리더이다¹³.

가장 간단한 방법(적어도 Firefox 기반 브라우저 사용자에게는)은 웹페이지를 PDF 파일로 인쇄해 PDF 색인을 만드는 것이다. 이 방법의 장점은 Firefox(또는 파생 브라우저)에서 인쇄한 PDF에는 머리글/바닥글에 URL과 날짜가 포함된다는 점이다(해당 옵션을 켜 둔 경우):

URL과 날짜가 표시된 웹페이지 PDF

물론 Firefox 파생 브라우저에서는 그냥 스크린샷을 저장할 수도 있다. 내 생각에 이 방법의 문제는 스크린샷과 함께 가야 할 메타데이터(즉, URL, 스크린샷을 찍은 날짜/시간, 저장 및 검색 정보 등)를 직접 보존해야 한다는 점이다. 그리고 놀랍게도 스크린샷이 PDF 파일보다 용량이 더 컸다(이 wallabag.it 페이지는 PDF로 837K였고, PNG로는 1MB가 넘었다 — 엄청난 차이는 아니지만 의미 있는 차이다).

결론

링크 로트에 대한 글을 쓰기 시작했을 때, 이야기가 이렇게 전개될 줄은 예상하지 못했다. 처음에는 현재 링크 로트에 대응하는 방법들이 반드시 최선은 아니라는 생각으로 시작하지 않았다. 사실 나는 이 주제가 우리의 글쓰기에 어떤 영향을 미칠 수 있는지에 초점을 맞춰 보고 싶었다.

하지만 이야기를 풀어가면서 원래 구상했던 틀이 최선의 방식이 아니라는 걸 깨달았다. 링크 로트 자체가 더 깊은 탐구가 필요한 하나의 독립적인 주제라는 것이다. 이런 관점을 갖게 된 결정적인 계기는 웨이백 머신을 이용해 상황을 완화하려는 아이디어였다.

나는 인터넷 아카이브와 웨이백 머신을 좋아하지만, 이런 방식으로 사용하는 것은 내게 몇 가지 경고음을 울렸다. 그중 가장 큰 경고음은 단일 장애 지점이었다. 인터넷 아카이브나 웨이백 머신에 무슨 일이 생긴다면 완화책 자체가 무너질 것이다. 그리고 만약 무너진다면 상황은 오히려 더 나빠질 수도 있다.

이런 관점에서 살펴보니 웨이백 머신을 사용하는 데는 고장 나지 않은 상태에서도 이미 문제들이 존재한다는 것을 알게 되었다. 모든 국가에서 접속할 수 없다는 점, 그리고 게시글이 정확한 스냅샷을 링크하지 못할 가능성이 있다는 점 등이 그 예다.

결국 나는 위키백과가 출처를 어떻게 다루는지에 대해 생각하게 되었다. 내가 주목한 점은 그들이 출처에 열람일을 추가한다는 것이다. 이것이 유일한 선택지로 고려된다면, 적어도 웨이백 머신의 스냅샷에 대한 정확한 링크를 제공하는 데 도움이 될 수 있다.

하지만 다른 가능성들도 탐색해 보는 것이 적절하다고 느꼈다. 솔직히 말해 정말 마음에 드는 방법을 찾았다고 확신하지는 못한다. 내게 가장 편리한 것은 (어느 정도는) Zotero이거나, 어쩌면 (비록 언급하지는 않았지만) Obsidian일 것이다. 하지만 아카이브 목적으로 웹페이지의 스냅샷이나 스크린샷을 저장할 수 있게 해 주는 북마크 관리자, 오프라인 읽기 앱, RSS 리더 등 다양한 도구들이 많다.

그래서 이 모든 이야기의 요점은 무엇인가? 요컨대, 우리가 통제할 수 없는 문제를 안고 있을지 모르는 서비스에 의존하지 말라는 것이다. 사실 기술적 문제에서 사회적 문제, 정치적 문제에 이르기까지 통제 불가능한 변수가 너무 많다. 접근 가능한 형태의 로컬 아카이브를 유지해 두면 링크 로트가 발생했을 때 제3자 서비스에 의존하지 않고도 게시글을 업데이트할 수 있다.

우리 사이트의 영속성/유산과 관련해 다룰 주제는 아직 많이 남아 있다. 앞으로 다른 글에서 계속 다룰 예정이다(다음 글들은 좀 더 기술적이지 않고 철학적인 방향이길 바란다).