여러 증언에 따르면 웹은 조각조각 사라지고 있습니다. 매년 오래된 웹페이지 중 일정 비율이 영원히 사라집니다. 우리는 인터넷 아카이브(Internet Archive)를 현대사의 가장 귀중한 유산 중 하나로 여겨야 합니다. 그런데 오히려 많은 기업과 기관들이 아카이브가 존속하며 그렇지 않으면 사라질 자료들을 축적해 나갈 가능성을 점점 더 어렵게 만들고 있습니다. 아카이브 본부가 과거 교회였던 건물에 자리하고 있다고 들었습니다. 그렇다면 이곳을 성스러운 장소라고 부르는 것만큼 적절한 표현도 없을 것입니다.

옛 프로그래머들이 Spectrum에서 Z80 어셈블리로 밤을 지새우며 해킹에 몰두하던 그 오랜 시간들을 떠올려 보십시오. 1세대 인터넷에 대해 오갔던 모든 논의를. 90년대에 등장했던 하위문화들을. 이 모든 것이 하나둘 사라지고 있습니다.

개인 블로그는 어떻습니까? 인터넷에 자신의 의식 일부를 쏟아부은 개인들의 삶 조각들입니다. 출판사가 문을 닫고 웹사이트가 폐쇄되면서 영원히 사라진 과학 논문과 연구 과정들도 있습니다. 한때 인터넷에 공개됐다가 이제는 사라진 초기 디지털 아트와 비디오 게임, 기후 데이터, 그리고 수많은 뉴스 자료들도 마찬가지입니다.

이는 이미 잘 알려진 문제이며, 모든 것을 보존하려는 당연한 시도는 현실적인 이유로 결국 실패할 것이라고 생각합니다. 경제적 보상은 전혀 없는데 엄청난 노력이 필요하기 때문입니다. 지금의 세상은 돈은 많이 들고 수익은 되지 않는 일에 힘을 쏟기에 그리 좋은 환경이 아닙니다. 그래서 저는 LLM이 정보를 압축하는 능력이 비록 부정확하고 환각을 포함하며 불완전하더라도 없는 것보다는 낫다고 믿습니다. DeepSeek V3는 이미 공개된 인터넷의 손실 압축본이며, 다른 초대형 최첨단 모델들도 마찬가지입니다.

이것만으로 우리가 잃어버리고 있는 모든 것을 되돌릴 수는 없으며, 우리는 인터넷 아카이브와 유사한 기관 및 노력을 적극적으로 지원해야 합니다. 하지만 동시에 훨씬 더 단순한 일에도 집중해야 합니다. 공개된 LLM의 가중치가 사라지지 않도록 하는 것, 그리고 아카이브가 사전 학습 데이터셋에 포함되도록 하는 것입니다.