PB급 데이터를 전 세계로 전송하려면.
대용량 데이터센터에서 개발한 새로운 시스템은 거대 강입자 가속기(LHC)에서 발생하는 방대한 실험 데이터를 안전하게 보존하기 위한 장치입니다. 기존에는 주로 자기 테이프를 사용해 데이터를 영구 보존해 왔으나, 이 시스템은 일반적인 하드 디스크를 기반으로 설계되었습니다. CERN과 공동으로 개발한 이 기술은 자기 테이프 기반 시스템보다 구조가 단순하여 운영 비용을 절감하고 효율성을 크게 향상시킬 수 있다는 장점이 있습니다. 저비용 고효율을 지향하는 이 시스템은 대규모 데이터를 다루는 다양한 데이터센터에서 유용하게 활용될 것으로 기대됩니다. 본 시스템은 JBOD와 이레이저 코딩 기술을 결합하여 데이터의 안전성을 극대화했습니다. 이레이저 코딩은 아마존이나 구글 같은 클라우드 서비스에서도 널리 쓰이는 기술로, 총 18개의 스토리지 노드 중 최대 6개가 동시에 고장이 나더라도 데이터 손실을 방지합니다. 또한 자기 테이프와 달리 하드 디스크 기반 시스템이기에 2GB/s 이상의 빠른 데이터 입출력 성능을 자랑합니다. 여기에 오픈소스 소프트웨어와 리눅스 컨테이너 기술을 도입하여 운영의 자동화를 꾀했으며, 신속한 장애 복구가 가능한 환경을 구축하여 비용 대비 성능을 최적화했습니다. 현재 자기 테이프 시장은 특정 국가의 독점과 복잡한 계층적 관리 솔루션의 필요성으로 인해 한계에 직면해 있습니다. 이를 해결하기 위해 개발된 테이프리스 아카이빙 시스템은 올해 2월 CERN의 ALICE 실험에서 정규 테스트를 성공적으로 마치고 정식 운영 단계에 들어갔습니다. 연구팀은 향후 머신 러닝 기반의 하드 디스크 장애 예측 기술을 도입하여 모니터링 시스템의 정밀도를 높이고 데이터 보존의 안정성을 한층 더 강화할 계획입니다. 이러한 검증 과정을 거쳐 해당 시스템이 국내외 다양한 연구 기관으로 확산되어 데이터 주권 확보에 기여하기를 바라고 있습니다.
