EOST2021 메모리 중심 컴퓨팅을 위한 운영체제
현대 컴퓨팅 환경에서는 소셜 네트워크 분석이나 GPT-3와 같은 거대 인공지능 모델 학습을 위해 엄청난 양의 데이터를 실시간으로 처리해야 합니다. 예를 들어, 전 세계의 트렌드를 분석하는 데는 약 8테라바이트의 데이터가 실시간으로 활용되며, 휴먼 브레인 시뮬레이션을 위해서는 수십 페타바이트 규모의 자원이 요구됩니다. 이러한 응용 프로그램들의 공통적인 특징은 연산 능력 못지않게 접근해야 할 데이터의 양이 기하급수적으로 많다는 점입니다. 데이터 중심의 시대가 도래함에 따라 기존의 연산 방식만으로는 처리 속도와 효율성 면에서 한계에 부딪히고 있습니다. 기존의 프로세서 중심 컴퓨팅 환경에서는 연산 장치 간의 통신이 커다란 성능 병목 현상을 야기합니다. 여러 개의 GPU를 활용해 거대 모델을 학습할 때, 실제 연산보다는 장치 간 데이터를 주고받는 통신에 전체 시간의 26%에서 많게는 70%까지 소비되기도 합니다. 이는 마치 사람들이 공동 작업을 할 때 대화나 문서 공유 과정에서 효율이 떨어지는 것과 비슷합니다. 각 프로세서가 독립적으로 일을 수행한 뒤 결과를 병합하는 과정에서 발생하는 필연적인 통신 비용은 전체 시스템의 성능을 제약하는 핵심적인 요소가 되며, 이를 해결하기 위한 새로운 패러다임이 필요해졌습니다. 메모리 중심 컴퓨팅은 중앙에 거대한 공유 메모리를 배치하고 그 주변에 프로세서들을 연결하는 혁신적인 구조를 제안합니다. 이는 사람들이 개별적으로 대화하는 대신 텔레파시를 통해 즉각적으로 기억을 공유하는 것과 유사한 개념입니다. 고속의 통신 링크를 통해 프로세서들이 중앙 메모리에 직접 접근하게 함으로써 통신 오버헤드를 획기적으로 줄일 수 있습니다. 이러한 방식은 데이터가 이동하는 시간을 최소화하고 여러 연산 장치가 마치 하나의 유기체처럼 작동하도록 유도합니다. 결과적으로 데이터 전송에 낭비되는 에너지를 줄이고 컴퓨팅 효율을 극대화하는 데 목적을 둡니다. ETRI에서 개발 중인 기술은 물리적 한계를 넘어 고성능 연산을 가능하게 하는 소프트웨어 계층을 구축하는 데 집중합니다. '심층 연결망'이라 불리는 초고속 저지연 네트워크를 활용해 하드웨어 내부의 메모리 버스를 직접 연장한 것과 같은 효과를 구현합니다. 기존의 표층 연결망이 느린 네트워크 카드를 통해 정보를 주고받았다면, 심층 연결망은 원격지의 자원도 마치 로컬 자원처럼 빠르게 사용할 수 있게 해줍니다. 이를 통해 사용자는 고가의 대용량 서버를 별도로 구매하지 않고도 여러 대의 소형 서버를 유연하게 묶어 강력한 성능을 발휘하는 거대 가상머신을 운용할 수 있습니다. 이러한 첨단 시스템 소프트웨어 기술은 깃허브를 통해 오픈소스로 공개되어 리눅스 커널과 가상화 기술 발전에 기여하고 있습니다. 우리나라는 그동안 시스템 소프트웨어 분야에서 주로 해외 기술을 활용하는 수혜국 입장이었으나, 이제는 직접 핵심 코드를 기여하는 주도적인 위치로 나아가고 있습니다. 또한 컨트리뷰션 아카데미를 통해 국내외 개발자들이 소통하며 기술적 구심점을 마련하고 있습니다. 메모리 중심 컴퓨팅을 위한 운영체제 개발은 단순한 기술 연구를 넘어, 차세대 컴퓨팅 생태계를 구축하고 국내 시스템 소프트웨어의 기술 자생력을 강화하는 중요한 발걸음이 될 것입니다.
