학습엔진

[EOST2023] 거대 인공지능 모델의 고효율 학습을 위한 자동 최적 3D 병렬화 프레임위크

거대 언어 모델(LLM)의 시대가 도래하면서 인공지능 모델의 크기는 개별 GPU의 처리 용량을 훌쩍 넘어섰습니다. 엔비디아의 '메가트론'을 넘어서겠다는 포부를 담은 '옵티머스 프라임' 프로젝트는 이러한 거대 모델을 여러 개의 GPU에서 효율적으로 다루기 위한 연구에서 시작되었습니다. 여러 장의 GPU를 마치 하나의 거대한 장치처럼 활용하여 학습과 추론의 효율성을 극대화하는 것이 이 프로젝트의 핵심 목표입니다. 인공지능 연구에 필요한 자본력은 갈수록 거대해지고 있으며, 이는 기술 개발의 강력한 진입 장벽으로 작용합니다. 온프레미스 클러스터를 구축하거나 클라우드 자원을 활용하는 모든 과정에서 막대한 비용이 소요되는데, 이때 하드웨어 자원의 잠재력을 최대한으로 끌어내지 못하면 경제적 손실은 더욱 가중됩니다. 따라서 소프트웨어적으로 인프라 활용 효율을 높이는 기술은 단순히 성능 향상을 넘어 전체적인 개발 비용 절감과 직결되는 핵심적인 요소입니다. 현대 인공지능의 연산량과 메모리 요구량은 하드웨어의 발전 속도를 압도하며 급증하고 있습니다. 수천억 개의 파라미터를 가진 모델을 학습시키기 위해서는 테라바이트 단위의 메모리가 필요하지만, 단일 서버로는 이를 감당할 수 없어 필연적으로 통신 지연과 분할의 문제가 발생합니다. 모델을 어떻게 잘라 배치하고 통신 시간을 어떻게 숨길 것인가 하는 문제는 시스템 엔지니어링 측면에서 매우 복잡하고 정교한 최적화 전략을 요구하게 됩니다. 과거에는 모델 개발자가 수동으로 병렬화 코드를 작성해야 했지만, 이제는 이를 자동화하려는 시도가 이어지고 있습니다. ETRI는 파이토치 2.0 생태계와 연동하여 모델 구조를 분석하고 최적의 병렬화 전략을 자동으로 도출하는 엔진을 개발 중입니다. 이는 마치 데이터베이스에서 쿼리문을 입력하면 시스템이 알아서 최적의 실행 계획을 짜주는 것과 같습니다. 개발자는 모델의 로직에만 집중하고, 복잡한 분산 처리는 소프트웨어 계층에서 해결하는 구조입니다. ETRI는 현재 개발 중인 고효율 학습 엔진을 오픈 소스로 공개하여 국내외 개발자들과 함께 생태계를 고도화해 나갈 계획을 세우고 있습니다. 단순히 기존의 외국산 소프트웨어를 가져다 쓰는 관행을 넘어, 우리만의 독자적인 인프라 기술을 확보하고 다양한 기여자들이 협력하여 최적화 엔진을 발전시키는 것이 필수적입니다. 이러한 노력을 통해 대한민국 인공지능 하부 구조의 기술 자립과 효율성을 동시에 달성할 수 있을 것으로 기대됩니다.