EOST2022 거대 인공지능 모델을 위한 고효율 컴퓨팅 인프라
거대 인공지능 모델의 등장은 현대 기술 지형을 근본적으로 변화시키고 있습니다. GPT-3나 구글의 PaLM과 같은 모델들은 수천억 개의 파라미터를 활용하여 인간에 가까운 언어 능력과 논리적 추론을 보여주며 전 세계적인 주목을 받고 있습니다. 이러한 모델들은 방대한 양의 데이터를 학습하며 프로그래밍이나 다국어 번역, 복잡한 수학 문제 풀이까지 수행할 수 있는 범용 에이전트로 진화하고 있습니다. 특히 단순히 특정 분야에서만 뛰어난 성과를 내는 것을 넘어, 한 번의 사전 학습(Pre-training)을 거친 후 다양한 분야에 적용할 수 있는 인공일반지능(AGI)의 가능성을 제시하고 있다는 점에서 그 중요성이 더욱 커지고 있습니다. 하지만 이러한 비약적인 발전 뒤에는 거대한 컴퓨팅 인프라라는 장벽이 존재합니다. 인공지능의 성능이 모델의 크기와 데이터 양에 비례해 향상된다는 스케일링 법칙(Scaling Law)에 따라 모델은 기하급수적으로 거대화되고 있습니다. 반면 반도체 성능이 2년마다 두 배로 증가한다는 무어의 법칙은 이러한 발전 속도를 따라잡지 못하고 있습니다. 특히 트랜스포머 모델의 경우 발전 속도가 연산 능력의 성장세보다 수백 배나 빠르기에 성능 장벽과 함께 막대한 전력 소비를 동반하는 에너지 장벽에 직면하게 되었습니다. 이는 특정 거대 자본을 가진 기업만이 인공지능 연구에 참여할 수 있는 높은 진입 장벽을 형성하고 있습니다. 이러한 한계를 극복하기 위해 기술적 최적화 연구가 활발히 진행되고 있습니다. 최적화는 크게 모델의 구조를 변경하는 비시스템적 방식과 컴퓨팅 인프라를 효율적으로 관리하는 시스템적 방식 두 가지로 나뉩니다. 현재 ETRI가 집중하고 있는 시스템적 최적화는 하드웨어와 소프트웨어의 긴밀한 조화를 통해 학습 효율을 극대화하는 것을 목표로 합니다. 인공지능 학습 과정에서 발생하는 통신, 연산, 메모리 사용 특성을 시간축에 따라 정밀하게 분석하고 이를 시스템 자원과 정렬시킴으로써 동일한 자원으로 더 빠르고 저렴하게 모델을 학습시킬 수 있는 환경을 구축하는 것이 핵심적인 과제라고 할 수 있습니다. 성능 최적화와 더불어 해결해야 할 또 다른 중요한 문제는 특정 하드웨어에 대한 소프트웨어의 종속성입니다. 현재 대부분의 딥러닝 프레임워크와 모델들은 엔비디아의 하드웨어 생태계에 강하게 얽매여 있어 다양한 연산 장치를 유연하게 활용하기 어려운 실정입니다. ETRI는 인공지능 클라우드와 머신러닝 프레임워크, 컴파일러를 아우르는 소프트웨어 스택을 연구하여 이러한 하드웨어 종속성을 완화하고자 합니다. 이를 통해 모델과 프레임워크 간의 결합도를 낮추고 범용적인 클러스터 환경에서도 높은 성능을 발휘할 수 있는 기술을 개발함으로써 인공지능 인프라의 민주화와 유연성을 동시에 확보하고자 노력하고 있습니다. 연구의 실효성을 높이기 위해 ETRI는 학계, 대기업, 스타트업과 협력하는 생태계 중심의 연구개발을 추진하고 있습니다. 한양대학교는 선도적인 원천 기술을 연구하고 NHN은 실제 클라우드 서비스 환경에서 기술을 실증하며 튜닙과 같은 기술력 있는 스타트업은 국산 머신러닝 프레임워크인 '오슬로'를 통해 기술 자립에 기여하고 있습니다. 특히 오픈소스 생태계에 단순히 사용자로 머무는 것이 아니라 적극적인 기여자로 참여하여 글로벌 기술 패권 사이에서 한국만의 틈새시장을 개척하는 것이 궁극적인 목표입니다. 국산 기술로 개발된 프레임워크가 세계적인 인공지능 모델 학습에 널리 활용되는 미래를 그려봅니다.
