과학 포털 iKAOS

3 Contents

EOST2020

오늘날 인공지능과 고성능 컴퓨팅 기술은 전례 없는 속도로 발전하고 있습니다. 이러한 성장의 이면에는 하드웨어와 소프트웨어 스택의 비약적인 진보, 그리고 방대한 인터넷 자원을 활용한 빅데이터 컴퓨팅의 결합이 자리 잡고 있습니다. 특히 자연어 처리와 같은 딥러닝 분야에서는 요구되는 연산 자원의 양이 매년 수십 배에서 수백 배씩 폭증하는 추세입니다. 이는 단순한 기술적 진보를 넘어 하드웨어 제조사와 소프트웨어 개발자, 그리고 연구자들이 서로 긴밀하게 영향을 주고받으며 만들어낸 상호작용의 결과물이라 할 수 있습니다. 딥러닝의 핵심인 복잡한 행렬 연산을 효율적으로 처리하기 위해 GPU의 중요성은 더욱 강조되고 있습니다. 범용적인 명령 처리에 최적화된 CPU와 달리, GPU는 단순한 행렬 연산을 병렬로 처리하는 데 특화되어 있어 AI 워크로드에서 탁월한 효율을 보여줍니다. 이에 따라 대규모 하드웨어 자원을 효율적으로 관리하기 위한 MLOps 방법론이 필수적으로 대두되었습니다. 데이터 전처리부터 모델 훈련, 그리고 실제 서비스 서빙에 이르기까지 모든 과정을 자동화하고 일원화하는 플랫폼의 도입은 현대 AI 연구의 핵심 과제가 되었습니다. Backend.AI는 이러한 요구에 부응하여 탄생한 오픈소스 기반의 클라우드 리소스 관리 플랫폼입니다. 이 플랫폼은 GPU 자원을 가상화하여 분할 사용하게 하거나, 여러 노드를 하나의 번들로 묶어 거대한 머신러닝 워크로드를 처리하는 스케줄링 기능을 제공합니다. 시스템은 크게 물리 자원을 관리하는 에이전트와 전체적인 워크로드를 배정하고 추적하는 매니저로 구성됩니다. 이를 통해 사용자는 초기 모델 개발 단계의 적은 자원부터 서비스 확장에 따른 대규모 자원까지 유연하게 시스템 규모를 조절하며 효율적인 연구 환경을 구축할 수 있습니다. Backend.AI의 뿌리는 오픈소스 문화에 깊이 닿아 있습니다. 개발 초기 단계부터 코드를 투명하게 공개함으로써 기술적 신뢰도를 확보하고, 글로벌 시장에서의 인지도를 높이는 전략을 취했습니다. 2015년 프로토타입 개발을 시작으로 꾸준히 발전해 온 이 프로젝트는 현재 AGPL 및 MIT 라이선스를 채택하여 누구나 자유롭게 기술을 검증하고 기여할 수 있는 생태계를 조성했습니다. 회사보다 코드가 더 오래가는 것을 목표로 삼아 프로젝트 자체에 생명력을 불어넣고, 오픈소스 커뮤니티와 함께 성장하며 지속 가능한 개발 환경을 만들어가고 있습니다. 현재 Backend.AI는 오픈소스 버전을 중심으로 클라우드 서비스와 엔터프라이즈 에디션이라는 세 가지 형태로 제공되고 있습니다. 누구나 자신의 서버 팜에 직접 설치하여 클러스터를 구축할 수 있는 것은 물론, 복잡한 관리가 필요한 대규모 기관을 위해 보안과 로그 관리 기능이 강화된 솔루션도 지원합니다. 특히 폐쇄망 환경을 위한 패키지 저장소인 레저보어(Reservoir)와 같은 독자적인 프로젝트를 통합하여 어떠한 환경에서도 제약 없이 AI 연구에 매진할 수 있도록 돕습니다. 앞으로도 사용자 피드백을 적극 수용하여 누구나 쉽고 빠르게 AI 모델을 개발할 수 있는 환경을 선도해 나갈 것입니다.

한국전자통신연구원

융합
공학·기술

14 드론 시뮬레이터를 활용한 RL 기반 자율비행 기술

한국전자통신연구원(ETRI)에서 개발 중인 '옥토퍼스'는 고성능 분산 드론 시뮬레이터로, 미래 드론 기술의 핵심적인 역할을 수행하고 있습니다. 이 시스템은 이동체와 센서, 주변 환경에 대한 고정밀 모델을 구축하고 있으며, 물리 법칙을 충실히 반영하는 고정밀 물리 엔진을 탑재해 현실에 가까운 가상 환경을 제공합니다. 이는 드론이 실제 환경에서 마주할 수 있는 다양한 물리적 변수들을 가상 세계에서 정교하게 구현하여 연구의 안전성과 효율성을 극대화하는 데 기여합니다. 옥토퍼스의 가장 중요한 활용 분야 중 하나는 강화학습 기반의 드론 자율 비행 기술을 고도화하는 것입니다. 실제 드론을 이용한 강화학습은 충돌 위험이 크고 비용 부담이 높으며, 방대한 데이터를 수집하기 어렵다는 현실적 제약이 따릅니다. 하지만 고성능 시뮬레이터를 활용하면 이러한 시간적, 공간적 한계를 효과적으로 극복할 수 있습니다. 가상 공간에서 드론은 수많은 성공과 실패를 반복하며 최적의 자율 비행 경로와 회피 방법을 스스로 터득해 나가는 과정을 거칩니다. 훈련을 마친 드론은 이전에 경험하지 못한 새로운 환경에서의 성능 평가를 통해 그 실효성을 엄격하게 검증받게 됩니다. 예를 들어 도심 공간과 같이 복잡한 지형에 드론을 투입하여, 장애물과의 충돌 없이 목적지까지 안전하게 도착하는지 확인하는 식입니다. 가상 세계에서의 철저한 검증을 마친 자율 비행 알고리즘은 실제 드론에 탑재되어 올해 말 필드 시험을 앞두고 있습니다. 이러한 기술적 진보는 향후 드론 자율 비행의 신뢰성을 높이고 상용화를 앞당기는 중요한 초석이 될 전망입니다.

한국전자통신연구원ETRI 아카이브

융합
공학·기술

BeeAI 활용 교육 영상(07) - [3단계] BeeAI에서 학습 모델 생성하기

Spark ML은 방대한 분산 데이터 처리 플랫폼인 Spark 위에서 머신러닝을 구현할 수 있도록 설계된 라이브러리입니다. 후발 주자로 시작했음에도 불구하고 강력한 개발자 커뮤니티와 빠른 발전 속도 덕분에 현재는 매우 안정적인 생태계를 구축하고 있습니다. 특히 Scikit-learn의 설계를 참조하여 도입한 파이프라인 구조는 데이터 전처리부터 모델 학습까지의 전 과정을 하나의 흐름으로 연결하여 효율적인 대규모 연산을 가능하게 합니다. 머신러닝 모델이 데이터를 학습하기 위해서는 원시 데이터를 적절한 형태로 가공하는 과정이 필수적입니다. Spark ML에서는 여러 개의 피처 컬럼을 하나로 묶어주는 '벡터 어셈블러'를 사용하여 데이터를 벡터화하며, 문자열로 된 레이블은 인덱싱 과정을 거쳐 숫자형으로 변환합니다. 이러한 전처리 단계는 단순히 학습 효율을 높이는 것을 넘어, 모델이 복잡한 데이터 구조를 올바르게 인식하고 연산을 수행할 수 있도록 돕는 기초적인 토대가 됩니다. 모델 학습이 완료된 후에는 알고리즘 결과물뿐만 아니라 전처리 루틴이 포함된 파이프라인 전체를 저장해야 합니다. 이는 실제 서비스 환경인 인퍼런스 환경에서 들어오는 원본 데이터를 모델이 즉시 인식할 수 있는 형태로 변환해야 하기 때문입니다. 만약 모델 파일만 별도로 저장한다면 인퍼런스 요청 시 데이터 형식 불일치로 인한 오류가 발생할 수 있습니다. 따라서 전체 파이프라인을 통째로 관리하는 방식은 인퍼런스의 안정성을 보장하는 중요한 요소가 됩니다. BeeAI 플랫폼은 Spark ML의 복잡한 튜닝 과정을 자동화하여 사용자 편의성을 극대화합니다. 최적의 하이퍼파라미터를 찾기 위한 그리드 탐색과 K-Fold 교차 검증을 손쉽게 설정할 수 있으며, 생성된 모델들은 시간 기반의 ID를 통해 이력 관리가 이루어집니다. 관리자는 정확도와 정밀도 등 다양한 성능 지표를 이력별로 비교함으로써, 재학습을 통해 모델의 서비스 수준이 어떻게 변화하는지 실시간으로 파악할 수 있습니다. 효율적인 모델 운영을 위해 서빙 워커는 리포지토리를 지속적으로 감시하며 가장 최신의 모델을 자동으로 로드합니다. 새로운 모델이 생성되면 보통 수 초 이내에 이를 감지하여 서버에 즉시 반영하므로, 서비스 중단 없이도 모델 업데이트가 가능합니다. 사용자는 워크플로우 프로파일 설정을 통해 오토 로딩 옵션을 제어할 수 있으며, 이를 통해 학습 데이터의 변화에 민첩하게 대응하는 지능형 서빙 시스템을 구축할 수 있습니다. 더욱 단순한 분석을 원하는 사용자를 위해 BeeAI는 AutoML 기능을 제공합니다. 사용자가 데이터의 성격에 맞춰 분류 또는 회귀 작업 중 하나만 선택하면, 엔진이 스스로 데이터에 적합한 알고리즘과 파라미터를 탐색하여 최적의 모델을 산출합니다. 붓꽃 데이터 분류나 주택 가격 예측과 같은 예제부터 복잡한 산업 데이터까지, 전문적인 코딩 지식 없이도 고성능의 머신러닝 모델을 빠르게 생성하고 평가 지표를 확인할 수 있다는 것이 큰 장점입니다. 마지막으로 BeeAI는 TensorFlow와 같은 외부 딥러닝 프레임워크와의 연동도 지원합니다. 사용자가 작성한 파이썬 학습 코드를 시스템에 등록하면 하이퍼파라미터와 데이터 경로를 유연하게 전달하여 LSTM과 같은 복잡한 딥러닝 모델을 학습시킬 수 있습니다. 특히 전처리 연산자와 학습 연산자를 배치 엔진으로 연결하는 스케줄링 기능을 활용하면, 매일 새롭게 수집되는 데이터를 기반으로 모델을 주기적으로 갱신하는 자동화된 인공지능 파이프라인을 완성하게 됩니다.

한국전자통신연구원ETRI 클래스

융합
공학·기술