과학 포털 iKAOS

국산 AI 반도체 연계 오픈소스 온 디바이스 로봇지능 SW 플랫폼

최근 AI 기술의 흐름은 클라우드 중심에서 온디바이스 환경으로 빠르게 전환되고 있습니다. 네트워크 연결 없이도 현장에서 즉각적인 데이터 처리가 가능한 온디바이스 방식은 보안성과 실시간 응답성 면에서 큰 장점을 가집니다. 특히 로봇 지능 분야에서는 이러한 기술적 수요가 매우 높으며, 하드웨어와 소프트웨어의 밀접한 결합이 필수적입니다. 현재 이 시장은 주로 해외 기업들이 장악하고 있지만, 국내 기술력을 바탕으로 한 AI 반도체와 소프트웨어 플랫폼을 구축하려는 노력이 활발히 진행 중입니다. 국산 AI 반도체를 활용한 최적화된 시스템 소프트웨어 스택 개발은 기술 자립을 위한 중요한 과제입니다. 온디바이스 환경에서 고성능 모델을 구동하기 위해서는 단순한 경량화를 넘어선 하드웨어 최적화 기술이 필요합니다. 대규모 서버 기반으로 설계된 기존 모델들은 자원이 제한된 임베디드 보드에서 제 성능을 발휘하기 어렵기 때문입니다. 특히 특정 하드웨어 제조사가 제공하는 소프트웨어 개발 키트에만 의존하게 되면, 개발자가 자신만의 독창적인 솔루션을 구축하는 데 많은 제약이 따르게 됩니다. 이러한 문제를 해결하기 위해 국산 AI 반도체의 성능을 극대화하면서도 유연하게 적용할 수 있는 솔루션 개발이 강조되고 있습니다. 이는 임베디드 시스템의 특수성을 고려하여 하드웨어 가속을 효율적으로 관리하는 핵심 기술이라 할 수 있습니다. 로봇 시스템의 운영체제인 ROS를 온디바이스 급으로 최적화하는 과정은 기술적으로 매우 도전적인 분야입니다. 서버급 사양을 요구하는 방대한 소프트웨어 볼륨을 소형 장치에서도 원활히 동작하도록 최적화해야 하기 때문입니다. CPU와 GPU, 그리고 AI 반도체인 NPU를 동시에 활용하는 파이프라이닝 가속화 기술은 다수의 AI 서비스가 동시에 구동될 때도 실시간 응답성을 강력하게 보장합니다. 이러한 통합 플랫폼 구축을 통해 로봇의 자율적 판단과 상황 인식 능력을 한 단계 더 끌어올릴 수 있으며, 이는 다양한 산업 환경에서 로봇이 지능적으로 활동하는 기반이 됩니다. 실제 산업 현장에 적용되는 순찰 로봇 지능은 이론적인 연구를 넘어 고도의 실증 과정을 거치고 있습니다. 사족보행 로봇을 활용한 공장 순찰 업무는 비정형 객체 탐지나 실시간 상황 설명 등 복잡한 지능형 서비스가 요구됩니다. 연구실 수준의 실험에 그치지 않고 실제 수요처를 방문해 데이터를 수집하고 프로토타이핑을 진행하는 이유입니다. 이를 위해 CNN 계열의 인식 모델뿐만 아니라 최신 트랜스포머 기반 기술들을 국산 NPU에 최적화하여 탑재하고 있습니다. 현장의 다양한 위험 요소를 탐지하고 관리하는 자율 보행 기술은 로봇 미들웨어와 하드웨어의 긴밀한 상호작용을 통해 완성도를 높여가고 있습니다. 공개 소프트웨어로 진행되는 이러한 프로젝트는 기술적 성과를 외부와 공유하며 생태계를 확장하는 데 목적이 있습니다. 개발된 소프트웨어 스택은 MIT나 BSD 라이선스를 적용하여 외부 개발자 그룹과 협업할 수 있는 채널을 마련하고 있습니다. 특히 AI 기술은 변화의 속도가 매우 빠르기 때문에, 최신 VLM이나 LLM 계열의 모델을 지원할 수 있는 확장성이 중요합니다. 향후에는 AI 반도체와 소프트웨어 엔진이 더욱 밀접하게 결합하여 대형 언어 모델의 전처리 및 후처리 과정까지 효율적으로 지원할 계획입니다. 국내외 수요에 맞춘 지속적인 고도화를 통해 온디바이스 로봇 지능의 새로운 표준을 제시하고자 합니다.

BeeAI 활용 교육 영상(08) - [4단계] BeeAI에서 모델 서빙하기(1)

머신러닝 모델을 실제 서비스에 적용하는 서빙 방식은 크게 온디맨드 서빙과 스트림 서빙으로 구분됩니다. 온디맨드 서빙은 마이크로서비스 아키텍처 환경에서 필요한 시점에 쿼리를 던져 예측 결과를 받는 방식인 반면, 스트림 서빙은 입력되는 데이터를 연속적으로 처리하여 실시간으로 예측 결과를 내보냅니다. 실무에서는 실시간 데이터 흐름을 다루기 위해 스트림 투 스트림 엔진을 활용하며, 이는 데이터의 입력부터 예측, 결과 전송까지의 전 과정을 끊김 없이 수행하는 데 최적화되어 있습니다. 플랫폼을 활용한 스트림 서빙 워크플로에서는 HTTP 서버 리더가 특정 포트를 통해 외부 데이터를 수신하는 것으로 시작됩니다. 수신된 온도 스트림 데이터는 전처리 과정을 거쳐 예측 오퍼레이터로 전달되며, 여기서 학습된 머신러닝 모델이 실시간 예측을 수행합니다. 최종 결과는 Kafka 토픽으로 전송되어 다른 시스템에서 활용될 수 있게 구성됩니다. 이러한 구조는 Zookeeper나 Bootstrap 서버 설정과 연동되어 분산 환경에서도 안정적인 데이터 처리를 가능하게 합니다. 정확한 예측을 위해서는 정교한 데이터 전처리가 필수적입니다. 입력된 온도 데이터는 먼저 특정 범위로 변환되는 Min-Max 스케일링을 거치며, 이 과정에서 현실적으로 불가능한 이상치 데이터는 제거됩니다. 또한 Transpose 오퍼레이터를 통해 과거의 데이터들을 모아 가로 형태로 재구성함으로써 모델이 분석하기 적합한 형태로 가공합니다. 예측이 완료된 이후에는 다시 원래의 수치 범주로 역변환하는 과정을 거쳐 사용자가 직관적으로 이해할 수 있는 최종 예측값을 산출하게 됩니다. 딥러닝 모델의 저장 방식인 Checkpoint는 본래 학습 중 오류가 발생했을 때 마지막 지점부터 재개하기 위한 용도로 사용됩니다. 하지만 실제 서빙 환경에서는 변수 값이 고정된 추론 전용 모델이 필요하므로, 그래프 정보와 배열 값을 결합하여 상수화하는 과정이 수반됩니다. TensorFlow Serving에서 공식적으로 권장하는 SavedModel 형식은 그래프 정보와 변수 데이터를 포함하며, 학습용 메타 그래프를 제외한 핵심 추론 로직만을 남겨 효율적인 서비스 배포를 지원합니다. SavedModel의 핵심 요소는 입력과 출력의 규격을 정의하는 시그니처입니다. 어떤 형태의 데이터를 받아들여 무엇을 내보낼지를 명확히 명시해야 모델 서버가 이를 정확히 인식하고 처리할 수 있습니다. TensorFlow 코드를 작성할 때 추론에 필요한 함수만을 모듈화하고 시그니처를 등록하면, 복잡한 트레이닝 그래프를 제거한 경량화된 모델을 생성할 수 있습니다. 이는 모델의 용량을 줄일 뿐만 아니라 서빙 시 발생할 수 있는 리소스 낭비를 최소화하는 데 기여합니다. 모델 서버는 저장소에 새롭게 올라오는 모델을 실시간으로 감시하며 버전 관리 정책에 따라 서비스를 갱신합니다. 가용성을 중시하는 정책에서는 서비스 중단 없이 신구 모델을 교체하는 방식을 취하며, 리소스가 제한적인 경우에는 기존 모델을 내린 후 신규 모델을 올리는 방식을 선택합니다. 또한 GPU 메모리 점유 방식을 설정하거나 특정 포트를 지정하여 모델을 로딩하는 등, 운영 환경의 특성에 맞춰 유동적으로 리소스를 관리할 수 있는 다양한 옵션이 제공됩니다. 기존에 잘 학습된 Pre-trained 모델을 활용하는 전이 학습은 개발 시간을 획기적으로 단축하는 방법입니다. Checkpoint나 Protocol Buffer 파일로부터 모델을 불러와 구조를 수정하고 자신만의 시그니처를 결합하면 새로운 SavedModel을 생성할 수 있습니다. 생성된 모델의 입력 형태나 Rank 등의 시그니처 정보는 CLI 도구를 통해 검증할 수 있으며, 이를 통해 예측 형식의 정확성을 확인합니다. 이러한 체계적인 검증 과정은 복잡한 시퀀스 데이터나 이미지 데이터를 다루는 모델의 신뢰성을 높여줍니다.

추론엔진

국산 AI 반도체 연계 오픈소스 온 디바이스 로봇지능 SW 플랫폼

한국전자통신연구원오픈소스 테크데이

BeeAI 활용 교육 영상(08) - [4단계] BeeAI에서 모델 서빙하기(1)

한국전자통신연구원