과학 포털 iKAOS

거대언어모델 개발의 전 과정을 하나로 통합한 플랫폼, AIDE

인공지능(AI) 기술이 산업 전반을 혁신하며 거대언어모델(LLM)의 역할이 나날이 확대되고 있습니다. 방대한 텍스트를 학습해 인간처럼 소통하는 LLM은 무한한 가능성을 지녔지만, 이를 실제로 개발하는 과정은 결코 만만치 않습니다. 데이터의 수집과 정제, 모델 학습과 정교한 평가에 이르기까지 막대한 시간과 비용, 전문 지식이 필수적이기 때문입니다. 이러한 장벽을 허물기 위해 KISTI는 연구자와 기업이 기술적 한계에 부딪히지 않고도 독자적인 언어 모델을 성공적으로 구축할 수 있도록 돕는 강력한 도구를 설계했습니다. 이 플랫폼은 채팅 기능과 사용자의 문서를 활용한 맞춤형 질의응답 시스템인 검색증강생성(RAG) 등 실용적인 도구들을 제공합니다. 특히 2025년에는 단일 머신에서도 구동할 수 있도록 경량화되어 사용자의 편의성을 대폭 높였습니다. 이러한 기술력은 실제 현장에서도 빛을 발하고 있습니다. 국방 분야에서는 행정 및 군수 정비 지원 AI를 구축하고, 위성 운영 분야에서는 시스템 모니터링과 이상 상태 감지에 활용되어 업무 효율성을 극대화하고 있습니다. 이는 사용자가 데이터만 있다면 최첨단 인공지능(AI)을 즉시 실무에 도입하여 성과를 낼 수 있음을 보여줍니다. AIDE는 KISTI의 다른 지능형 플랫폼들과 결합하여 더욱 강력한 시너지를 창출합니다. 과학기술 정보를 직접 검색하는 KISTI-MCP, 문서의 표와 이미지를 종합적으로 분석하는 DOREA, 그리고 25종 이상의 도구로 모델을 공정하게 평가하는 SpectraBench가 그 예입니다. 이러한 통합적인 생태계는 연구 기관과 기업이 안전하고 신속하게 맞춤형 AI를 개발하여 최신 정보를 업무에 반영할 수 있는 최적의 환경을 제공합니다. KISTI는 앞으로도 과학기술 데이터와 인공지능(AI)의 결합을 통해 대한민국의 AI 혁신을 선도하며 미래를 함께 만들어 나갈 계획입니다.

한국과학기술정보연구원키스티 이런 곳입니다👾

융합
공학·기술

BeeAI 공모전 교육 영상(01) - BeeAI 웹툴킷 사용법(1~40p)

BeeAI 웹툴킷은 직관적인 GUI 환경을 통해 복잡한 데이터 분석과 인공지능 모델 학습 과정을 효율적으로 관리할 수 있도록 설계되었습니다. 시스템의 첫 관문인 대시보드에서는 수행한 워크플로우의 통계 정보를 한눈에 파악할 수 있는 워크플로우 TOP 10 테이블을 제공합니다. 사용자는 일별로 작업의 성공, 실패, 진행 여부를 확인하고 실행 소요 시간을 분석하며 전체적인 작업 현황을 실시간으로 모니터링할 수 있습니다. 또한 과거 내역 조회 기능을 통해 저장된 워크플로우 목록을 관리하고 서빙 중인 엔진들의 상태 정보를 확인하는 것이 가능합니다. 워크벤치의 편집 화면은 데이터 처리 파이프라인을 시각적으로 설계하는 핵심 공간입니다. 프로젝트 익스플로러를 통해 여러 워크플로우를 체계적으로 관리하며, 7가지 이상의 엔진 유형을 선택하여 데이터 처리 목적에 최적화된 구조를 만들 수 있습니다. 특히 스트림 엔진이나 미니배치 엔진을 활용해 실시간 데이터 처리를 구현하고, 리더, 라이터, 오퍼레이터 등 5종의 컴포넌트를 드래그 앤 드롭 방식으로 조합하는 직관적인 방식을 채택했습니다. 엔진 간의 유기적인 결합을 통해 복잡한 연산 과정도 코드 없이 시각적으로 완성할 수 있는 것이 특징입니다. 설계된 워크플로우를 실제 구동하기 위해서는 워크벤치의 운영 화면을 활용해야 합니다. 여기서는 빌드 과정을 통해 워크플로우 내의 설정 오류를 사전에 검증하며, 빌드 성공 후에 활성화되는 배포 버튼을 눌러 작업을 시작하게 됩니다. 실행 중에는 실시간 엔진 로그 창을 통해 빌드 및 실행 과정을 상세히 파악할 수 있으며, CPU와 메모리 같은 시스템 리소스 사용 현황을 실시간으로 확인하여 안정적인 운영을 돕습니다. 필요에 따라 로그를 다운로드하여 정밀 분석을 수행하거나 진행 상황 창에서 결과물의 시각화 차트를 실시간으로 확인할 수 있습니다. 레지스트리는 인공지능 서비스 제작에 필요한 11가지 유형의 다양한 자원들을 등록하고 통합 관리하는 중앙 저장소 역할을 수행합니다. API 정보, 데이터셋, 학습 모델뿐만 아니라 파이썬 모듈과 인증 토큰에 이르기까지 분석에 필수적인 재료들을 체계화하여 관리합니다. 저장된 자원들은 워크벤치에서 컴포넌트의 속성을 설정할 때 리소스 매핑 기능을 통해 간편하게 연결됩니다. 이는 파일 경로를 일일이 입력하는 번거로움을 줄여주며, 개발 환경의 일관성을 유지하고 협업 시 공유 자원을 효율적으로 활용할 수 있는 강력한 토대를 제공합니다. BeeAI는 로컬 파일 시스템, 스위프트 리포지토리, 하둡 분산 파일 시스템(HDFS)의 세 가지 저장소를 지원하여 유연한 데이터 관리를 실현합니다. 레지스트리에 등록된 데이터셋이나 모델과 같은 자원들은 스위프트 리포지토리에 날짜별로 자동 분류되어 보관되며, 노드 간 파일 공유를 위한 전용 폴더를 통해 데이터 이동을 원활하게 지원합니다. 사용자는 스토리지 메뉴에서 파일 업로드, 삭제, 복사 등의 기본적인 관리 기능뿐만 아니라 폴더 구조의 직관적인 탐색을 통해 분석 결과물이나 학습 코드를 체계적으로 정리하고 접근할 수 있는 환경을 누릴 수 있습니다. 모니터링 기능은 실행 중인 워크플로우와 완료된 작업의 이력을 포괄적으로 추적하고 제어하는 도구입니다. 실시간 상태 정보 갱신을 통해 작업 진행도를 즉각 확인하며, 여러 엔진으로 구성된 복합 워크플로우의 경우 각 엔진별 상세 로그를 개별적으로 파악할 수 있습니다. 특히 워크플로우 히스토리 탭은 종료된 작업의 결과를 스토리지에 직접 접근하지 않고도 미리보기 기능을 통해 즉시 확인할 수 있게 해줍니다. 텍스트 형태의 데이터 확인은 물론 시각화 차트를 통해 모델 성능이나 분석 결과를 즉각적으로 검토할 수 있는 편의성을 제공합니다. 시스템 기능을 확장하고 유지보수하기 위한 관리자 전용 메뉴에서는 신규 컴포넌트 등록과 시스템 설정 관리가 이루어집니다. 새로운 알고리즘이나 오퍼레이터를 개발한 후 클래스 정보와 닉네임을 설정하여 등록하면, 워크벤치 편집기에서 해당 기능을 즉시 사용할 수 있는 확장성을 갖췄습니다. 또한 엔진 템플릿 기능을 통해 자주 사용되는 컴포넌트 조합을 미리 구성하여 재사용성을 높일 수 있습니다. 사용자 관리 기능을 통해 승인된 인원만 시스템을 이용하도록 제한하거나 권한을 부여함으로써 전체 플랫폼의 보안성과 운영 효율성을 보장합니다.

한국전자통신연구원ETRI 클래스

융합
공학·기술

BeeAI 활용 교육 영상(01) - BeeAI 웹툴킷 개요 및 사용법

인공지능 서비스를 구축하기 위해서는 데이터의 수집부터 가공, 모델 학습, 그리고 실제 서비스로 이어지는 복잡한 전주기적인 과정이 필요합니다. BeeAI는 이러한 일련의 단계를 체계적으로 관리할 수 있는 통합 프레임워크를 제공하여 개발 효율성을 극대화하는 데 중점을 둡니다. 데이터 적재와 처리를 통해 학습용 데이터를 생성하고, 이를 기반으로 최적의 인공지능 모델을 만들어 실제 환경에 서빙하는 4단계의 순환 주기는 인공지능 개발의 핵심적인 기반이 됩니다. 사용자의 편의를 위해 BeeAI는 직관적인 웹 툴킷과 함께 기술 지원을 위한 상세한 매뉴얼을 제공합니다. 전용 홈페이지에서는 기술적인 궁금증을 해결할 수 있는 질의응답 게시판을 운영하며, 최신 버전의 소프트웨어 다운로드와 설치 방법, 단계별 사용자 가이드를 체계적으로 안내합니다. 특히 제공되는 다양한 워크플로 예제는 오픈 소스 기반의 프레임워크를 사용자가 직접 활용하거나 자신만의 비즈니스 로직에 맞춰 최적화된 인공지능 서비스를 설계할 수 있도록 돕는 유용한 지침서가 됩니다. 시스템에 접속하여 가장 먼저 마주하는 대시보드와 모니터링 탭은 전체 서비스의 운영 현황을 실시간으로 파악할 수 있는 관제 센터 역할을 합니다. 대시보드에서는 수행된 워크플로의 성공과 실패 여부, 실행 소요 시간 등 핵심적인 통계 정보를 시각화하여 제공하며, 현재 서빙 중인 인공지능 모델의 상태도 즉각적으로 확인이 가능합니다. 모니터링 기능을 통해 작업의 진행률을 체크하고 문제가 발생했을 때 상세 로그를 분석할 수 있는 환경은 중단 없는 안정적인 서비스 운영을 가능하게 만드는 중요한 요소입니다. 인공지능 서비스의 논리적 구조를 설계하는 워크플로 에디터는 드래그 앤 드롭 방식을 채택하여 복잡한 데이터 흐름을 시각적으로 구현합니다. '엔진'이라 불리는 기본 컨테이너 안에 데이터를 읽어오는 리더, 가공을 담당하는 오퍼레이터, 결과를 저장하는 라이터 등 5가지 필수 컴포넌트를 배치하여 하나의 완성된 연산 단위를 구성하게 됩니다. 이러한 설계 정보는 JSON 형태의 스펙 파일로 관리되므로, 임포트와 익스포트 기능을 활용하여 동료 개발자와 설계를 공유하거나 기존의 우수한 워크플로를 간편하게 재활용할 수 있습니다. 데이터의 성격과 처리 목적에 따라 13종에 달하는 다양한 엔진 유형을 선택하여 활용할 수 있습니다. 배치 엔진은 저장된 대용량 정보를 한 번에 읽어와 정기적으로 모델을 학습시키거나 대규모 데이터를 정제할 때 매우 효과적입니다. 반면 스트림 방식 엔진은 카프카와 같은 스트리밍 플랫폼과 연동하여 실시간으로 유입되는 데이터를 짧은 주기마다 끊어 처리함으로써 실시간성을 확보합니다. 이러한 유연한 구조 덕분에 개발자는 데이터의 규모나 속도에 상관없이 서비스 요구 사항에 가장 부합하는 처리 아키텍처를 손쉽게 구축할 수 있습니다. 지연 없는 처리가 중요한 실시간 스트림 환경을 위해 BeeAI는 고도화된 정제 및 복구 기술을 지원합니다. 네트워크 장애 등으로 늦게 도착한 데이터를 적절히 처리하는 워터마크 기능과 시스템 장애 시 이전 상태로 복구하기 위한 체크포인트 설정은 데이터 신뢰성을 보장하는 핵심 기능입니다. 또한 사용자의 요청에 즉각적으로 응답하는 온디맨드 서빙 엔진과 파이썬 모듈을 활용한 융합 서빙 기능은 복잡한 딥러닝 추론이나 전처리 로직을 REST API 형태로 간편하게 외부 서비스와 연결하여 실용적인 인공지능 응용 서비스를 완성해 줍니다. 인공지능 개발에 사용되는 모든 자산은 하둡 분산 파일 시스템(HDFS) 기반의 리포지토리에 통합되어 안전하게 관리됩니다. 개발자는 리포지토리를 통해 실습용 데이터 세트나 학습이 완료된 모델 파일을 자유롭게 업로드하고 관리할 수 있으며, 처리된 결과물에 대해서는 텍스트와 더불어 다양한 차트 형태의 시각화 도구를 활용해 데이터의 특성을 직관적으로 분석할 수 있습니다. 이러한 통합 저장 공간은 데이터의 이력을 관리하고 팀 단위의 협업을 수행하는 데 있어 필수적인 플랫폼 기반으로서의 역할을 충실히 수행합니다.

한국전자통신연구원

융합
공학·기술