Loading...

클라우드저장소

2 Contents
최신순

우리, 데이터 나눔해요🙏 연구데이터 공유! 연구력 향상!

DataON은 전 세계의 연구 데이터를 한곳에서 검색하고 공유하며, 분석까지 수행할 수 있는 국가 연구 데이터 플랫폼입니다. 국내 R&D 과정에서 생산되는 수많은 데이터를 체계적으로 관리하고, 이를 통합하여 서비스함으로써 다양한 분야의 융합 연구가 가능한 생태계를 마련하는 것이 이 시스템의 핵심적인 목적입니다. 현재 이곳에서는 전 세계 연구 데이터 리포지토리로부터 수집된 130만 건 이상의 방대한 데이터를 제공하고 있어, 연구자들은 필요한 정보를 한곳에서 손쉽게 찾아내어 자신의 연구에 즉시 활용할 수 있는 기회를 얻게 됩니다. 플랫폼은 연구자들의 편의를 위해 혁신적인 기술 자원을 아낌없이 지원하고 있습니다. 'My ON' 서비스를 통해 개인 클라우드 저장 공간을 무료로 제공할 뿐만 아니라, KISTI의 슈퍼컴퓨팅 인프라를 활용한 GPU 기반 인공지능(AI) 분석 환경도 지원합니다. 연구자 개인의 PC 성능으로는 한계가 있는 고성능 컴퓨팅 자원을 누구나 신청하여 사용할 수 있다는 점은 큰 강점입니다. 이러한 고성능 자원 활용은 복잡한 데이터 분석의 효율성을 극대화하고, 연구자들이 기술적 제약 없이 더 나은 연구 성과를 도출할 수 있는 든든한 기술적 토대가 되어 줍니다. 단순한 데이터 제공을 넘어 연구자 간의 소통을 돕는 커뮤니티 서비스 역시 핵심적인 기능입니다. 전문가들은 이곳에서 자유롭게 정보를 교환하고 토론하며 새로운 융합 연구 아이디어를 제안하고 지식의 지평을 넓혀갑니다. 현재 플랫폼에는 112만 건 이상의 데이터셋과 국가 R&D 보고서에서 추출한 약 18만 건의 시각 자료, 그리고 분석용 소프트웨어들이 체계적으로 탑재되어 있습니다. 연구 수행에 필요한 전 과정을 지원하며 우수성을 인정받아 과학기술정보통신부 장관상을 수상하기도 한 이 플랫폼은, 현대 연구자들에게 없어서는 안 될 필수적인 디지털 연구 환경으로 자리매김하고 있습니다.

우리, 데이터 나눔해요🙏 연구데이터 공유! 연구력 향상!
한국과학기술정보연구원
  • 융합
  • 공학·기술

BeeAI 공모전 교육 영상(03) - 데이터 배치 처리하기(50~75p)

비즈니스 인텔리전스(BI) 시스템에서 대량의 데이터를 효율적으로 처리하기 위해 배치 엔진을 활용합니다. 배치 엔진은 데이터를 읽어오는 리더, 특정 로직을 수행하는 오퍼레이터, 그리고 분석 결과를 저장하는 라이터라는 세 가지 핵심 컴포넌트로 구성됩니다. 이러한 구조를 통해 외부 헬스케어 플랫폼인 MedBitz와 같은 시스템에서 데이터를 수집하고, BI 내부에서 K-means 클러스터링 분석을 수행한 뒤 그 결과를 다시 외부 플랫폼으로 업로드하는 자동화된 워크플로우를 구현할 수 있습니다. MedBitz는 병원과 건강관리 기관들이 협력하여 구축한 IoT 및 의료 빅데이터 통합 플랫폼으로, 사용자에게 의료 데이터 저장소와 분석 서비스를 제공합니다. 특히 외부 개발자들이 이를 활용해 건강관리 서비스를 개발할 수 있도록 다양한 Open API를 지원하는 것이 특징입니다. 사용자는 플랫폼에서 제공하는 가상 파일 시스템 API를 통해 클라우드 저장소에 접근할 수 있으며, 이를 BI 시스템과 연동함으로써 실질적인 의료 데이터 분석 프로세스를 구축하고 개인 맞춤형 서비스를 위한 기초 데이터를 확보하게 됩니다. 안전한 데이터 연동을 위해서는 OAuth 2.0 기반의 인증 절차가 필수적입니다. BI 시스템 내의 레지스트리 메뉴를 활용하면 클라이언트 ID와 시크릿, 리다이렉트 URI 등의 인증 정보를 체계적으로 관리할 수 있습니다. 이를 통해 사용자는 매번 외부 플랫폼의 개발자 페이지를 방문하지 않고도 시스템 내에서 간편하게 액세스 토큰을 발급받아 API를 호출할 수 있습니다. 인증 자원과 API 정보를 서로 매핑하는 과정은 데이터 보안을 유지하면서도 외부 저장소와의 매끄러운 통신을 가능하게 만드는 핵심적인 단계입니다. 실제 분석 작업에서는 발급된 액세스 토큰을 컴포넌트의 필수 속성값으로 입력하여 데이터 접근 권한을 활성화합니다. MedBitz 파일 배치 리더가 클라우드에서 샘플 데이터를 가져오면, K-means 오퍼레이터가 데이터의 패턴을 분석하여 설정된 개수의 클러스터로 분류합니다. 처리가 완료된 결과 파일은 라이터를 통해 다시 외부 플랫폼의 출력 폴더로 업로드됩니다. 이러한 방식은 데이터의 수집부터 정교한 분석, 그리고 최종적인 저장까지의 전 과정을 단일 워크플로우 내에서 완결성 있게 처리하도록 지원합니다. 데이터 처리 효율을 높이기 위해 엣지 컴퓨팅 기술을 BI 시스템에 접목할 수 있습니다. 엣지 노드는 데이터 소스와 가까운 곳에서 데이터를 1차적으로 정제하여 코어 노드로 전송하는 역할을 수행합니다. 이는 분석 시스템의 응답 시간을 단축시키고 대규모 데이터 전송에 따른 네트워크 비용을 절감하는 효과가 있습니다. 또한, 민감한 개인정보를 엣지 단에서 사전에 필터링하거나 제거한 후 코어 노드로 보냄으로써 데이터 보안 위험을 차단하고 시스템 운영의 안정성을 확보할 수 있다는 큰 장점이 있습니다. 엣지 노드에서 전처리된 데이터는 코어 노드와의 원활한 공유를 위해 파일 시스템 엔진을 통해 관리됩니다. 배치 엔진이 1차 가공을 마친 데이터를 HDFS 저장소에 기록하면, 파일 시스템 엔진은 이를 읽어 Swift 레포지토리의 공유 폴더로 이동시킵니다. 이때 공유 폴더는 별도의 접근 권한 없이도 코어 노드가 데이터를 즉시 가져갈 수 있도록 설정된 공간입니다. 데이터는 주로 압축된 형태로 저장되어 전송 효율을 높이며, 코어 노드는 이 정제된 데이터를 활용해 고성능 컴퓨팅 환경에서 심화 분석이나 시각화 작업을 수행합니다. 복합적인 엔진으로 구성된 워크플로우의 안정적인 운영을 위해서는 실행 순서를 제어하는 설정이 중요합니다. 워크플로우 속성에서 배치 트리 방식을 활성화하면, 선행 엔진의 작업이 성공적으로 완료된 후에만 다음 단계의 엔진이 실행되도록 제어할 수 있습니다. 이는 데이터 의존성이 있는 단계별 분석 과정에서 발생할 수 있는 오류를 방지하고 분석 결과의 신뢰도를 보장합니다. 이러한 배치 처리와 노드 간 협업 구조는 향후 실시간 스트림 데이터 처리로 확장되어 더욱 역동적이고 지능적인 데이터 서비스를 가능하게 합니다.

BeeAI 공모전 교육 영상(03) - 데이터 배치 처리하기(50~75p)
한국전자통신연구원
  • 융합
  • 공학·기술