BeeAI 공모전 교육 영상(03) - 데이터 배치 처리하기(50~75p)
비즈니스 인텔리전스(BI) 시스템에서 대량의 데이터를 효율적으로 처리하기 위해 배치 엔진을 활용합니다. 배치 엔진은 데이터를 읽어오는 리더, 특정 로직을 수행하는 오퍼레이터, 그리고 분석 결과를 저장하는 라이터라는 세 가지 핵심 컴포넌트로 구성됩니다. 이러한 구조를 통해 외부 헬스케어 플랫폼인 MedBitz와 같은 시스템에서 데이터를 수집하고, BI 내부에서 K-means 클러스터링 분석을 수행한 뒤 그 결과를 다시 외부 플랫폼으로 업로드하는 자동화된 워크플로우를 구현할 수 있습니다. MedBitz는 병원과 건강관리 기관들이 협력하여 구축한 IoT 및 의료 빅데이터 통합 플랫폼으로, 사용자에게 의료 데이터 저장소와 분석 서비스를 제공합니다. 특히 외부 개발자들이 이를 활용해 건강관리 서비스를 개발할 수 있도록 다양한 Open API를 지원하는 것이 특징입니다. 사용자는 플랫폼에서 제공하는 가상 파일 시스템 API를 통해 클라우드 저장소에 접근할 수 있으며, 이를 BI 시스템과 연동함으로써 실질적인 의료 데이터 분석 프로세스를 구축하고 개인 맞춤형 서비스를 위한 기초 데이터를 확보하게 됩니다. 안전한 데이터 연동을 위해서는 OAuth 2.0 기반의 인증 절차가 필수적입니다. BI 시스템 내의 레지스트리 메뉴를 활용하면 클라이언트 ID와 시크릿, 리다이렉트 URI 등의 인증 정보를 체계적으로 관리할 수 있습니다. 이를 통해 사용자는 매번 외부 플랫폼의 개발자 페이지를 방문하지 않고도 시스템 내에서 간편하게 액세스 토큰을 발급받아 API를 호출할 수 있습니다. 인증 자원과 API 정보를 서로 매핑하는 과정은 데이터 보안을 유지하면서도 외부 저장소와의 매끄러운 통신을 가능하게 만드는 핵심적인 단계입니다. 실제 분석 작업에서는 발급된 액세스 토큰을 컴포넌트의 필수 속성값으로 입력하여 데이터 접근 권한을 활성화합니다. MedBitz 파일 배치 리더가 클라우드에서 샘플 데이터를 가져오면, K-means 오퍼레이터가 데이터의 패턴을 분석하여 설정된 개수의 클러스터로 분류합니다. 처리가 완료된 결과 파일은 라이터를 통해 다시 외부 플랫폼의 출력 폴더로 업로드됩니다. 이러한 방식은 데이터의 수집부터 정교한 분석, 그리고 최종적인 저장까지의 전 과정을 단일 워크플로우 내에서 완결성 있게 처리하도록 지원합니다. 데이터 처리 효율을 높이기 위해 엣지 컴퓨팅 기술을 BI 시스템에 접목할 수 있습니다. 엣지 노드는 데이터 소스와 가까운 곳에서 데이터를 1차적으로 정제하여 코어 노드로 전송하는 역할을 수행합니다. 이는 분석 시스템의 응답 시간을 단축시키고 대규모 데이터 전송에 따른 네트워크 비용을 절감하는 효과가 있습니다. 또한, 민감한 개인정보를 엣지 단에서 사전에 필터링하거나 제거한 후 코어 노드로 보냄으로써 데이터 보안 위험을 차단하고 시스템 운영의 안정성을 확보할 수 있다는 큰 장점이 있습니다. 엣지 노드에서 전처리된 데이터는 코어 노드와의 원활한 공유를 위해 파일 시스템 엔진을 통해 관리됩니다. 배치 엔진이 1차 가공을 마친 데이터를 HDFS 저장소에 기록하면, 파일 시스템 엔진은 이를 읽어 Swift 레포지토리의 공유 폴더로 이동시킵니다. 이때 공유 폴더는 별도의 접근 권한 없이도 코어 노드가 데이터를 즉시 가져갈 수 있도록 설정된 공간입니다. 데이터는 주로 압축된 형태로 저장되어 전송 효율을 높이며, 코어 노드는 이 정제된 데이터를 활용해 고성능 컴퓨팅 환경에서 심화 분석이나 시각화 작업을 수행합니다. 복합적인 엔진으로 구성된 워크플로우의 안정적인 운영을 위해서는 실행 순서를 제어하는 설정이 중요합니다. 워크플로우 속성에서 배치 트리 방식을 활성화하면, 선행 엔진의 작업이 성공적으로 완료된 후에만 다음 단계의 엔진이 실행되도록 제어할 수 있습니다. 이는 데이터 의존성이 있는 단계별 분석 과정에서 발생할 수 있는 오류를 방지하고 분석 결과의 신뢰도를 보장합니다. 이러한 배치 처리와 노드 간 협업 구조는 향후 실시간 스트림 데이터 처리로 확장되어 더욱 역동적이고 지능적인 데이터 서비스를 가능하게 합니다.
