BeeAI 공모전 교육 영상(09) - 머신러닝 모델 서빙(122~124p)
머신러닝 모델의 학습이 완료된 후에는 이를 실제 서비스에 활용하는 서빙 단계가 필수적입니다. 이번 과정에서는 Apache Spark를 기반으로 구축된 모델을 실시간 스트림 환경에서 서빙하는 실습을 진행합니다. 전체 구조는 데이터를 생성하는 시뮬레이션 엔진, 예측을 수행하는 핵심 엔진, 그리고 결과를 검증하고 저장하는 밸리데이터 엔진으로 구성됩니다. 특히 중간 단계의 엔진은 학습된 모델을 로딩하고 유입되는 스트림 데이터를 처리하여 예측값을 산출하는 중추적인 역할을 담당하게 되며, 이는 전체 시스템의 성능을 결정짓는 핵심적인 요소가 됩니다. 실시간으로 입력되는 온도 데이터는 JSON 형식의 스트링으로 주입되며, 이를 모델이 이해할 수 있는 형태로 변환하는 과정이 필요합니다. 먼저 Column Select 오퍼레이터를 통해 처리 대상 컬럼을 지정하고, Min-Max 스케일링을 적용하여 데이터의 범위를 정규화합니다. 이후 Transpose 오퍼레이터를 사용하여 여러 개의 온도 데이터를 하나의 행으로 재구성하는데, 이는 AutoML로 학습된 모델이 데이터를 효과적으로 받아들여 예측을 수행할 수 있도록 하기 위함입니다. 이러한 전처리 과정은 데이터의 편향을 줄이고 예측의 정확도를 높이는 데 기여하는 중요한 단계라고 할 수 있습니다. 전처리가 완료된 데이터는 Spark ML Stream Predictor 오퍼레이터로 전달됩니다. 이 단계에서 미리 학습된 모델이 활성화되어 실시간 예측 쿼리를 수행하고 결과값을 도출합니다. 모델에서 출력된 예측값은 다시 한번 Min-Max 스케일링 오퍼레이터를 통해 역산 과정을 거칩니다. 이는 0과 1 사이로 압축되었던 결과값을 실제 온도 단위로 복원하여 사용자가 직관적으로 이해할 수 있는 의미 있는 수치로 만드는 작업입니다. 최종적으로 복원된 예측 데이터는 다음 프로세스로 전달되기 위해 대기하며, 실시간 모델 서비스의 완결성을 높여주는 역할을 수행합니다. 예측된 결과는 Kafka 라이터를 통해 지정된 토픽에 저장되며, 이후 세 번째 엔진인 File 라이터는 Kafka에 쌓인 데이터를 일정 주기로 읽어와 CSV 파일 형식으로 저장합니다. 저장된 파일에는 타임스탬프와 예측 라벨 컬럼이 포함되어 있어, 데이터가 시간에 따라 어떻게 변화하는지 상세히 추적할 수 있게 해줍니다. 이러한 파이프라인 구성은 실시간 데이터를 영구적인 저장소에 기록함과 동시에 사후 분석을 가능하게 만드는 기반이 됩니다. 또한 Kafka를 활용함으로써 데이터 전송의 유연성을 확보하고 대규모 트래픽 상황에서도 시스템이 안정적으로 작동할 수 있는 구조를 완성합니다. 시스템 운영의 편의성을 위해 제공되는 엔진 진행 상황 보기 기능을 활용하면, 저장된 예측 데이터를 시각화된 그래프 형태로 확인할 수 있습니다. 시간의 흐름을 X축으로, 예측된 온도 값을 Y축으로 설정하여 데이터의 주기성과 변동 추이를 한눈에 파악하는 것이 가능합니다. 스트림 서빙 예제는 사용자가 직접 종료하기 전까지 연속적으로 실행되며, 실시간으로 변화하는 온도 지표를 통해 모델의 서빙 성능을 실시간으로 모니터링할 수 있습니다. 이러한 시각화 도구는 복잡한 수치 데이터를 직관적인 정보로 변환해 주며, 향후 더 복잡한 딥러닝 모델 서빙으로 나아가기 위한 기술적 토대가 됩니다.
