피처엔지니어링

2 Contents

[카오스 짧강] TDA 활용 (GPR 탐사)

위상수학적 데이터 분석(TDA)은 최근 토목 분야의 비파괴 탐사 영역에서 혁신적인 도구로 주목받고 있습니다. 비파괴 탐사란 구조물을 파괴하지 않고 내부의 상태를 파악하는 기술로, 특히 도심의 안전을 위협하는 싱크홀 문제를 해결하는 데 중요한 역할을 합니다. 싱크홀은 지하수가 흐르며 생긴 공동이 커지면서 지표면이 무너지는 현상인데, 이를 사전에 탐지하기 위해 지표 투과 레이더(GPR)가 널리 사용됩니다. 하지만 GPR 데이터는 노이즈가 많고 지하의 돌이나 파이프가 공동과 유사한 형태로 나타나 정확한 판별이 어렵다는 한계가 있었습니다. 이러한 한계를 극복하기 위해 인공지능 모델에 위상수학적 데이터 분석(TDA)을 접목하는 시도가 이루어지고 있습니다. 이미지 데이터에서 '구멍'이라는 위상적 특징을 추출하여 학습 데이터에 포함시키는 피처 엔지니어링 기법을 활용하는 것입니다. 기존의 인공지능이 국소적인 픽셀 정보에만 의존했다면, TDA를 통해 얻은 글로벌한 위상적 정보를 함께 학습함으로써 탐사 성능을 획기적으로 향상시킬 수 있습니다. 이는 복잡한 데이터 속에서 본질적인 구조적 특징을 포착해내는 위상수학의 강점이 실제 산업 현장의 문제를 해결하는 강력한 무기가 될 수 있음을 보여주는 사례입니다. 위상수학적 데이터 분석(TDA)의 활용 가능성은 싱크홀 탐지에 그치지 않고 석유 시추나 기상 예측 등 데이터를 다루는 다양한 분야로 확장될 수 있습니다. 예를 들어 태풍의 눈과 같은 기상 현상의 구조적 특징을 분석하거나 지질 구조 내의 자원을 탐색하는 데에도 위상수학적 접근이 유효할 것입니다. 비록 위상수학이 학문적으로는 어렵고 생소하게 느껴질 수 있지만, 기존 분석 방법론이 직면한 한계를 돌파할 수 있는 미지의 영역이자 새로운 도구라는 점은 분명합니다. 데이터의 본질을 꿰뚫는 이 새로운 시각은 앞으로 더 많은 분야에서 기술적 진보를 이끌어낼 것으로 기대됩니다.

[카오스 짧강]  TDA 활용 (GPR 탐사)
카오스재단질토과 + 짧강

BeeAI 활용 교육 영상 (03) - [2단계] 데이터 배치 처리하기

데이터 분석의 여정은 수집된 데이터를 적재하는 것에서 시작되어 본격적인 처리 단계로 이어집니다. 적재된 데이터가 여러 테이블로 분산되어 있다면 가장 먼저 수행해야 할 작업은 리소스를 하나로 합치는 병합 과정입니다. 조인 기술을 활용해 흩어진 정보를 통합하고, 데이터의 형태는 동일하지만 구조가 다른 경우를 정제하여 분석이 가능한 상태로 만듭니다. 이 과정에서 중복된 데이터를 제거하고 결측치(Missing Value)나 이상치(Outlier)를 처리하는 전처리 작업은 데이터의 신뢰성을 확보하는 핵심적인 기초 공사가 됩니다. 정제된 데이터는 그대로 학습에 사용되기보다는 학습 효율을 고려해 축소하는 과정을 거치기도 합니다. 이는 컴퓨팅 리소스를 관리하고 학습 속도를 높이기 위한 필수적인 단계입니다. 특히 피처(Feature)의 수가 과도하게 많으면 모델이 학습 데이터에만 과하게 최적화되는 오버피팅(Overfitting) 현상이 발생할 수 있습니다. 이를 방지하기 위해 차원 축소 기법을 도입하거나 고품질의 모델 생성을 위해 변수 변환과 피처 엔지니어링(Feature Engineering)을 반복 수행하며 데이터의 전반적인 품질을 높여나가는 것이 일반적인 절차입니다. 데이터 처리 API는 이러한 일련의 과정을 효율적으로 지원하는 다양한 오퍼레이터를 제공합니다. 파일 병합이나 그룹화(Group By) 기능은 물론, 결측치(Missing Value)를 평균값이나 중앙값으로 대체하는 클렌징 오퍼레이터들이 대표적입니다. 결측치 처리 방식은 연구 분야가 매우 방대하여 상황에 따라 삭제하거나 특정 값으로 채우는 등 다양한 전략이 사용됩니다. 또한 시계열 데이터의 경우에는 분이나 시간 단위로 데이터를 축약하여 통계적 의미를 도출하는 유틸리티를 활용함으로써 데이터가 지닌 시간적 특성을 분석에 용이하게 변환할 수 있습니다. 데이터 처리가 스파크(Spark) 기반으로 이루어질 때는 데이터 타입 관리에 매우 유의해야 합니다. 기계는 사람이 보는 것과 달리 데이터의 위치나 형식을 엄격하게 구분하기 때문입니다. 예를 들어 타임스탬프 정보가 문자열로 적재되면 필터링이 제대로 작동하지 않을 수 있습니다. 스파크(Spark)는 데이터를 읽어올 때 타입을 추론하는 기능을 갖추고 있지만, 정확한 연산을 위해 사용자가 직접 타입을 변환하는 타입 캐스팅(Type Casting) 과정이 빈번하게 발생합니다. 이는 산술 연산이나 복잡한 쿼리 처리를 위한 필수적인 준비 단계라 할 수 있습니다. 특정 조건을 만족하는 데이터만을 추출하는 필터링 기능은 분석의 정밀도를 높여줍니다. 단순한 수치 비교부터 문자열 패턴 매칭, 그리고 특정 시간 범위를 지정하는 시계열 필터까지 다양한 방식이 활용됩니다. 특히 SQL 쿼리를 직접 사용하여 데이터를 조작하거나 전체 데이터 중 일부만을 무작위로 추출하는 샘플링 기법은 대규모 데이터셋을 다룰 때 매우 유용합니다. 이러한 기능들을 조합하면 수만 개의 행(Row)으로 이루어진 복잡한 데이터에서도 분석 목적에 부합하는 핵심 정보만을 효과적으로 추려낼 수 있습니다. 머신러닝 모델에 데이터를 입력하기 전에는 수치형 데이터로의 변환이 반드시 필요합니다. 스파크 ML(Spark ML)은 문자열 레이블이 포함될 경우 오류를 발생시키므로, 문자열 인덱서(String Indexer)를 통해 카테고리 데이터를 숫자로 변환하는 과정을 거칩니다. 또한 여러 피처(Feature) 컬럼(Column)을 하나의 벡터로 통합하는 벡터 어셈블러(Vector Assembler) 작업은 모델이 데이터를 인식할 수 있도록 만드는 필수 단계입니다. 원-핫 인코딩(One-Hot Encoding)이나 데이터 분할(Split)을 통해 학습용과 테스트용 데이터를 분리하는 작업까지 완료되어야 비로소 실질적인 모델 학습을 위한 준비가 끝났다고 볼 수 있습니다. 실제 환경에서는 이러한 일련의 과정이 워크플로우 형태로 구성되어 자동화됩니다. HDFS와 같은 분산 저장소에서 데이터를 불러와 전처리 오퍼레이터를 거친 뒤, K-평균(K-means) 군집화와 같은 알고리즘을 적용하여 결과를 도출하는 방식입니다. 사용자는 모니터링 페이지를 통해 전체 처리 과정을 실시간으로 확인하고, 작업이 완료되면 히스토리를 통해 분류 결과나 통계치를 텍스트 형태로 상세히 점검할 수 있습니다. 이러한 체계적인 데이터 처리 파이프라인은 복잡한 데이터로부터 가치 있는 통찰을 얻어내는 강력한 도구가 됩니다.

BeeAI 활용 교육 영상 (03) - [2단계] 데이터 배치 처리하기
한국전자통신연구원ETRI 클래스
  • 수학
  • 융합
  • 공학·기술