데이터시각화

9 Contents

우리나라 R&D 정보를 한눈에 볼 수 있는! R&D TAB과 R&D TEMA

대한민국 과학기술의 경쟁력을 높이기 위해서는 흩어져 있는 R&D 정보를 통합하는 체계적인 시스템이 필수적입니다. 과거에는 각 부처와 기관별로 R&D 정보가 분산되어 있어 유사 연구가 중복되거나 정보 활용의 효율성이 떨어지는 한계가 있었습니다. 이러한 문제를 해결하기 위해 2008년 출범한 국가과학기술지식정보서비스(NTIS)는 현재 KISTI가 운영을 맡아 국가 R&D 정보의 허브 역할을 수행하고 있습니다. 이 서비스는 정보 열람의 차원을 넘어 수집부터 시각화, 분석, 예측에 이르기까지 전 과정을 체계화하며 국가 과학기술 정책 수립의 든든한 기반이 되고 있습니다. NTIS 센터는 사용자가 방대한 데이터를 더욱 똑똑하게 활용할 수 있도록 연구자 친화적인 방향으로 서비스를 개선하고 있습니다. 그중 하나인 'R&D TAB'은 국가 주요 과학기술 현안을 실시간으로 살필 수 있게 대시보드 형태의 분석 정보와 데이터셋을 지원합니다. 기존에는 사용자가 직접 키워드를 입력하고 일일이 데이터를 내려받아 가공해야 했으나, 이제는 시스템이 제공하는 가공된 결과물을 통해 복잡한 현황을 한눈에 파악할 수 있게 되었습니다. 이는 연구의 방향성을 설정하는 나침반 같은 역할을 하며 의사결정의 효율성을 극대화합니다. 'R&D THEMA' 서비스는 국가 R&D 사업의 시작부터 기술 이전 및 사업화 성과까지의 전 과정을 통합적으로 조망하게 해줍니다. 이를 통해 특정 기술 성과가 어떤 정책적 배경에서 발생했는지 체계적으로 분석할 수 있어, R&D 성과의 지도를 그려주는 중요한 도구가 됩니다. 이처럼 TAB과 THEMA 두 서비스를 유기적으로 활용하면 R&D의 흐름을 완벽하게 이해할 수 있습니다. 정보로 미래를 설계하는 시대에 맞춰, NTIS 센터는 앞으로도 연구자와 정책 입안자들이 데이터를 편리하게 활용할 수 있도록 돕는 과학기술 혁신의 중심이 될 것입니다.

우리나라 R&D 정보를 한눈에 볼 수 있는! R&D TAB과 R&D TEMA
한국과학기술정보연구원키스티 이런 곳입니다👾
  • 융합
  • 공학·기술

[카오스 짧강] Vietoris-Rips Complex

데이터는 개별적인 점으로 존재할 때는 그 의미를 파악하기 어렵지만, 멀리서 바라보면 구름처럼 특정한 모양을 형성합니다. 위상 데이터 분석(TDA)은 바로 이러한 데이터의 기하학적 구조를 파악하여 정보를 추출하는 혁신적인 기술입니다. 보이지 않는 데이터의 전개도를 그리는 과정은 연구자들에게 매우 중요한 과제이며, 내가 가진 데이터에 어떤 모양을 부여할 것인가를 결정하는 것이 위상 데이터 분석(TDA) 기술의 핵심적인 출발점이 됩니다. 데이터에 모양을 부여하는 대표적인 방법 중 하나는 '비토리스-립스 복합체'라는 아이디어입니다. 이는 가까운 거리에 있는 점들을 서로 연결하여 하나의 형태를 만드는 방식입니다. 이때 '가깝다'는 기준을 수학적으로 엄밀하게 정의하기 위해 임계값인 엡실론을 사용합니다. 엡실론 값을 0부터 서서히 키워나가면 떨어져 있던 점들이 하나둘 연결되면서 데이터의 구조가 변화하고, 그 과정에서 데이터가 가진 본질적인 모양이 서서히 드러나게 됩니다. 임계값이 변화함에 따라 수학자들은 베티 수를 계산하여 모양의 변화를 추적합니다. 베타 0은 연결된 덩어리의 개수를, 베타 1은 구멍의 개수를 의미합니다. 임계값이 커질수록 수많은 연결선이 나타나지만, 그중에서 오랫동안 유지되는 긴 선들은 데이터의 핵심적인 특징을 나타내고 금방 사라지는 짧은 선들은 노이즈로 간주합니다. 이러한 지속성을 분석하면 복잡한 데이터 속에 숨겨진 구조를 명확하게 파악하여 데이터의 분포를 짐작할 수 있습니다. 실제로 두 개의 구멍을 가진 8자 모양의 데이터를 분석해 보면, 베타 1에서 두 개의 긴 선이 뚜렷하게 관찰되는 것을 확인할 수 있습니다. 이는 데이터가 하나의 덩어리로 뭉쳐 있으면서도 내부에 두 개의 중요한 순환 구조를 가지고 있음을 시사합니다. 이처럼 수치화된 베티 수의 변화 과정을 시각적으로 해석함으로써, 우리는 직접 눈으로 확인할 수 없는 고차원 데이터가 어떤 기하학적 형상을 띠고 있는지 논리적으로 추론하고 그 특징을 규명할 수 있게 됩니다. 위상 데이터 분석(TDA)의 일차적인 목표는 데이터가 가진 고유한 모양을 밝혀내는 것입니다. 비록 모양 그 자체만으로는 즉각적인 실생활의 해답을 주지 못할지라도, 기존의 통계적 방법으로는 발견하기 어려웠던 데이터 내부의 구조적 정보를 추출해낸다는 점에서 매우 강력한 가치를 지닙니다. 데이터 마이닝의 새로운 지평을 여는 이 기술은 복잡한 정보의 바다 속에서 유의미한 통찰을 얻기 위한 필수적인 과정이며, 현대 데이터 과학의 중요한 축을 담당하고 있습니다.

[카오스 짧강]  Vietoris-Rips Complex
카오스재단질토과 + 짧강

[카오스 짧강] 위상수학적 데이터 분석법, TDA란..? (2)

우리가 일상에서 접하는 데이터는 단순한 수치의 나열을 넘어 고차원 공간상의 점으로 이해할 수 있습니다. 예를 들어 한 개인의 키, 몸무게, 나이 등 여러 지표를 수치화하면, 그 개수만큼의 차원을 가진 좌표가 생성됩니다. 데이터의 종류가 방대해질수록 우리가 상상하기 힘든 수십, 수백 차원의 공간에 점들이 찍히게 되는데, 인간은 3차원 세계에 살고 있어 이러한 고차원 데이터를 직관적으로 시각화하기 어렵습니다. 위상수학은 바로 이 지점에서 보이지 않는 고차원 데이터의 구조를 파악하는 실마리를 제공합니다. 기존의 통계학이나 데이터 분석 기법은 주로 고차원의 데이터를 눈에 보이는 저차원으로 축소하는 데 집중해 왔습니다. 선형대수학 등을 활용해 핵심적인 차원만을 남기고 나머지를 덜어내어 가시화하는 방식입니다. 반면 위상적 데이터 분석(TDA)은 차원을 억지로 줄이기보다 데이터가 고차원 공간에서 형성하고 있는 본연의 '모양'에 주목합니다. 평균이나 분산 같은 수치만으로는 파악할 수 없는 기하학적 구조를 유추함으로써 데이터가 숨기고 있는 고유한 의미를 찾아내는 것이 이 분석법의 핵심입니다. 이러한 분석법은 실전 전략 수립에도 유용하게 쓰일 수 있습니다. 농구 선수들의 신체 능력과 경기 기록 등 수십 가지 파라미터를 데이터화하여 고차원 공간에 점으로 뿌려보면, 선수들이 특정 기준에 따라 군집을 이루는 모습을 발견하게 됩니다. 이를 통해 공격이나 수비에 최적화된 그룹을 자동으로 분류하거나, 경기 상황에 따른 맞춤형 교체 전략을 세울 수 있습니다. 데이터 점들이 모여 이루는 구조 자체가 하나의 전략적 자산이 되는 셈입니다. 이는 단순히 숫자를 계산하는 것을 넘어 데이터 사이의 관계망을 형상화하는 과정이라 할 수 있습니다. 최근 인공지능 분야에서 TDA가 주목받는 이유는 AI의 국소적 정보 처리 한계를 극복하기 위해서입니다. 과거의 AI는 이미지의 부분적인 특징에만 집착하여, 판다 사진에 미세한 노이즈를 섞으면 이를 긴팔원숭이로 오판하는 오류를 범하곤 했습니다. 인간이 노이즈에 상관없이 전체적인 형상을 보고 판다임을 알아보는 것과 대조적입니다. TDA는 데이터의 지엽적인 변화에 휘둘리지 않고 전체적인 '전역적(Global) 정보'를 조망하는 위상수학의 특성을 활용합니다. 이를 통해 인공지능이 데이터를 보다 거시적이고 정확하게 이해할 수 있도록 돕습니다. 결국 TDA의 핵심은 무수히 많은 데이터 점들로부터 어떻게 유의미한 '모양'을 정의하고 추출하느냐에 달려 있습니다. 멀리서 보았을 때 데이터들이 이루는 구름 같은 형상 속에서 어떤 연결성을 찾아내고 전개도를 그리느냐가 분석의 성패를 좌우합니다. 연구자들은 각 데이터의 특성에 맞춰 최적의 위상적 모델을 설계하며, 보이지 않는 고차원의 세계를 해석 가능한 형태로 변환합니다. 데이터가 가진 기하학적 본질을 탐구하는 이 여정은 현대 데이터 과학이 직면한 복잡한 문제들을 해결하는 새로운 열쇠가 되고 있습니다.

[카오스 짧강] 위상수학적 데이터 분석법, TDA란..? (2)
카오스재단질토과 + 짧강

[카오스 짧강] TDA의 활용 사례 (의료, 스포츠)

위상 데이터 분석(TDA)은 데이터의 기하학적 구조를 파악하여 복잡한 정보 속에서 유의미한 패턴을 찾아내는 혁신적인 기술입니다. 과거 할리우드 배우 안젤리나 졸리가 유방암 예방 차원에서 수술을 받았을 당시에는 유전자 검사와 가족력에 기반한 모험적인 판단이 주를 이루었습니다. 하지만 오늘날 TDA를 활용하면 특정 개인의 생체 데이터가 어떤 군집에 속하는지 정밀하게 판단할 수 있습니다. 이는 단순히 질병의 유무를 확인하는 진단을 넘어, 미래의 발병 가능성을 예측하는 시대로의 전환을 의미합니다. 수학적 분석을 통해 데이터의 모양을 살핌으로써 예방적 차원의 의사결정을 더욱 체계적으로 돕는 것입니다. TDA의 핵심은 단순히 분석 속도를 높이거나 정확도를 개선하는 것에 그치지 않고, 데이터를 바라보는 새로운 시각을 제공한다는 점에 있습니다. 고차원 데이터는 수많은 변수가 얽혀 있어 기존의 방식으로는 그 본질적인 구조를 파악하기 어렵습니다. TDA는 이러한 데이터들이 형성하는 '모양'에 주목하여, 우리가 미처 발견하지 못했던 연결 고리를 찾아냅니다. 이는 정답이 정해져 있지 않은 복잡한 현실 세계의 문제를 해결하는 데 있어 매우 유용한 도구가 됩니다. 수치 뒤에 숨겨진 데이터의 위상학적 특징을 분석함으로써, 기존 통계학적 방법론이 놓치기 쉬운 세밀한 부분까지 포착하여 데이터의 진정한 의미를 해석할 수 있게 해줍니다. 이러한 분석 기법은 스포츠 분야에서도 놀라운 결과를 보여주었습니다. 선수들의 출전 시간과 득점력 등 수십 가지의 변수를 분석한 결과, 감독들이 직관적으로 수행하던 선수 조합과 운영 방식이 데이터상으로도 실재함을 입증했습니다. 공격이나 수비에 특화된 세부적인 역할 모델을 데이터의 기하학적 구조를 통해 확인한 것입니다. 이처럼 TDA는 의료와 스포츠를 넘어 다양한 분야에서 인간의 경험을 과학적으로 뒷받침하고, 복잡한 정보 속에서 새로운 통찰력을 이끌어내는 강력한 수단으로 자리 잡고 있습니다. 데이터의 형태를 통해 현상의 본질을 꿰뚫는 이 기술은 앞으로 더 많은 영역에서 그 가치를 증명할 것입니다.

[카오스 짧강] TDA의 활용 사례 (의료, 스포츠)
카오스재단질토과 + 짧강

[질문과 토론의 과학 #10] 📊모든 것은 통계다!

통계학의 세계에서 시공간 자료는 자료가 관측된 공간 정보와 시간 정보를 동시에 포함하는 특별한 형태를 의미합니다. 단순히 숫자의 나열을 넘어, 특정 현상이 '어디서' 그리고 '언제' 발생했는지를 함께 기록함으로써 자료의 맥락을 풍부하게 만듭니다. 이러한 자료를 분석하는 대표적인 방법 중 하나인 '크리깅'은 미관측 지점의 값을 주변 자료를 통해 예측하는 기법입니다. 예를 들어, 서울 시내 일부 지역에만 설치된 측정 장비의 자료를 활용해 장비가 없는 미관측 지점의 미세먼지 농도를 정밀하게 추정하는 것이 가능해집니다. 시공간 자료 분석의 활용 범위는 기상 관측을 넘어 경제와 사회 분야까지 광범위하게 뻗어 있습니다. 각 지역의 범죄 발생률이나 실업률 같은 경제 지표는 물론, 독감 확진자의 거주지 분포를 분석하여 질병의 확산 경로를 파악하는 데에도 유용하게 쓰입니다. 흥미롭게도 이러한 분석은 거대한 우주의 신비를 푸는 천문학 연구에도 적용됩니다. 멀리 떨어진 별의 빛이 지구에 도달하기까지 걸리는 시간과 공간 정보를 결합하면 우주의 지도를 그릴 수 있으며, 이를 통해 초기 우주의 구조나 우주의 나이를 추정하는 기초 과학적 성과를 거둘 수 있습니다. 통계학은 단순히 수학적인 증명에 머무르는 학문이 아니라, 현실 세계의 복잡한 질문에 답을 내놓는 과정에서 그 진가를 발휘합니다. 이론 통계학이 분석 결과의 타당성을 검증하는 수학적 토대를 마련한다면, 응용 통계학은 구체적인 사회적 문제를 해결하는 실천적인 도구가 됩니다. 뉴욕시의 노후화된 전기 배선으로 인한 맨홀 뚜껑 폭발 사고를 예측하여 사전에 방지한 사례는 통계학의 실용성을 잘 보여줍니다. 위험 요소를 미리 파악하고 관리함으로써 인명 피해를 줄이는 성과를 거둔 이 연구는 자료가 어떻게 시민의 안전을 지키는 기술로 변모하는지 증명합니다. 역사적인 사건 속에서도 통계학은 결정적인 통찰을 제공해 왔습니다. 제2차 세계대전 당시 독일군이 런던을 향해 발사한 미사일이 정밀한 유도 기능을 갖췄는지를 판단하기 위해 통계적 검정이 활용되었습니다. 당시 영국군은 미사일이 떨어진 위치 자료를 수집하여 이것이 특정 목표를 겨냥한 군집 형태인지, 아니면 무작위적인 분포인지를 분석했습니다. 분석 결과 미사일의 낙하 지점은 무작위적인 것으로 밝혀졌고, 이를 통해 당시 독일군의 기술 수준을 정확히 파악할 수 있었습니다. 이처럼 통계는 불확실한 상황에서 객관적인 결론을 도출하는 강력한 무기가 됩니다. 최근 통계학은 인문학과의 결합을 통해 '디지털 인문학'이라는 새로운 영역을 개척하고 있습니다. 과거의 기록을 디지털화하여 시공간 자료로 재구성하면, 19세기 샌프란시스코의 마구간 위치를 통해 도시의 팽창 과정을 시각화하거나 미국 우체국의 개폐 이력을 분석해 인구 이동의 흐름을 추적할 수 있습니다. 문헌 기록이 부족한 시대라도 우체국 위치와 같은 간접적인 지표를 통계적으로 분석하면 역사의 숨겨진 맥락을 읽어낼 수 있습니다. 이처럼 통계학은 과거와 현재를 잇고 미래를 예측하는 무궁무진한 가능성을 지닌 학문으로 진화하고 있습니다.

[질문과 토론의 과학 #10] 📊모든 것은 통계다!
카오스재단질토과 + 짧강

[COVID-19_talk_18] The most important reason that data is important _Woncheol Jang | 18강

코로나19라는 전례 없는 위기 상황에서 데이터는 방역의 나침반 역할을 해왔습니다. 인도의 사례를 보면, 확진자가 수백 명에 불과하던 초기 단계에서 데이터 과학자들의 예측을 근거로 13억 인구의 전국 봉쇄라는 과감한 결정을 내렸습니다. 이는 단순히 감에 의존한 것이 아니라, 기하급수적인 확산 가능성을 수치로 확인했기에 가능한 선제적 대응이었습니다. 초기 대응의 시점이 방역의 성패를 가르는 핵심임을 인도의 사례는 데이터 기반의 의사결정을 통해 명확히 보여줍니다. 정보의 홍수 속에서 데이터를 올바르게 해석하는 시각화의 중요성도 커졌습니다. 단순히 누적 검사 수만 보면 검사가 원활히 늘어나는 것처럼 보일 수 있지만, 일일 신규 검사 수를 분석하면 실질적인 방역 속도를 더 정확히 파악할 수 있습니다. 또한, 감염병 확산처럼 폭발적으로 증가하는 데이터는 로그 스케일을 활용해야 그 추세를 명확히 읽어낼 수 있습니다. 잘못된 시각화는 대중에게 왜곡된 정보를 전달할 위험이 있기에, 데이터를 다루는 통계적 전문성이 반드시 뒷받침되어야 합니다. 뉴욕타임스와 파이낸셜 타임스 같은 주요 언론들은 정교한 데이터 시각화를 통해 전 세계의 코로나 현황을 일목요연하게 전달했습니다. 국가별 확진자 추이를 색상과 그래프로 표현하여 위험 지역을 식별하고, 바이러스가 대도시를 거쳐 어떻게 전역으로 확산되었는지 시각적으로 묘사했습니다. 이러한 시각화 작업은 복잡한 통계 수치를 직관적인 정보로 변환하여, 일반 대중이 팬데믹의 심각성과 흐름을 이해하는 데 결정적인 기여를 했습니다. 이는 데이터가 소통의 도구로서 얼마나 강력한지 증명합니다. 대규모 인원을 효율적으로 검사하기 위한 방안으로 '집단 검사' 방식이 다시 주목받고 있습니다. 1943년 도프만 교수가 제안한 이 방법은 여러 명의 샘플을 하나로 섞어 검사한 뒤, 양성이 나올 경우에만 세분화하여 재검사하는 원리입니다. 이 방식은 검사 횟수를 획기적으로 줄여 비용과 시간을 절약할 수 있게 해줍니다. 과거의 아이디어가 현대의 기술 및 통계적 기법과 결합하여 감염병 확산을 막는 강력한 도구로 재탄생한 셈입니다. 이는 효율적인 자원 배분이 필요한 방역 현장에서 매우 유용합니다. 미국의 코넬 대학교와 스탠퍼드 대학병원은 집단 검사를 실제 방역 시스템에 도입하여 캠퍼스와 병원의 안전을 지키고 있습니다. 모든 구성원을 5일에 한 번씩 주기적으로 검사함으로써 지역사회 내 무증상 감염자를 조기에 발견하는 것이 핵심입니다. 특히 유병률이 낮은 집단에서 집단 검사는 그 효율성이 극대화됩니다. 이는 추적과 격리가 어려운 환경에서 대규모 인원을 상시 모니터링할 수 있는 현실적인 대안으로 평가받고 있으며, 경제 활동을 유지하면서도 방역을 지속할 수 있는 기반이 됩니다. 데이터 시각화는 단순히 예쁜 그림을 그리는 작업이 아니라, 깊이 있는 통계적 통찰력이 필요한 전문 영역입니다. 뉴욕타임스의 사례처럼 통계적 배경지식을 갖춘 전문가들이 데이터를 가공하고 해석할 때 비로소 가치 있는 정보가 탄생합니다. 자동화된 툴이 발전하더라도 응급 상황에서 데이터를 올바르게 판단하고 대응하는 것은 결국 인간의 몫입니다. 따라서 데이터 과학자는 수치 뒤에 숨겨진 진실을 읽어내는 안목을 갖추어야 하며, 이는 정책 결정의 신뢰도를 높이는 중요한 요소가 됩니다. 통계학자는 이제 모든 분야의 뒤뜰에서 함께 뛰어노는 존재가 되었습니다. 코로나19의 실시간 치사율을 예측하거나 집단 검사의 효율적인 알고리즘을 연구하는 등, 데이터 기반의 의사결정은 우리 사회의 안전을 지키는 핵심 동력이 되었습니다. 쏟아지는 데이터 속에서 유의미한 가치를 찾아내고 이를 정책에 반영하는 과정은 앞으로 더욱 중요해질 것입니다. 슬기로운 통계학자의 시선으로 데이터를 바라보는 것은 팬데믹 이후의 세상을 준비하고 더 나은 미래를 설계하는 중요한 밑거름이 됩니다.

[COVID-19_talk_18]  The most important reason that data is important _Woncheol Jang

장원철

카오스재단코로나19 과학토크
  • 생명과학
  • 융합

[코로나TALK-18] 트럼프는 틀렸다! 지금 데이터가 가장 중요한 이유 _장원철 교수 | 18강

코로나19라는 전 지구적 위기 상황에서 데이터는 단순한 숫자를 넘어 방역의 핵심 지표로 활용되었습니다. 인도의 사례를 보면, 확진자가 수백 명에 불과하던 초기 단계에서 데이터 과학자들의 예측 모델을 근거로 13억 인구에 대한 전국 봉쇄라는 과감한 결단을 내렸습니다. 이는 감염병의 기하급수적인 증가 추세를 미리 파악하고 선제적으로 대응한 결과로, 만약 이러한 데이터 기반의 의사결정이 없었다면 인도의 확진자 수는 예측치인 2,000만 명을 훨씬 상회하며 통제 불능의 재앙으로 이어졌을 것입니다. 데이터는 정책의 효과를 검증하고 미래를 설계하는 데에도 결정적인 역할을 합니다. 인도의 전국 봉쇄는 단기적인 확산 억제를 넘어 사회적 거리두기와 여행 금지 등 다양한 방역 전략이 결합되었을 때 비로소 장기적인 효과를 거둘 수 있음을 보여주었습니다. 특히 누적 확진자 수의 증가 폭을 완만하게 조절하는 '플래트닝 더 커브(Flattening the curve)' 전략은 의료 시스템의 붕괴를 막는 핵심이 되었으며, 이는 정교한 데이터 분석을 통해 각국 정부가 방역의 강도를 조절하는 과학적 근거가 되었습니다. 정보의 홍수 속에서 올바른 정보를 선별하기 위해 데이터 시각화의 중요성은 더욱 커지고 있습니다. 단순히 누적 검사 횟수만을 강조하는 그래프는 실제 방역 현황을 왜곡할 수 있으며, 매일 시행되는 신규 검사 수와 양성률을 함께 살펴봐야 정확한 진단이 가능합니다. 시각화는 복잡한 통계 수치를 직관적인 그림이나 지도로 변환하여 대중이 감염병의 확산 경로와 위험도를 쉽게 이해하도록 돕습니다. 이는 잘못된 정보로 인한 혼란을 방지하고 사회적 합의를 이끌어내는 강력한 도구가 됩니다. 뉴욕 타임스와 파이낸셜 타임스 같은 주요 언론들은 로그 스케일과 스무딩 스플라인 기법을 활용해 국가별 확진 추세를 정교하게 시각화했습니다. 로그 스케일은 확진자 수가 급격히 차이 나는 국가들을 동일한 선상에서 비교할 수 있게 해주며, 변동성이 큰 일일 데이터를 매끄러운 곡선으로 표현함으로써 전체적인 유행의 흐름을 명확히 보여줍니다. 이러한 시각적 분석은 바이러스가 특정 도시에서 시작해 비행기 경로를 타고 전 세계로 퍼져나가는 과정을 입체적으로 묘사하여 방역의 사각지대를 찾아내는 데 기여합니다. 대규모 인원을 효율적으로 검사하기 위한 방안으로 1943년에 제안된 '집단 검사(Group Testing)' 기법이 다시 주목받고 있습니다. 이는 여러 사람의 샘플을 하나로 섞어 검사한 뒤, 양성이 나올 경우에만 해당 그룹을 세분화하여 재검사하는 방식입니다. 이 방법은 감염자가 적은 집단에서 검사 횟수를 획기적으로 줄여 시간과 비용을 절감할 수 있게 합니다. 과거 성병 검사를 위해 고안된 오래된 통계적 아이디어가 현대의 분자 진단 기술과 결합하여 팬데믹 상황을 타개할 새로운 해결책으로 부활한 셈입니다. 미국의 코넬 대학교와 스탠퍼드 대학교 병원은 이러한 집단 검사 시스템을 도입하여 캠퍼스 정상화를 시도하고 있습니다. 수만 명의 구성원을 주기적으로 검사하기 위해서는 막대한 비용이 발생하지만, 집단 검사 알고리즘을 적용하면 검사 효율을 극대화할 수 있습니다. 특히 유병률이 낮은 환경에서는 한 번에 수십 명의 샘플을 섞어 검사함으로써 전체 검사 비용을 10분의 1 수준으로 낮추는 것이 가능합니다. 이는 경제 활동을 유지하면서도 감염원을 조기에 발견하여 격리할 수 있는 현실적인 대안이 되고 있습니다. 현대 통계학자와 데이터 과학자들은 이제 연구실이라는 '뒤뜰'을 벗어나 사회의 중요한 의사결정이 이루어지는 '앞뜰'에서 활약하고 있습니다. 코로나19 대응 과정에서 보여준 데이터 기반의 예측과 시각화, 그리고 효율적인 검사 알고리즘은 공공보건 정책의 신뢰도를 높이는 데 결정적인 역할을 했습니다. 시시각각 변하는 데이터 속에서 숨겨진 진실을 찾아내고 이를 바탕으로 최선의 선택을 내리는 과정은, 앞으로 우리가 마주할 수많은 사회적 난제를 해결하는 데 있어 가장 강력한 무기가 될 것입니다.

[코로나TALK-18] 트럼프는 틀렸다! 지금 데이터가 가장 중요한 이유  _장원철 교수

장원철

카오스재단코로나19 과학토크
  • 생명과학
  • 융합

BeeAI 공모전 교육 영상(09) - 머신러닝 모델 서빙(122~124p)

머신러닝 모델의 학습이 완료된 후에는 이를 실제 서비스에 활용하는 서빙 단계가 필수적입니다. 이번 과정에서는 Apache Spark를 기반으로 구축된 모델을 실시간 스트림 환경에서 서빙하는 실습을 진행합니다. 전체 구조는 데이터를 생성하는 시뮬레이션 엔진, 예측을 수행하는 핵심 엔진, 그리고 결과를 검증하고 저장하는 밸리데이터 엔진으로 구성됩니다. 특히 중간 단계의 엔진은 학습된 모델을 로딩하고 유입되는 스트림 데이터를 처리하여 예측값을 산출하는 중추적인 역할을 담당하게 되며, 이는 전체 시스템의 성능을 결정짓는 핵심적인 요소가 됩니다. 실시간으로 입력되는 온도 데이터는 JSON 형식의 스트링으로 주입되며, 이를 모델이 이해할 수 있는 형태로 변환하는 과정이 필요합니다. 먼저 Column Select 오퍼레이터를 통해 처리 대상 컬럼을 지정하고, Min-Max 스케일링을 적용하여 데이터의 범위를 정규화합니다. 이후 Transpose 오퍼레이터를 사용하여 여러 개의 온도 데이터를 하나의 행으로 재구성하는데, 이는 AutoML로 학습된 모델이 데이터를 효과적으로 받아들여 예측을 수행할 수 있도록 하기 위함입니다. 이러한 전처리 과정은 데이터의 편향을 줄이고 예측의 정확도를 높이는 데 기여하는 중요한 단계라고 할 수 있습니다. 전처리가 완료된 데이터는 Spark ML Stream Predictor 오퍼레이터로 전달됩니다. 이 단계에서 미리 학습된 모델이 활성화되어 실시간 예측 쿼리를 수행하고 결과값을 도출합니다. 모델에서 출력된 예측값은 다시 한번 Min-Max 스케일링 오퍼레이터를 통해 역산 과정을 거칩니다. 이는 0과 1 사이로 압축되었던 결과값을 실제 온도 단위로 복원하여 사용자가 직관적으로 이해할 수 있는 의미 있는 수치로 만드는 작업입니다. 최종적으로 복원된 예측 데이터는 다음 프로세스로 전달되기 위해 대기하며, 실시간 모델 서비스의 완결성을 높여주는 역할을 수행합니다. 예측된 결과는 Kafka 라이터를 통해 지정된 토픽에 저장되며, 이후 세 번째 엔진인 File 라이터는 Kafka에 쌓인 데이터를 일정 주기로 읽어와 CSV 파일 형식으로 저장합니다. 저장된 파일에는 타임스탬프와 예측 라벨 컬럼이 포함되어 있어, 데이터가 시간에 따라 어떻게 변화하는지 상세히 추적할 수 있게 해줍니다. 이러한 파이프라인 구성은 실시간 데이터를 영구적인 저장소에 기록함과 동시에 사후 분석을 가능하게 만드는 기반이 됩니다. 또한 Kafka를 활용함으로써 데이터 전송의 유연성을 확보하고 대규모 트래픽 상황에서도 시스템이 안정적으로 작동할 수 있는 구조를 완성합니다. 시스템 운영의 편의성을 위해 제공되는 엔진 진행 상황 보기 기능을 활용하면, 저장된 예측 데이터를 시각화된 그래프 형태로 확인할 수 있습니다. 시간의 흐름을 X축으로, 예측된 온도 값을 Y축으로 설정하여 데이터의 주기성과 변동 추이를 한눈에 파악하는 것이 가능합니다. 스트림 서빙 예제는 사용자가 직접 종료하기 전까지 연속적으로 실행되며, 실시간으로 변화하는 온도 지표를 통해 모델의 서빙 성능을 실시간으로 모니터링할 수 있습니다. 이러한 시각화 도구는 복잡한 수치 데이터를 직관적인 정보로 변환해 주며, 향후 더 복잡한 딥러닝 모델 서빙으로 나아가기 위한 기술적 토대가 됩니다.

BeeAI 공모전 교육 영상(09) - 머신러닝 모델 서빙(122~124p)
한국전자통신연구원ETRI 클래스
  • 융합
  • 공학·기술

BeeAI 활용 교육 영상(01) - BeeAI 웹툴킷 개요 및 사용법

인공지능 서비스를 구축하기 위해서는 데이터의 수집부터 가공, 모델 학습, 그리고 실제 서비스로 이어지는 복잡한 전주기적인 과정이 필요합니다. BeeAI는 이러한 일련의 단계를 체계적으로 관리할 수 있는 통합 프레임워크를 제공하여 개발 효율성을 극대화하는 데 중점을 둡니다. 데이터 적재와 처리를 통해 학습용 데이터를 생성하고, 이를 기반으로 최적의 인공지능 모델을 만들어 실제 환경에 서빙하는 4단계의 순환 주기는 인공지능 개발의 핵심적인 기반이 됩니다. 사용자의 편의를 위해 BeeAI는 직관적인 웹 툴킷과 함께 기술 지원을 위한 상세한 매뉴얼을 제공합니다. 전용 홈페이지에서는 기술적인 궁금증을 해결할 수 있는 질의응답 게시판을 운영하며, 최신 버전의 소프트웨어 다운로드와 설치 방법, 단계별 사용자 가이드를 체계적으로 안내합니다. 특히 제공되는 다양한 워크플로 예제는 오픈 소스 기반의 프레임워크를 사용자가 직접 활용하거나 자신만의 비즈니스 로직에 맞춰 최적화된 인공지능 서비스를 설계할 수 있도록 돕는 유용한 지침서가 됩니다. 시스템에 접속하여 가장 먼저 마주하는 대시보드와 모니터링 탭은 전체 서비스의 운영 현황을 실시간으로 파악할 수 있는 관제 센터 역할을 합니다. 대시보드에서는 수행된 워크플로의 성공과 실패 여부, 실행 소요 시간 등 핵심적인 통계 정보를 시각화하여 제공하며, 현재 서빙 중인 인공지능 모델의 상태도 즉각적으로 확인이 가능합니다. 모니터링 기능을 통해 작업의 진행률을 체크하고 문제가 발생했을 때 상세 로그를 분석할 수 있는 환경은 중단 없는 안정적인 서비스 운영을 가능하게 만드는 중요한 요소입니다. 인공지능 서비스의 논리적 구조를 설계하는 워크플로 에디터는 드래그 앤 드롭 방식을 채택하여 복잡한 데이터 흐름을 시각적으로 구현합니다. '엔진'이라 불리는 기본 컨테이너 안에 데이터를 읽어오는 리더, 가공을 담당하는 오퍼레이터, 결과를 저장하는 라이터 등 5가지 필수 컴포넌트를 배치하여 하나의 완성된 연산 단위를 구성하게 됩니다. 이러한 설계 정보는 JSON 형태의 스펙 파일로 관리되므로, 임포트와 익스포트 기능을 활용하여 동료 개발자와 설계를 공유하거나 기존의 우수한 워크플로를 간편하게 재활용할 수 있습니다. 데이터의 성격과 처리 목적에 따라 13종에 달하는 다양한 엔진 유형을 선택하여 활용할 수 있습니다. 배치 엔진은 저장된 대용량 정보를 한 번에 읽어와 정기적으로 모델을 학습시키거나 대규모 데이터를 정제할 때 매우 효과적입니다. 반면 스트림 방식 엔진은 카프카와 같은 스트리밍 플랫폼과 연동하여 실시간으로 유입되는 데이터를 짧은 주기마다 끊어 처리함으로써 실시간성을 확보합니다. 이러한 유연한 구조 덕분에 개발자는 데이터의 규모나 속도에 상관없이 서비스 요구 사항에 가장 부합하는 처리 아키텍처를 손쉽게 구축할 수 있습니다. 지연 없는 처리가 중요한 실시간 스트림 환경을 위해 BeeAI는 고도화된 정제 및 복구 기술을 지원합니다. 네트워크 장애 등으로 늦게 도착한 데이터를 적절히 처리하는 워터마크 기능과 시스템 장애 시 이전 상태로 복구하기 위한 체크포인트 설정은 데이터 신뢰성을 보장하는 핵심 기능입니다. 또한 사용자의 요청에 즉각적으로 응답하는 온디맨드 서빙 엔진과 파이썬 모듈을 활용한 융합 서빙 기능은 복잡한 딥러닝 추론이나 전처리 로직을 REST API 형태로 간편하게 외부 서비스와 연결하여 실용적인 인공지능 응용 서비스를 완성해 줍니다. 인공지능 개발에 사용되는 모든 자산은 하둡 분산 파일 시스템(HDFS) 기반의 리포지토리에 통합되어 안전하게 관리됩니다. 개발자는 리포지토리를 통해 실습용 데이터 세트나 학습이 완료된 모델 파일을 자유롭게 업로드하고 관리할 수 있으며, 처리된 결과물에 대해서는 텍스트와 더불어 다양한 차트 형태의 시각화 도구를 활용해 데이터의 특성을 직관적으로 분석할 수 있습니다. 이러한 통합 저장 공간은 데이터의 이력을 관리하고 팀 단위의 협업을 수행하는 데 있어 필수적인 플랫폼 기반으로서의 역할을 충실히 수행합니다.

BeeAI 활용 교육 영상(01) - BeeAI 웹툴킷 개요 및 사용법
한국전자통신연구원ETRI 클래스
  • 융합
  • 공학·기술