차원축소

3 Contents

[강연] 다시 돌아본 2024년 "세상에 나쁜 수학은 없다" 2 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 9강 두 번째 이야기 | 9강 ②

열 방정식은 열이라는 물리적 대상이 시간에 따라 공간 속에서 어떻게 확산되는지를 정교하게 묘사하는 도구입니다. 초승달 모양의 열판에 열이 가해졌을 때 시간이 흐르며 열이 고르게 퍼져나가는 현상을 수식으로 나타낸 것이죠. 이 방정식의 핵심은 온도의 시간적 변화율이 공간에 대한 이계도함수와 연결된다는 점에 있습니다. 이는 단순히 열의 이동을 설명하는 것을 넘어 입자의 운동이나 현대 인공지능의 확산 모델에까지 응용되는 기초 원리가 됩니다. 확산 현상을 바라보는 관점은 거시적일 수도, 미시적일 수도 있습니다. 미시적 관점에서는 입자가 무작위로 움직이는 '무작위 행보'나 '브라운 운동'으로 설명됩니다. 동전을 던져 앞면이 나오면 왼쪽, 뒷면이 나오면 오른쪽으로 가는 무작위 행보의 확률을 미분의 정의와 테일러 전개를 통해 계산하면 놀랍게도 거시적인 열 방정식이 유도됩니다. 이는 개별 입자의 불확실한 움직임이 모여 전체적인 확산이라는 규칙적인 흐름을 만들어냄을 보여주는 수학적 증거입니다. 최근 주목받는 인공지능의 확산 모델 역시 열 방정식의 원리를 활용합니다. 이미지에 무작위 노이즈를 추가하는 과정은 열이 퍼지는 순방향 확산 과정과 닮아 있으며, 이를 역방향 확산 과정으로 추적해 노이즈를 제거하면 새로운 이미지가 생성됩니다. 이러한 복잡한 수학적 원리를 시각적으로 이해하기 위해 '이매지너리'와 같은 플랫폼이 활용되기도 합니다. 수식 속에 숨겨진 정보의 흐름을 눈으로 확인하며 화산재의 확산이나 바람의 방향 같은 실제 자연 현상을 시뮬레이션할 수 있습니다. 정보의 시대를 지탱하는 또 다른 강력한 도구는 특이값 분해(SVD)입니다. 행렬은 하나의 벡터를 다른 벡터로 변환하는 연산자 역할을 하는데, 특이값 분해(SVD)는 이 복잡한 변환을 회전과 늘림, 그리고 다시 회전이라는 세 가지 단계로 쪼개어 분석합니다. 임의의 행렬을 세 개의 특수한 행렬 곱으로 분해함으로써 데이터가 가진 본질적인 구조를 파악할 수 있게 됩니다. 이는 복잡하게 얽힌 정보들 사이에서 핵심적인 기저가 무엇인지 찾아내는 과정이라 할 수 있습니다. 특이값 분해(SVD)의 가장 대표적인 응용 분야는 데이터 압축과 차원 축소입니다. 이미지의 픽셀 정보를 행렬로 나타낸 뒤 특이값 분해(SVD)를 적용하면, 중요도가 낮은 정보들을 과감히 제거하고 핵심적인 특이값들만 남겨 원래 이미지를 효율적으로 재구성할 수 있습니다. 또한 주성분 분석(PCA)을 통해 고차원의 데이터를 저차원으로 축소함으로써 복잡한 데이터 속에 내재된 패턴을 찾아냅니다. 예를 들어 여러 과목의 성적 데이터에서 학생의 문과적 혹은 이과적 성향이라는 핵심 지표를 추출하는 식입니다. 코시-슈바르츠 부등식은 벡터 공간을 이해하는 가장 기본적인 관계식입니다. 두 벡터의 내적값이 각 벡터의 길이의 곱을 절대 넘을 수 없다는 이 절대 부등식은 기하학적으로 두 벡터 사이의 각도와 투영의 개념을 담고 있습니다. 내적을 통해 두 벡터가 얼마나 같은 방향을 향하고 있는지, 혹은 서로 독립적인지를 수치화할 수 있습니다. 이는 단순히 수학적 정리를 넘어 데이터 사이의 유사도를 측정하는 핵심적인 척도가 되어 현대 과학의 다양한 분야에서 활용됩니다. 이러한 내적의 개념과 코시-슈바르츠 부등식은 오늘날 OTT 서비스의 영화 추천 알고리즘이나 챗GPT 같은 자연어 처리 모델의 근간이 됩니다. 사용자의 선호도 벡터와 콘텐츠 벡터 사이의 상관관계를 분석하여 최적의 결과를 도출해내는 것이죠. 열 방정식부터 특이값 분해(SVD), 그리고 코시-슈바르츠 부등식에 이르기까지, 이들은 서로 다른 형태를 띠고 있지만 복잡한 세상을 단순화하고 그 속에 숨겨진 근본적인 질서를 찾아낸다는 공통점을 가집니다. 수학은 이처럼 보이지 않는 곳에서 세상을 움직이고 있습니다.

[강연] 다시 돌아본 2024년 "세상에 나쁜 수학은 없다" 2 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 9강 두 번째 이야기

박형주

카오스재단카오스강연
  • 수학

[국립광주과학관xGIST] 8월 과학스쿨 - 초등학생을 위한 인공지능

인공지능(AI)은 '사람이 만든 생각하는 능력'을 의미합니다. 우리 주변의 스마트폰이나 컴퓨터 안에서 소프트웨어 형태로 존재하며, 전기 신호를 계산해 복잡한 판단을 내립니다. 얼굴 인식이나 자율주행 자동차, 드론의 경로 탐색 등 다양한 분야에서 이미 널리 활용되고 있습니다. 최근에는 의학 분야에서 신약이나 백신을 개발할 때도 인공지능이 투입되어 인간의 삶을 더욱 편리하고 안전하게 만들어주는 핵심적인 역할을 수행합니다. 인공지능을 더 자세히 이해하기 위해서는 머신러닝과 딥러닝이라는 개념을 알아야 합니다. 이는 동물이라는 큰 범주 안에 새가 있고, 그 안에 독수리가 포함되는 것과 같은 관계입니다. 인공지능이라는 넓은 범위 안에서 기계가 스스로 학습하는 기술을 머신러닝이라 부르며, 그중에서도 오늘날 가장 뛰어난 성능을 보여주는 핵심 기술이 바로 딥러닝입니다. 이러한 계층 구조를 파악하면 인공지능 기술이 어떤 체계로 발전해 왔는지 명확히 알 수 있습니다. 컴퓨터는 우리가 보는 사진이나 그림을 아주 상세한 숫자의 집합으로 기억합니다. 예를 들어 작은 이미지 하나라도 컴퓨터 내부에서는 수백만 개의 숫자로 표현되는데, 이를 데이터라고 부릅니다. 인공지능은 이 방대한 숫자 데이터를 분석하여 일정한 규칙을 찾아냅니다. 특정 기준값보다 계산된 결과가 크면 고양이로 분류하고, 작으면 강아지로 판정하는 식입니다. 이처럼 모든 정보를 수치화하여 논리적으로 처리하는 능력이 인공지능의 기초가 됩니다. 복잡한 데이터를 분류하는 원리는 종이접기에 비유할 수 있습니다. 수만 개의 숫자로 이루어진 고차원의 정보를 우리가 이해할 수 있는 낮은 차원으로 옮기기 위해서는 데이터를 마치 종이처럼 접는 과정이 필요합니다. 전문적으로는 이를 차원 접기라 하며, 복잡하게 뒤섞인 정보들 사이에서 명확한 구분선을 찾아내는 것이 학습의 핵심입니다. 이러한 과정을 통해 인공지능은 아주 복잡한 환경 속에서도 대상의 특징을 정확하게 식별하게 됩니다. 인공지능이 스스로 학습할 수 있는 배경에는 정교한 수학 공식이 숨어 있습니다. 미분과 비선형 함수 같은 원리를 이용해 데이터를 반복해서 확인하며 스스로 오차를 줄여나가는 것입니다. 연구원들은 인공지능 모델이 종이를 몇 번이나 접을지, 어떤 구조로 설계할지 결정하는 역할을 합니다. 즉, 수학과 코딩은 인공지능이 스스로 배울 수 있게 만드는 가장 중요한 도구이며, 미래의 인공지능 전문가를 꿈꾸는 학생들에게 필수적으로 요구되는 역량입니다. 누구나 집에서 인공지능의 원리를 직접 체험해 볼 수 있는 도구도 존재합니다. 구글의 티처블 머신 같은 서비스를 활용하면 사진이나 소리, 동작 데이터를 직접 입력해 나만의 인공지능 모델을 만들 수 있습니다. 예를 들어 특정 인형 사진을 여러 각도에서 찍어 학습시키면, 인공지능이 카메라에 비친 대상을 스스로 인식하고 분류하게 됩니다. 이런 실습을 통해 우리는 인공지능에게 양질의 데이터를 제공하는 것이 학습 결과에 얼마나 큰 영향을 미치는지 깨닫게 됩니다. 4차 산업혁명 시대의 가장 소중한 자산은 바로 데이터입니다. 인공지능은 데이터를 학습의 양분으로 삼으며, 더 많은 정보가 쌓일수록 그 판단 능력은 비약적으로 향상됩니다. 단순히 기술을 수동적으로 받아들이는 것을 넘어, 인공지능의 작동 원리를 이해하고 이를 창의적으로 활용하려는 태도가 무엇보다 중요합니다. 인공지능이 열어갈 미래의 가능성은 무궁무진하며, 우리가 제공하는 데이터와 수학적 논리가 결합할 때 세상은 더욱 놀랍게 변화할 것입니다.

[국립광주과학관xGIST] 8월 과학스쿨 - 초등학생을 위한 인공지능
국립광주과학관강연&포럼
  • 뇌인지과학
  • 수학
  • 융합

BeeAI 활용 교육 영상 (03) - [2단계] 데이터 배치 처리하기

데이터 분석의 여정은 수집된 데이터를 적재하는 것에서 시작되어 본격적인 처리 단계로 이어집니다. 적재된 데이터가 여러 테이블로 분산되어 있다면 가장 먼저 수행해야 할 작업은 리소스를 하나로 합치는 병합 과정입니다. 조인 기술을 활용해 흩어진 정보를 통합하고, 데이터의 형태는 동일하지만 구조가 다른 경우를 정제하여 분석이 가능한 상태로 만듭니다. 이 과정에서 중복된 데이터를 제거하고 결측치(Missing Value)나 이상치(Outlier)를 처리하는 전처리 작업은 데이터의 신뢰성을 확보하는 핵심적인 기초 공사가 됩니다. 정제된 데이터는 그대로 학습에 사용되기보다는 학습 효율을 고려해 축소하는 과정을 거치기도 합니다. 이는 컴퓨팅 리소스를 관리하고 학습 속도를 높이기 위한 필수적인 단계입니다. 특히 피처(Feature)의 수가 과도하게 많으면 모델이 학습 데이터에만 과하게 최적화되는 오버피팅(Overfitting) 현상이 발생할 수 있습니다. 이를 방지하기 위해 차원 축소 기법을 도입하거나 고품질의 모델 생성을 위해 변수 변환과 피처 엔지니어링(Feature Engineering)을 반복 수행하며 데이터의 전반적인 품질을 높여나가는 것이 일반적인 절차입니다. 데이터 처리 API는 이러한 일련의 과정을 효율적으로 지원하는 다양한 오퍼레이터를 제공합니다. 파일 병합이나 그룹화(Group By) 기능은 물론, 결측치(Missing Value)를 평균값이나 중앙값으로 대체하는 클렌징 오퍼레이터들이 대표적입니다. 결측치 처리 방식은 연구 분야가 매우 방대하여 상황에 따라 삭제하거나 특정 값으로 채우는 등 다양한 전략이 사용됩니다. 또한 시계열 데이터의 경우에는 분이나 시간 단위로 데이터를 축약하여 통계적 의미를 도출하는 유틸리티를 활용함으로써 데이터가 지닌 시간적 특성을 분석에 용이하게 변환할 수 있습니다. 데이터 처리가 스파크(Spark) 기반으로 이루어질 때는 데이터 타입 관리에 매우 유의해야 합니다. 기계는 사람이 보는 것과 달리 데이터의 위치나 형식을 엄격하게 구분하기 때문입니다. 예를 들어 타임스탬프 정보가 문자열로 적재되면 필터링이 제대로 작동하지 않을 수 있습니다. 스파크(Spark)는 데이터를 읽어올 때 타입을 추론하는 기능을 갖추고 있지만, 정확한 연산을 위해 사용자가 직접 타입을 변환하는 타입 캐스팅(Type Casting) 과정이 빈번하게 발생합니다. 이는 산술 연산이나 복잡한 쿼리 처리를 위한 필수적인 준비 단계라 할 수 있습니다. 특정 조건을 만족하는 데이터만을 추출하는 필터링 기능은 분석의 정밀도를 높여줍니다. 단순한 수치 비교부터 문자열 패턴 매칭, 그리고 특정 시간 범위를 지정하는 시계열 필터까지 다양한 방식이 활용됩니다. 특히 SQL 쿼리를 직접 사용하여 데이터를 조작하거나 전체 데이터 중 일부만을 무작위로 추출하는 샘플링 기법은 대규모 데이터셋을 다룰 때 매우 유용합니다. 이러한 기능들을 조합하면 수만 개의 행(Row)으로 이루어진 복잡한 데이터에서도 분석 목적에 부합하는 핵심 정보만을 효과적으로 추려낼 수 있습니다. 머신러닝 모델에 데이터를 입력하기 전에는 수치형 데이터로의 변환이 반드시 필요합니다. 스파크 ML(Spark ML)은 문자열 레이블이 포함될 경우 오류를 발생시키므로, 문자열 인덱서(String Indexer)를 통해 카테고리 데이터를 숫자로 변환하는 과정을 거칩니다. 또한 여러 피처(Feature) 컬럼(Column)을 하나의 벡터로 통합하는 벡터 어셈블러(Vector Assembler) 작업은 모델이 데이터를 인식할 수 있도록 만드는 필수 단계입니다. 원-핫 인코딩(One-Hot Encoding)이나 데이터 분할(Split)을 통해 학습용과 테스트용 데이터를 분리하는 작업까지 완료되어야 비로소 실질적인 모델 학습을 위한 준비가 끝났다고 볼 수 있습니다. 실제 환경에서는 이러한 일련의 과정이 워크플로우 형태로 구성되어 자동화됩니다. HDFS와 같은 분산 저장소에서 데이터를 불러와 전처리 오퍼레이터를 거친 뒤, K-평균(K-means) 군집화와 같은 알고리즘을 적용하여 결과를 도출하는 방식입니다. 사용자는 모니터링 페이지를 통해 전체 처리 과정을 실시간으로 확인하고, 작업이 완료되면 히스토리를 통해 분류 결과나 통계치를 텍스트 형태로 상세히 점검할 수 있습니다. 이러한 체계적인 데이터 처리 파이프라인은 복잡한 데이터로부터 가치 있는 통찰을 얻어내는 강력한 도구가 됩니다.

BeeAI 활용 교육 영상 (03) - [2단계] 데이터 배치 처리하기
한국전자통신연구원ETRI 클래스
  • 수학
  • 융합
  • 공학·기술