경사하강법

6 Contents

[카오스 짧강] 2026 카오스 콘서트 예습하기: 헬로 딥러닝: 직관적이고 명확하게 딥러닝을 이해하기_PART 3

딥러닝에서 데이터는 특정한 공간상의 좌표로 표현됩니다. 예를 들어 RGB 색상 값은 3차원 공간의 한 점이 되며, 인공지능은 우리가 제공한 정답 데이터를 바탕으로 이 공간을 어떻게 나눌지 결정합니다. 마치 케이크를 적절한 구역으로 쪼개는 것과 같은 이 과정은, 특정 색상 영역이 어떤 결과값에 해당하는지를 정의하는 함수를 찾아내는 일입니다. 이러한 영역 구분을 통해 인공지능은 학습하지 않은 주변 데이터에 대해서도 올바른 판단을 내릴 수 있는 기초를 마련하며, 복잡한 데이터를 분류하는 논리를 스스로 구축하게 됩니다. 인공지능이 소수의 정답 데이터만으로도 수많은 경우의 수를 맞출 수 있는 이유는 데이터의 분포 특성 때문입니다. '엄마'라는 음성이 사람마다 조금씩 다르더라도 일정한 범위 내에서 유사한 패턴을 보이는 것처럼, 자연계의 데이터는 무작위로 흩어져 있지 않고 서로 가깝게 모여 있습니다. 이러한 데이터의 근접성 덕분에 우리는 단 몇십 개의 표본만으로도 천만 개가 넘는 전체 색상이나 다양한 음성 데이터를 분류할 수 있는 인공신경망을 효율적으로 학습시킬 수 있으며, 이는 인공지능이 일반화된 능력을 갖추는 핵심적인 원동력이 됩니다. 인공신경망의 핵심인 가중치(W)를 찾는 과정은 의외로 매우 단순한 원리로 작동합니다. 처음에는 모든 가중치(W)가 무작위로 설정되지만, 입력값이 들어오고 결과값이 나오면 이를 실제 정답 데이터와 비교합니다. 결과값이 목표보다 크면 낮추고, 작으면 높이는 방향으로 수많은 가중치(W)를 미세하게 조정해 나갑니다. 비록 알파고와 같은 복잡한 시스템에서는 수천만 개의 가중치(W)가 존재하지만, 결과값과 정답 데이터 사이의 오차를 줄여나가는 이 단순하고 반복적인 과정이 학습의 본질을 이룹니다. 이 단순무식해 보이는 방식이 모여 거대한 지능을 형성한다는 점은 현대 과학의 가장 놀라운 부분 중 하나입니다. 이러한 학습 방식을 '경사 하강법'이라고 부르며, 수학적인 증명을 넘어 실제 환경에서 놀라운 성능을 발휘합니다. 특히 신기한 점은 학습에 사용된 소량의 정답 데이터뿐만 아니라, 한 번도 본 적 없는 방대한 외부 데이터에 대해서도 높은 정확도를 유지한다는 것입니다. 수많은 전문가조차 왜 이런 단순한 수치 조정만으로 인공지능이 고차원적인 지능을 갖게 되는지 완벽하게 설명하지 못하고 있습니다. 이는 단순한 수학적 계산의 반복이 인간의 전유물이라 여겨졌던 복잡한 판단과 추론을 가능케 함을 보여주는 신비로운 대목이라 할 수 있습니다. 결국 딥러닝이란 이러한 인공신경망의 규모를 엄청나게 키워 복잡한 문제를 해결하는 기술입니다. 2012년 인류 역사상 처음으로 개와 고양이를 완벽히 구분하기 시작한 이후, 인공지능은 이세돌을 이긴 알파고부터 정교한 번역기와 음성 인식기까지 그 영역을 혁신적으로 확장해 왔습니다. 우리가 마주하는 최첨단 인공지능의 내면은 결국 수많은 곱하기와 더하기, 그리고 수치들 사이의 대소 관계를 따지는 아주 기초적인 연산의 집합으로 이루어져 있습니다. 이 단순함이 층층이 쌓여 비로소 거대한 인공지능의 시대가 열리게 된 것입니다.

[카오스 짧강] 2026 카오스 콘서트 예습하기: 헬로 딥러닝: 직관적이고 명확하게 딥러닝을 이해하기_PART 3
카오스재단카오스 짧강(짧은 강연)
  • 뇌인지과학
  • 수학
  • 융합

[강연] 최적화 이론, 인공지능 시대에 비상하다 2_by 권도현 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 두 번째 이야기 | 8강 ②

인공지능 학습의 핵심은 최적의 해를 찾는 과정이며, 이를 위해 확률적 경사하강법(SGD)이라는 기법이 널리 사용됩니다. 기존의 경사하강법이 단순히 가장 가파른 내리막길만을 따라갔다면, 확률적 경사하강법(SGD)은 약간의 무작위성을 부여하여 탐험을 시도합니다. 이러한 무작위성은 학습 과정에서 마주치는 지역 최소해라는 웅덩이에서 벗어날 수 있는 기회를 제공합니다. 때로는 조금 돌아가거나 오르막을 오르는 선택이 결국 더 깊고 낮은 최적점을 찾는 열쇠가 되기도 하며, 이는 복잡한 함수 구조를 가진 인공지능 모델에서 필수적인 전략입니다. 방대한 데이터를 다루는 현대 인공지능에게 효율성은 필수적인 요소입니다. 모든 데이터를 한꺼번에 계산하여 미분하는 방식은 시간과 자원 면에서 불가능에 가깝기 때문입니다. 확률적 경사하강법(SGD)은 데이터를 작은 단위로 쪼개어 학습시키는 방식을 통해 이 문제를 해결합니다. 예를 들어 백만 개의 데이터가 있다면 이를 만 개씩 나누어 순차적으로 학습하며 모델을 업데이트합니다. 이러한 방식의 학습은 연산 속도를 획기적으로 높일 뿐만 아니라, 실제 성능 면에서도 매우 우수한 결과를 보여준다는 것이 여러 사례를 통해 증명되었습니다. 생성형 인공지능의 비약적인 발전 뒤에는 적대적 생성 신경망(GAN)과 같은 정교한 구조가 자리 잡고 있습니다. 이는 생성자와 판별자라는 두 개의 네트워크가 서로 경쟁하며 발전하는 방식입니다. 생성자가 실제와 유사한 이미지를 만들어내면, 판별자는 그것이 진짜인지 가짜인지 구분하려 노력합니다. 이 과정에서 생성자는 판별자를 속이기 위해 더욱 정교한 결과물을 만들어내고, 판별자는 이를 더 잘 잡아내기 위해 날카로워집니다. 이러한 상호 작용은 결국 인공지능이 실사에 가까운 고품질의 데이터를 생성할 수 있게 만드는 강력한 원동력이 됩니다. 수학적 관점에서 생성 모델의 목표는 실제 데이터의 확률 분포와 모델이 생성한 분포 사이의 차이를 최소화하는 것입니다. 이를 위해 최적 운송 이론에서 유래한 '와서스타인 거리'라는 개념이 활용됩니다. 이는 진흙을 구멍에 채우는 택배 문제처럼, 한 분포를 다른 분포로 옮기는 데 드는 최소 비용을 계산하는 방식입니다. 2017년경 정립된 이 이론적 토대는 인공지능이 단순히 데이터를 흉내 내는 수준을 넘어, 수학적으로 정교하게 최적화된 상태에 도달할 수 있도록 돕는 중요한 이정표가 되었으며 대학원생의 연구가 혁신을 일으킨 사례로도 유명합니다. 최근에는 노이즈 상태에서 단계적으로 이미지를 복원해 나가는 확산 모델(Diffusion Model)이 생성형 인공지능의 대세로 떠오르고 있습니다. 이는 한 번에 결과를 내기보다 시간을 쪼개어 미세하게 조정해 나가는 방식으로, 더욱 정밀한 제어가 가능하다는 장점이 있습니다. 인공지능은 이제 아기가 세상을 배우듯 비지도 학습에서 언어 학습으로, 그리고 더 복잡한 추론의 단계로 진화하고 있습니다. 이러한 발전은 인간의 고유 영역이라 여겨졌던 창작과 전문 지식의 영역까지 확장되며 우리 삶의 패러다임을 근본적으로 바꾸고 있으며, 로보틱스와 같은 물리적 영역으로의 확장도 기대되고 있습니다.

[강연] 최적화 이론, 인공지능 시대에 비상하다 2_by 권도현 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 두 번째 이야기

권도현

카오스재단카오스강연
  • 수학

[강연] 최적화 이론, 인공지능 시대에 비상하다 1_by 권도현 / 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 첫 번째 이야기 | 8강 ①

인공지능은 현대 과학의 정점으로 불리며, 최근 노벨 물리학상과 화학상을 인공지능 연구자들이 휩쓴 사건은 그 위상을 단적으로 보여줍니다. 과거에는 연구 성과가 인정받기까지 수십 년이 걸리기도 했으나, 인공지능 분야는 불과 몇 년 만에 세계적인 인정을 받을 만큼 혁신적인 속도로 발전하고 있습니다. 이러한 인공지능의 놀라운 퍼포먼스 이면에는 복잡한 문제를 효율적으로 해결하기 위한 수학적 원리가 숨어 있는데, 그 핵심이 바로 최적화 이론입니다. 최적화 이론이란 주어진 제약 조건 아래에서 목적 함수가 최솟값이나 최댓값을 가지는 지점을 찾는 과정을 의미합니다. 예를 들어, 특정 예산과 시간 내에 가장 멀리 이동할 수 있는 경로를 찾는 것이 실생활의 최적화 문제입니다. 수학적으로는 변수와 제약 조건을 설정하고, 이를 만족하는 최적의 해를 구하는 수식으로 표현됩니다. 인공지능 역시 방대한 데이터 속에서 가장 정확한 답을 내놓기 위해 이 최적화 과정을 끊임없이 반복하며 학습을 진행합니다. 최적화의 역사에서 중요한 이정표 중 하나는 18세기 몽주가 제안하고 20세기 칸토로비치가 일반화한 최적 운송 이론입니다. 이는 물류 비용을 최소화하기 위해 자원을 어떻게 배분할 것인가를 다루는 학문으로, 칸토로비치는 이 공로로 노벨 경제학상을 수상했습니다. 오늘날 아마존이나 쿠팡 같은 거대 물류 기업들이 효율적인 배송 시스템을 구축할 수 있는 것도 바로 이 이론 덕분입니다. 자원 배분의 효율성을 극대화하는 수학적 모델은 현대 산업 전반의 수익성과 직결됩니다. 최적화는 물리적 현상을 설명하는 데에도 필수적입니다. 중력이 작용하는 상황에서 공이 가장 빠르게 내려오는 경로를 찾는 '최단 강하 곡선' 문제는 변분법이라는 수학 분야를 탄생시켰습니다. 오일러와 라그랑주는 이 곡선을 나타내는 미분 방정식을 찾아내어 복잡한 함수의 최적점을 구하는 기틀을 마련했습니다. 이러한 고전 역학의 수학적 도구들은 오늘날 인공지능이 복잡한 데이터 분포를 이해하고 예측 모델을 설계하는 데 있어 강력한 기반이 되고 있습니다. 인공지능 모델에서 최적화는 '손실 함수'를 최소화하는 과정으로 구체화됩니다. 손실 함수란 인공지능이 예측한 값과 실제 정답 사이의 오차를 나타내는 지표입니다. 모델이 학습한다는 것은 결국 이 오차를 줄여나가는 과정을 의미하며, 수학적으로는 함수의 기울기를 이용해 최저점을 찾아가는 여정입니다. 오차가 작을수록 인공지능은 더 정확한 판단을 내리게 되며, 이를 위해 수학자들은 더 정교한 목적 함수를 설계하고 효율적인 계산 알고리즘을 개발하는 데 매진하고 있습니다. 오차를 줄이는 대표적인 방법은 '경사하강법'입니다. 이는 마치 안대를 쓴 채 그랜드 캐니언의 가장 깊은 골짜기를 찾아가는 과정과 비슷합니다. 현재 위치에서 지면의 경사를 파악해 가장 가파르게 내려가는 방향으로 한 걸음씩 이동하는 방식입니다. 이때 한 번에 이동하는 거리를 '학습률'이라고 부르는데, 이 값이 너무 작으면 학습 속도가 지나치게 느려지고, 너무 크면 최적점을 지나쳐버리는 문제가 발생합니다. 따라서 적절한 학습률을 설정하는 것이 인공지능 성능의 핵심입니다. 현실의 데이터는 매우 복잡하여 함수의 모양이 단순한 볼록 형태가 아닌 경우가 많습니다. 골짜기를 내려가다 보면 중간에 작은 웅덩이에 빠져 더 이상 내려가지 못하는 '지역 최솟값' 문제에 직면하기도 합니다. 이를 극복하기 위해 현대 인공지능은 무작위성을 도입한 '확률적 경사하강법'과 같은 고도화된 기법을 사용합니다. 수학적 엄밀함과 실험적 최적화가 결합된 이러한 노력들은 인공지능이 인간의 지능을 모방하고 초월하는 데 결정적인 역할을 수행하고 있습니다.

[강연] 최적화 이론, 인공지능 시대에 비상하다 1_by 권도현 / 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 첫 번째 이야기

권도현

카오스재단카오스강연
  • 수학

[강연] 기계학습과 물리학: 생성형 인공지능의 원리_by 조정효 | 고등과학원&카오스재단 '2024 노벨상 해설강연' | 1강

올해 노벨 물리학상은 인공지능의 핵심인 인공신경망의 기초를 확립한 과학자들에게 돌아갔습니다. 존 홉필드와 제프리 힌튼 교수는 물리학적 원리를 기계 학습에 도입하여 현대 인공지능의 토대를 마련했습니다. 이들의 연구는 단순한 공학적 성과를 넘어, 우리 뇌가 정보를 처리하고 기억하는 방식을 물리학적으로 해석하려는 시도에서 시작되었습니다. 이는 복잡한 연결망 속에서 스스로 질서가 창발하는 현상을 탐구한 결과이며, 물리학과 컴퓨터 과학의 경계를 허문 혁신적인 성취로 평가받습니다. 인공신경망의 기본 단위인 퍼셉트론은 생물학적 뉴런의 작동 방식에서 영감을 얻었습니다. 여러 뉴런으로부터 들어온 신호에 가중치를 곱해 합산하고, 이 값이 특정 임계치를 넘으면 다음 뉴런으로 신호를 전달하는 구조입니다. 초기 과학자들은 이를 통해 논리 연산을 수행하며 인공지능의 가능성을 엿보았습니다. 하지만 단일 계층의 퍼셉트론은 선형적으로 분리되지 않는 배타적 논리합(XOR)과 같은 복잡한 문제를 해결하지 못한다는 한계에 부딪히기도 했습니다. 이러한 한계를 극복하기 위해 도입된 것이 은닉층을 포함한 다층 신경망입니다. 수학적으로 증명된 보편적 어림 정리에 따르면, 적절한 은닉층을 가진 신경망은 어떤 복잡한 함수 관계도 표현할 수 있습니다. 이는 입력 데이터를 새로운 공간으로 변환하여 문제를 해결하는 과정으로 이해할 수 있습니다. 고양이 사진을 보고 고양이라고 판단하는 복잡한 분류 작업도 결국 데이터를 다차원적으로 해석하고 변환하는 신경망의 층을 통해 가능해지며, 이는 현대 딥러닝의 근간이 되었습니다. 신경망이 깊어질수록 수많은 매개변수를 최적화하는 것이 관건이 됩니다. 제프리 힌튼 교수는 오차 역전파와 경사하강법을 통해 이 문제를 해결했습니다. 실제 정답과 예측값 사이의 오차를 정의하고, 경사가 낮아지는 방향으로 매개변수를 조금씩 수정하며 최적의 상태를 찾아가는 방식입니다. 이는 마치 복잡한 지형에서 가장 낮은 골짜기를 찾아 내려가는 과정과 같습니다. 이러한 학습 알고리즘의 발전은 딥러닝이 실질적인 성능을 발휘하고 다양한 분야에 응용되는 결정적 계기가 되었습니다. 존 홉필드 교수는 기억의 형성을 물리학의 에너지 개념으로 설명했습니다. 데이터의 패턴을 에너지 지형의 골짜기로 정의하면, 불완전한 정보가 입력되더라도 에너지가 가장 낮은 상태를 찾아가며 원래의 기억을 복원할 수 있습니다. 이는 통계 물리학의 스핀 유리 모형을 응용한 것으로, 신경세포들이 함께 활성화될 때 연결이 강화된다는 헤비안 규칙과도 일맥상통합니다. 기억이란 결국 시스템이 안정적인 에너지 상태를 찾아가는 물리적 과정이며, 이를 통해 기계는 정보를 저장하고 회상하는 능력을 갖추게 됩니다. 생성형 인공지능의 원형인 볼츠만 머신은 확률 분포를 통해 데이터를 이해합니다. 힌튼 교수는 계산량 문제를 해결하기 위해 제한된 볼츠만 머신(RBM)을 고안했고, 이를 계층적으로 쌓아 심층 신경망의 학습을 가능하게 했습니다. 데이터를 압축하고 핵심 정보를 추출하는 이 과정은 확률 분포를 변환하는 고도의 수학적 작업입니다. 오늘날 우리가 목격하는 놀라운 생성형 AI의 성취는 데이터를 확률과 정보의 관점에서 다루는 이러한 물리적 통찰에서 비롯되었으며, 이는 단순한 분류를 넘어 새로운 정보를 창조하는 단계로 나아갔습니다. 정보는 이제 물리학과 생물학을 관통하는 핵심 개념으로 자리 잡았습니다. 맥스웰의 도깨비 역설을 해결한 정보 열역학부터 '비트에서 존재로(It from bit)'라는 철학적 통찰에 이르기까지, 자연 현상을 정보 처리 과정으로 보는 시각이 확산되고 있습니다. 인공지능의 발전은 인간의 특별함에 대한 질문을 던지는 동시에, 우리가 거대한 정보의 그물망인 인포스피어의 일부임을 깨닫게 합니다. 과학은 인간이 중심이 아니라는 사실을 일깨우며, 정보라는 보편적 언어를 통해 우주와 생명을 이해하는 더 넓은 세계로 우리를 인도합니다.

[강연] 기계학습과 물리학: 생성형 인공지능의 원리_by 조정효 | 고등과학원&카오스재단 '2024 노벨상 해설강연'

조정효

카오스재단카오스크로스
  • 물리학

[강연] 2024 '노벨상 해설강연' by 조정효, 백민경, 이준호 l 고등과학원&카오스재단

2024년 노벨 물리학상은 인공지능의 기초를 닦은 존 홉필드와 제프리 힌턴에게 돌아갔습니다. 이들은 물리학의 통계적 원리를 활용해 인공신경망이 정보를 저장하고 학습하는 초기 모델을 고안했습니다. 홉필드 모델은 물리학의 에너지 지평 개념을 도입하여 불완전한 정보에서 원래의 패턴을 복원하는 기억의 원리를 설명했습니다. 이는 현대 딥러닝의 이론적 토대가 되었으며, 물리학적 통찰이 어떻게 첨단 기술의 근간이 될 수 있는지를 보여주는 상징적인 사례로 평가받습니다. 인공신경망은 이제 단순한 계산 도구를 넘어 인간의 지능을 모사하는 핵심 기술로 자리 잡았습니다. 제프리 힌턴은 홉필드의 아이디어를 확장하여 볼츠만 머신과 오차 역전파 알고리즘을 발전시켰습니다. 그는 데이터의 확률 분포를 학습하는 생성 모델의 원형을 제시하며, 인공지능이 단순한 분류를 넘어 새로운 정보를 생성할 수 있는 가능성을 열었습니다. 특히 층을 깊게 쌓은 심층신경망의 학습 가능성을 증명함으로써 오늘날의 생성형 AI 시대를 가능케 했습니다. 이러한 성과는 물리학적 통찰이 복잡한 데이터 처리 시스템의 효율성을 극대화하는 데 결정적인 역할을 했음을 시사합니다. 이는 인공지능 발전의 역사에서 물리학이 수행한 중추적인 역할을 다시금 확인시켜 줍니다. 노벨 화학상은 단백질 구조 예측과 설계 분야에서 혁신을 일으킨 데이비드 베이커, 데미스 허사비스, 존 점퍼가 수상했습니다. 단백질은 생명 현상을 수행하는 핵심 일꾼으로, 그 기능을 이해하려면 복잡하게 접힌 3차원 구조를 파악하는 것이 필수적입니다. 구글 딥마인드의 알파폴드는 인공지능을 활용해 수십 년간 난제로 남아있던 구조 예측 문제를 해결했습니다. 이는 실험에 수년이 걸리던 작업을 단 몇 분 만에 처리할 수 있게 함으로써 생명과학 연구의 패러다임을 완전히 바꾸어 놓았습니다. 이제 과학자들은 방대한 단백질 데이터를 바탕으로 생명의 신비를 더욱 빠르게 파헤치고 있습니다. 데이비드 베이커 교수는 인공지능을 활용해 자연계에 존재하지 않는 새로운 단백질을 설계하는 데 성공했습니다. 그는 단백질이 형성되는 물리적 원리를 바탕으로 특정 기능을 수행할 수 있는 아미노산 서열을 계산해내는 '로제타'와 'RF디퓨전' 모델을 개발했습니다. 이를 통해 질병 치료를 위한 정밀 약물 전달체나 환경 오염을 해결할 플라스틱 분해 효소 등을 맞춤형으로 제작할 수 있는 길이 열렸습니다. 단백질 설계 기술의 발전은 인류가 직면한 난치병과 환경 문제를 해결할 강력한 무기가 될 것입니다. 이는 기초 과학의 원리가 인공지능이라는 도구를 만나 실질적인 인류의 혜택으로 전환된 사례입니다. 노벨 생리의학상은 예쁜꼬마선충 연구를 통해 마이크로RNA를 발견한 빅터 앰브로스와 게리 러브컨에게 수여되었습니다. 이들은 아주 작은 벌레인 선충의 발생 과정을 추적하던 중, 단백질 정보를 담고 있지 않은 아주 작은 RNA 조각이 유전자 발현을 조절한다는 사실을 우연히 발견했습니다. 이는 기존의 생명 중심 원리에서 설명하지 못했던 새로운 유전자 조절 층위를 밝혀낸 것입니다. 아주 단순한 생명체에 대한 호기심이 생명 과학의 근본적인 원리를 뒤흔드는 거대한 발견으로 이어진 셈입니다. 이 발견은 생명체가 얼마나 정교한 시스템을 통해 스스로를 통제하는지 보여주는 중요한 이정표가 되었습니다. 마이크로RNA는 선충뿐만 아니라 인간을 포함한 고등 생물에게도 진화적으로 잘 보존되어 있으며, 세포의 성장과 분화에 결정적인 역할을 합니다. 특정 마이크로RNA의 이상은 암이나 유전병 등 다양한 질병의 원인이 되기도 합니다. 이 발견은 유전자가 단순히 단백질을 만드는 설계도에 그치지 않고, 그 발현 시기와 양을 정밀하게 조절하는 복잡한 시스템임을 증명했습니다. 현재는 이를 활용한 새로운 진단 기술과 치료제 개발 연구가 활발히 진행되며 인류의 건강 증진에 기여하고 있습니다. 작은 분자 하나가 생명 현상의 거대한 흐름을 조절한다는 사실은 현대 의학에 새로운 지평을 열어주었습니다. 2024년 노벨상은 과학의 새로운 도구로서 인공지능의 위상을 공고히 하는 동시에, 기초 과학의 끈질긴 탐구 정신이 얼마나 중요한지를 일깨워 줍니다. 인공지능은 방대한 데이터를 분석하고 예측하는 강력한 도구이지만, 그 도구를 어디에 사용할지 결정하고 새로운 질문을 던지는 것은 여전히 인간의 몫입니다. 물리학, 화학, 생물학의 경계가 허물어지는 융합의 시대에서, 기초 과학에 대한 깊은 이해와 창의적인 상상력은 인류의 지식을 확장하고 미래의 난제를 해결하는 가장 확실한 열쇠가 될 것입니다. 과학자들의 끊임없는 도전은 인공지능이라는 날개를 달고 더욱 먼 미래를 향해 나아가고 있습니다.

[강연] 2024 '노벨상 해설강연' by 조정효, 백민경, 이준호 l 고등과학원&카오스재단

백민경, 이준호, 조정효

카오스재단카오스크로스
  • 물리학
  • 화학
  • 생명과학

[강연] 헬로 딥러닝 : 직관적이고 명확하게 딥러닝을 이해하기 _ by남세동 ㅣ 2020 가을 카오스강연 'Ai X' 9강 | 9강

컴퓨터는 본질적으로 숫자를 계산하는 기계입니다. 우리가 화면으로 보는 이미지나 듣는 음악도 결국은 디지털화된 숫자의 집합에 불과합니다. 전통적 프로그래밍 방식은 사람이 직접 논리와 절차를 설계하여 알고리즘을 만들고, 이를 코드로 옮기는 과정이었습니다. 하지만 고양이나 개를 구분하는 것과 같이 복잡한 패턴을 인식하는 문제는 인간이 모든 예외 상황을 코드로 정의하기에 한계가 있었습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 데이터 스스로 학습하는 딥러닝 기술입니다. 딥러닝의 핵심 구조인 인공신경망은 인간의 뇌 구조에서 영감을 얻었습니다. 인공신경망은 수많은 동그라미 형태의 노드와 이들을 잇는 화살표인 가중치로 구성됩니다. 놀랍게도 이 복잡해 보이는 시스템의 기본 원리는 단순한 곱셈과 덧셈의 반복입니다. 입력값에 가중치를 곱하고 이를 모두 더한 뒤, 활성화 함수를 거쳐 다음 노드로 전달하는 과정이 수없이 반복됩니다. 알파고나 자율주행 엔진 같은 최첨단 기술들도 그 내부를 들여다보면 결국 이러한 단순한 수치 계산의 거대한 집합체라고 할 수 있습니다. 인공지능을 학습시키는 대표적인 방법 중 하나는 정답을 알려주는 지도 학습입니다. 예를 들어 특정 배경색에 어울리는 글자색을 찾을 때, 수많은 예시 데이터를 입력하고 인공지능이 스스로 최적의 가중치를 찾아내도록 유도합니다. 처음에는 무작위로 설정되었던 가중치들이 반복적인 학습 과정을 거치며 점차 정답에 가까운 결과를 내놓게 됩니다. 이는 마치 어린아이가 반복 학습을 통해 사물을 구별하는 법을 배우는 과정과 유사하며, 데이터가 많아질수록 인공신경망은 더욱 정교한 판단을 내릴 수 있게 됩니다. 딥러닝의 가장 신기한 점은 일부 정답 데이터만으로도 학습하지 않은 수많은 사례를 정확히 판별해 낸다는 것입니다. 수천 장의 사진만 학습해도 수억 장의 새로운 사진 속 대상을 구분할 수 있는 이유는 데이터가 가진 고유한 패턴을 3차원 이상의 공간에 매핑하기 때문입니다. 비슷한 특징을 가진 데이터들은 특정 영역에 모이게 되고, 인공신경망은 이 영역들을 구분하는 경계선을 찾아냅니다. 이러한 일반화 능력 덕분에 인공지능은 단순한 암기를 넘어 새로운 상황에 유연하게 대처할 수 있는 지능적인 면모를 갖추게 됩니다. 인공신경망이 최적의 가중치를 찾아가는 과정은 매우 단순하면서도 무식할 정도로 반복적입니다. 입력값에 따른 결과가 정답과 다를 경우, 그 오차를 줄이기 위해 수천만 개에서 수십억 개에 달하는 가중치들을 조금씩 조정합니다. 이를 경사 하강법이라 부르는데, 오차라는 산의 골짜기를 찾아 내려가는 과정과 같습니다. 수학적으로 이러한 가중치가 존재한다는 것은 증명되었지만, 왜 이토록 단순한 방식으로 복잡한 지능이 구현되는지는 여전히 현대 과학의 신비로 남아 있습니다. 최근 딥러닝은 언어 모델인 GPT-3나 단백질 구조를 예측하는 알파폴드 2처럼 인류의 난제를 해결하는 수준에 도달했습니다. 이는 자연계에 존재하는 방대한 패턴을 숫자로 치환하여 분석할 수 있게 되었음을 의미합니다. 문장의 맥락을 파악하여 대화를 나누거나 복잡한 물리 시뮬레이션을 수천 배 빠르게 수행하는 등, 딥러닝은 인간의 지적 능력을 보조하는 강력한 도구가 되었습니다. 결국 딥러닝의 본질은 숫자의 집합속에서 유의미한 패턴을 찾아내어 이를 실용적인 지능으로 변환하는 기술이라 할 수 있습니다. 인류 역사를 돌아보면 기술의 활용이 이론적 이해보다 앞섰던 사례가 많습니다. 증기기관이 열역학 법칙이 정립되기 전부터 산업 혁명을 이끌었듯이, 딥러닝 역시 그 작동 원리를 완벽히 설명하지 못하더라도 이미 세상을 바꾸고 있습니다. 인공지능이 내놓는 결과가 왜 도출되었는지 인간이 완전히 이해하지 못하는 영역이 존재하지만, 이는 오히려 새로운 과학적 발견의 기회가 되기도 합니다. 우리는 이제 딥러닝이라는 거대한 도구를 통해 지능의 본질을 탐구하고 미래의 변화를 맞이할 준비를 해야 합니다.

[강연] 헬로 딥러닝 : 직관적이고 명확하게 딥러닝을 이해하기 _ by남세동 ㅣ 2020 가을 카오스강연 'Ai X' 9강

남세동

카오스재단카오스강연
  • 뇌인지과학