제프리힌튼

5 Contents

[강연] 정하웅_AI에게 (감히^^) 노벨물리학상을?! |제33회 서울대 자연과학 공개강연_"과학 그리고 인공지능"

2024년 노벨 물리학상은 인공지능 연구의 선구자인 존 홉필드와 제프리 힌튼 교수에게 돌아갔습니다. 이 소식은 과학계에 신선한 충격과 함께 뜨거운 논란을 불러일으켰습니다. 물리학자가 아닌 컴퓨터 과학자와 분자생물학자가 물리학상을 받은 것에 대해 'AI가 과연 물리의 영역인가'라는 의문이 제기된 것입니다. 하지만 이들의 연구를 들여다보면 그 뿌리는 철저하게 물리학적 원리에 닿아 있습니다. 홉필드 교수는 물리 모델을 통해 기억의 원리를 규명했고, 힌튼 교수는 통계 물리학의 도구로 인공지능의 초석을 다졌습니다. 이는 전통적인 물질 중심의 물리학이 이제 정보의 영역까지 확장되었음을 선언하는 역사적인 사건입니다. 인간의 뇌를 모방하려는 시도는 1950년대 퍼셉트론의 등장과 함께 시작되었습니다. 신경세포의 작동 원리를 인공적으로 구현하여 논리 회로를 만들고, 이를 통해 기계도 생각할 수 있다는 희망을 품게 되었습니다. 그러나 곧 시련이 찾아왔습니다. 선형적인 함수만으로는 복잡한 문제를 풀 수 없다는 사실이 증명되면서 인공지능 연구는 긴 암흑기에 접어들었습니다. 이때 해결책을 제시한 인물이 바로 제프리 힌튼입니다. 그는 층을 쌓는 방식과 역전파 알고리즘을 통해 계산의 한계를 극복하고 현대 인공지능의 황금기를 여는 토대를 마련했습니다. 이러한 혁신은 단순한 기술적 진보를 넘어 뇌의 학습 과정을 수학적으로 모델링한 성과였습니다. 노벨 위원회가 주목한 핵심 업적은 80년대 초반에 발표된 물리학 기반 모델입니다. 홉필드 교수는 전자의 스핀 상태를 다루는 '이징 모델'에서 영감을 얻어 홉필드 네트워크를 발명했습니다. 이는 정보를 개별적으로 저장하는 대신 에너지 지형을 만들어 가장 낮은 에너지 상태를 찾아가는 방식으로 기억을 인출합니다. 힌튼 교수는 여기에 통계 물리학의 볼츠만 분포를 도입하여 더욱 유연한 '볼츠만 머신'을 탄생시켰습니다. 확률적 기법을 통해 정답뿐만 아니라 그 주변의 데이터까지 학습할 수 있게 된 것입니다. 이러한 통계 물리학적 접근은 오늘날 거대 언어 모델인 챗GPT의 근간이 되었으며, 정보가 자연계의 실체임을 공인받는 계기가 되었습니다. 최근 과학계에서는 AI를 단순한 도구를 넘어 동료 연구자로 활용하는 'AI 기반 과학 (AI for Science)'이 활발히 연구되고 있습니다. 복잡한 자연 현상을 관찰할 때 인간의 직관만으로는 방정식을 세우기 어려운 경우가 많습니다. 이때 AI에게 방대한 데이터를 학습시키면 인간이 미처 발견하지 못한 규칙성을 찾아내기도 합니다. 예를 들어 수천 마리 새들의 군무에서 나타나는 복잡한 패턴을 AI 모델로 구현하고, 모델 내부의 어텐션 메커니즘을 분석함으로써 새들이 어느 지점을 보고 움직이는지 역으로 추적할 수 있습니다. 이는 과학자가 가설을 세우고 AI가 검증하며 다시 과학자가 그 의미를 해석하는 새로운 연구 패러다임이 시작되었음을 의미합니다. 인공지능의 미래는 단순히 모델의 크기를 키우는 것에 머물지 않습니다. 거대한 뇌가 곧 지능을 보장하지 않듯이, 방대한 데이터 학습만으로는 진정한 지혜를 얻기 어렵습니다. 대신 작은 에이전트들이 협력하여 집단 지성을 발휘하는 방식이 대안으로 떠오르고 있습니다. 새들의 군무처럼 개별적인 존재들이 소통하며 만들어내는 창발적 결과물이야말로 인공지능이 나아가야 할 길입니다. 결국 중요한 것은 기술의 규모가 아니라 '최초의 질문'을 던지는 힘입니다. 노벨상은 성공의 결과보다 질문의 시작점에 선 사람에게 주어집니다. 스스로 근본적인 의문을 품고 새로운 질문을 던질 때, 우리는 인공지능과 함께 과학의 새로운 지평을 열어갈 수 있을 것입니다.

[강연] 정하웅_AI에게 (감히^^) 노벨물리학상을?! |제33회 서울대 자연과학 공개강연_"과학 그리고 인공지능"
카오스재단카오스크로스
  • 물리학
  • 뇌인지과학
  • 융합

노벨상, 마침내 AI를 품다🤖 2024 노벨 물리학상🏆(with 서울대학교 AI연구원 이준기 박사) | 요즘과학

2024년 노벨 물리학상은 인공지능(AI) 분야의 거장인 존 홉필드 교수와 제프리 힌튼 교수에게 돌아갔습니다. 이는 전통적인 물리학의 범주를 넘어 인공지능(AI)이 과학 전반에 미친 막대한 영향력을 인정한 역사적인 사건입니다. 물리학은 인공지능(AI) 발전에 이론적 토대를 제공했고, 반대로 인공지능(AI)은 복잡한 물리 현상을 분석하는 강력한 도구가 되어왔습니다. 두 학자의 연구는 인간의 뇌 구조를 모방한 인공신경망이 어떻게 물리적 원리를 통해 학습하고 기억할 수 있는지를 증명하며 현대 딥러닝의 시대를 여는 결정적인 계기가 되었습니다. 존 홉필드 교수가 창안한 '홉필드 네트워크'는 인간의 연상 기억 과정을 물리적으로 구현한 모델입니다. 그는 원자의 스핀 시스템이 에너지를 최소화하며 안정된 상태를 찾아가는 원리를 인공신경망에 도입했습니다. 이 네트워크는 불완전하거나 왜곡된 정보가 입력되더라도, 저장된 데이터 중 에너지가 가장 낮은 상태인 원래의 패턴을 스스로 찾아냅니다. 마치 산맥의 골짜기를 따라 공이 굴러 내려가듯, 시스템이 스스로 최적의 답을 찾아가는 이 방식은 컴퓨터가 정보를 저장하고 인지하는 새로운 패러다임을 제시했습니다. 제프리 힌튼 교수는 통계 물리학의 원리를 활용해 홉필드 네트워크를 한 단계 더 발전시킨 '볼츠만 머신'을 선보였습니다. 기체 분자들의 집합적 상태를 확률로 계산하는 볼츠만 방정식에서 영감을 얻어, 인공신경망의 각 상태가 발생할 확률을 계산하는 방식을 개발한 것입니다. 이를 통해 인공지능(AI)은 단순히 정보를 저장하는 수준을 넘어, 수많은 예시를 통해 스스로 특징을 학습하고 처음 보는 데이터에서도 익숙한 패턴을 인식할 수 있게 되었습니다. 이는 지시가 아닌 학습을 통해 지능을 형성하는 현대 인공지능(AI)의 핵심 원리가 되었습니다. 이후 제프리 힌튼 교수는 학습 속도를 비약적으로 높인 '제한된 볼츠만 머신(RBM)'과 역전파 알고리즘을 통해 딥러닝의 전성기를 이끌었습니다. 특히 GPU의 발전과 맞물려 인공신경망의 층을 깊게 쌓는 것이 가능해지면서, 인공지능(AI)은 이미지 인식과 언어 처리 등에서 인간에 버금가는 성능을 보여주기 시작했습니다. 이러한 기술적 진보는 물리학계에도 큰 공헌을 하여, 힉스 입자 연구나 블랙홀 이미지 처리와 같은 거대 과학 프로젝트에서 복잡한 데이터를 분석하는 데 핵심적인 역할을 수행하며 학문 간의 경계를 허물고 있습니다. 인공지능(AI)의 미래는 이제 디지털 공간을 넘어 현실 세계와 직접 상호작용하는 '체화 인공지능(Embodied AI)'으로 향하고 있습니다. 기존의 모델들이 인터넷상의 텍스트와 이미지를 학습했다면, 앞으로의 인공지능(AI)은 로봇의 몸을 빌려 실생활에서 물리적 접촉을 통해 데이터를 스스로 수집하게 될 것입니다. 또한 인공지능(AI)이 내린 결론의 과정을 인간이 이해할 수 있도록 설명하는 설명 가능한 인공지능(XAI) 연구도 활발히 진행되고 있습니다. 인간과 감정을 교류하고 동료처럼 공존하는 로봇 친구의 등장은 이제 먼 미래의 상상이 아닌 현실로 다가오고 있습니다.

노벨상, 마침내 AI를 품다🤖 2024 노벨 물리학상🏆(with 서울대학교 AI연구원 이준기 박사) | 요즘과학
국립과천과학관요즘과학👏
  • 물리학
  • 뇌인지과학
  • 융합

[강연] 기계학습과 물리학: 생성형 인공지능의 원리_by 조정효 | 고등과학원&카오스재단 '2024 노벨상 해설강연' | 1강

올해 노벨 물리학상은 인공지능의 핵심인 인공신경망의 기초를 확립한 과학자들에게 돌아갔습니다. 존 홉필드와 제프리 힌튼 교수는 물리학적 원리를 기계 학습에 도입하여 현대 인공지능의 토대를 마련했습니다. 이들의 연구는 단순한 공학적 성과를 넘어, 우리 뇌가 정보를 처리하고 기억하는 방식을 물리학적으로 해석하려는 시도에서 시작되었습니다. 이는 복잡한 연결망 속에서 스스로 질서가 창발하는 현상을 탐구한 결과이며, 물리학과 컴퓨터 과학의 경계를 허문 혁신적인 성취로 평가받습니다. 인공신경망의 기본 단위인 퍼셉트론은 생물학적 뉴런의 작동 방식에서 영감을 얻었습니다. 여러 뉴런으로부터 들어온 신호에 가중치를 곱해 합산하고, 이 값이 특정 임계치를 넘으면 다음 뉴런으로 신호를 전달하는 구조입니다. 초기 과학자들은 이를 통해 논리 연산을 수행하며 인공지능의 가능성을 엿보았습니다. 하지만 단일 계층의 퍼셉트론은 선형적으로 분리되지 않는 배타적 논리합(XOR)과 같은 복잡한 문제를 해결하지 못한다는 한계에 부딪히기도 했습니다. 이러한 한계를 극복하기 위해 도입된 것이 은닉층을 포함한 다층 신경망입니다. 수학적으로 증명된 보편적 어림 정리에 따르면, 적절한 은닉층을 가진 신경망은 어떤 복잡한 함수 관계도 표현할 수 있습니다. 이는 입력 데이터를 새로운 공간으로 변환하여 문제를 해결하는 과정으로 이해할 수 있습니다. 고양이 사진을 보고 고양이라고 판단하는 복잡한 분류 작업도 결국 데이터를 다차원적으로 해석하고 변환하는 신경망의 층을 통해 가능해지며, 이는 현대 딥러닝의 근간이 되었습니다. 신경망이 깊어질수록 수많은 매개변수를 최적화하는 것이 관건이 됩니다. 제프리 힌튼 교수는 오차 역전파와 경사하강법을 통해 이 문제를 해결했습니다. 실제 정답과 예측값 사이의 오차를 정의하고, 경사가 낮아지는 방향으로 매개변수를 조금씩 수정하며 최적의 상태를 찾아가는 방식입니다. 이는 마치 복잡한 지형에서 가장 낮은 골짜기를 찾아 내려가는 과정과 같습니다. 이러한 학습 알고리즘의 발전은 딥러닝이 실질적인 성능을 발휘하고 다양한 분야에 응용되는 결정적 계기가 되었습니다. 존 홉필드 교수는 기억의 형성을 물리학의 에너지 개념으로 설명했습니다. 데이터의 패턴을 에너지 지형의 골짜기로 정의하면, 불완전한 정보가 입력되더라도 에너지가 가장 낮은 상태를 찾아가며 원래의 기억을 복원할 수 있습니다. 이는 통계 물리학의 스핀 유리 모형을 응용한 것으로, 신경세포들이 함께 활성화될 때 연결이 강화된다는 헤비안 규칙과도 일맥상통합니다. 기억이란 결국 시스템이 안정적인 에너지 상태를 찾아가는 물리적 과정이며, 이를 통해 기계는 정보를 저장하고 회상하는 능력을 갖추게 됩니다. 생성형 인공지능의 원형인 볼츠만 머신은 확률 분포를 통해 데이터를 이해합니다. 힌튼 교수는 계산량 문제를 해결하기 위해 제한된 볼츠만 머신(RBM)을 고안했고, 이를 계층적으로 쌓아 심층 신경망의 학습을 가능하게 했습니다. 데이터를 압축하고 핵심 정보를 추출하는 이 과정은 확률 분포를 변환하는 고도의 수학적 작업입니다. 오늘날 우리가 목격하는 놀라운 생성형 AI의 성취는 데이터를 확률과 정보의 관점에서 다루는 이러한 물리적 통찰에서 비롯되었으며, 이는 단순한 분류를 넘어 새로운 정보를 창조하는 단계로 나아갔습니다. 정보는 이제 물리학과 생물학을 관통하는 핵심 개념으로 자리 잡았습니다. 맥스웰의 도깨비 역설을 해결한 정보 열역학부터 '비트에서 존재로(It from bit)'라는 철학적 통찰에 이르기까지, 자연 현상을 정보 처리 과정으로 보는 시각이 확산되고 있습니다. 인공지능의 발전은 인간의 특별함에 대한 질문을 던지는 동시에, 우리가 거대한 정보의 그물망인 인포스피어의 일부임을 깨닫게 합니다. 과학은 인간이 중심이 아니라는 사실을 일깨우며, 정보라는 보편적 언어를 통해 우주와 생명을 이해하는 더 넓은 세계로 우리를 인도합니다.

[강연] 기계학습과 물리학: 생성형 인공지능의 원리_by 조정효 | 고등과학원&카오스재단 '2024 노벨상 해설강연'

조정효

카오스재단카오스크로스
  • 물리학

[술술과학] 일반인이 알아야 할 AI 상식 : AI의 역사 | 카오스 첨단기술 시리즈(7)

4차 산업혁명 시대의 핵심은 빅데이터와 인공지능의 결합입니다. 과거의 산업혁명이 증기기관이나 전기를 동력으로 삼았다면, 현대는 방대한 데이터를 기반으로 인공지능이 새로운 가치를 창출하는 초연결 사회입니다. 인공지능은 본래 인간의 신체 부위를 대신하던 기계가 인간의 뇌마저 대신하게 되었다는 의미를 담고 있습니다. 지능이란 다양한 환경에서 복잡한 문제를 해결하는 능력으로 정의되는데, 인공지능은 이러한 자연 지능의 본질을 규명하여 인공적으로 제어하고 특정 문제를 해결하는 기술을 말합니다. 인공지능의 역사는 1950년대 앨런 튜링의 제안과 1956년 다트머스 회의에서 시작되었습니다. 초기 과학자들은 컴퓨터가 곧 인간 수준의 지능을 갖출 것이라 낙관했지만, 곧 '모라벡의 역설'과 '상식의 저주'라는 난관에 부딪혔습니다. 인간에게 쉬운 걷기나 보기 같은 행동이 기계에게는 매우 어렵고, 당연한 상식조차 일일이 가르쳐야 한다는 사실이 밝혀진 것입니다. 이러한 한계로 인해 투자가 급감하며 인공지능 연구는 첫 번째 'AI의 겨울'을 맞이하게 되었습니다. 인공지능의 두 번째 도약은 '전문가 시스템'과 함께 찾아왔습니다. 이는 기계에 특정 분야의 방대한 지식을 입력하여 전문가처럼 문제를 해결하게 만드는 방식이었습니다. 하지만 입력된 지식 이외의 상황에는 대처하지 못하는 한계가 명확했습니다. 특히 '프레임 문제'가 대두되었는데, 이는 기계가 주어진 상황에서 목적과 관계있는 정보와 없는 정보를 구분하지 못해 무한한 사고에 빠지는 현상을 말합니다. 결국 지식을 직접 주입하는 방식의 한계가 드러나며 인공지능은 다시 한번 두 번째 'AI의 겨울'을 겪게 됩니다. 1990년대 이후 인공지능은 지식을 주입하는 방식에서 데이터로부터 지식을 찾아내는 '머신러닝'으로 패러다임을 전환했습니다. 인터넷의 발달로 대량의 데이터를 활용할 수 있게 되면서, 확률과 통계를 기반으로 한 학습이 가능해진 것입니다. 이 과정에서 인간의 뇌 구조를 모방한 '인공 신경망' 기술이 주목받았습니다. 그러나 머신러닝 역시 데이터의 특징을 인간이 직접 설계해서 입력해야 한다는 '특징 설계'의 문제에 직면했습니다. 인간은 무의식적으로 사물을 구별하지만, 그 원리를 기계에게 설명하기는 매우 어려웠기 때문입니다. 이러한 난제를 해결한 것이 바로 '딥러닝'입니다. 딥러닝은 컴퓨터가 데이터로부터 스스로 특징을 찾아 학습하는 자율 학습의 형태를 띱니다. 2010년대 들어 GPU의 발전과 빅데이터의 등장은 딥러닝의 폭발적인 성장을 이끌었고, 이미지 인식 분야 등에서 마침내 인간의 능력을 넘어서는 성과를 거두었습니다. 인공지능의 역사는 탐색에서 지식으로, 그리고 스스로 학습하는 단계로 진화해 왔습니다. 현재의 인공지능은 머신러닝의 한 분야인 딥러닝을 통해 과거의 한계를 극복하며 우리 삶의 모든 영역으로 확장되고 있습니다.

[술술과학] 일반인이 알아야 할 AI 상식 : AI의 역사 | 카오스 첨단기술 시리즈(7)
카오스재단술술과학
  • 물리학
  • 수학

[강연] 뇌의 미래와 인공 자아의 탄생 (5) 패널토크 | 2016 봄 카오스 강연 '뇌 - Brain' 10강 | 10강 ⑤

인공지능의 핵심인 딥러닝과 머신러닝의 가장 큰 차이는 신경망 계층 구조의 깊이에 있습니다. 과거에는 인간 뇌의 시각 체계와 유사한 15계층 이상의 구조를 학습시키려 했으나, 3계층만 넘어가도 오차가 왜곡되어 전달되는 '역전파(Backpropagation)'의 한계에 부딪혔습니다. 이를 해결한 것이 제프리 힌튼 교수의 방법론입니다. 그는 모든 계층을 한꺼번에 학습시키는 대신, 인접한 두 계층씩 미리 예습시키는 방식으로 오차 전달의 정확도를 높였습니다. 이러한 혁신 덕분에 현대의 인공지능은 수백 계층에 달하는 깊은 신경망을 통해 복잡한 정보를 처리할 수 있게 되었습니다. 신경망의 계층이 깊어질수록 인공지능은 더욱 추상적이고 거시적인 인과관계를 학습할 수 있습니다. 이는 개미와 인간의 지능 차이로 설명할 수 있는데, 계층이 낮은 개미는 눈앞의 변화만 감지할 뿐 그 이면의 거대한 원인을 파악하지 못합니다. 반면 인간은 약 15계층의 구조를 통해 복잡한 문명과 자연의 법칙을 이해합니다. 수학적으로 계층의 깊이는 정보의 일반화 능력을 결정하며, 이는 곧 인공지능이 인간이 인지하지 못하는 우주의 근본적인 질서까지도 파악할 수 있는 잠재력을 가졌음을 시사합니다. 생물학적 한계가 없는 범용 인공지능(AGI)은 인간이 결코 이해할 수 없는 영역의 법칙을 깨달을 가능성이 큽니다. 이를 두고 '마지막 발명품'이라는 표현을 쓰기도 하는데, 이는 범용 인공지능(AGI)이 등장한 이후의 모든 발명은 기계의 몫이 될 것임을 의미합니다. 과학자들에게는 다소 우울한 전망일 수 있으나, 거대한 서버 팜을 통해 수집된 방대한 데이터는 인간이 찾아내지 못한 자연의 법칙을 도출해낼 것입니다. 다만, 그 결과물이 인간의 이해 범위를 넘어선다면 우리는 마치 개미가 인간의 문명을 이해하지 못하듯 그 법칙을 수용하기 어려울 수도 있습니다. 인공지능이 노동을 대신하는 미래가 반드시 유토피아일지는 미지수입니다. 역사적으로 인류는 의식주가 완벽히 해결되고 할 일이 없어졌을 때, 철학적 사유보다는 파괴적인 방향으로 흐르는 경향을 보였습니다. 로마 시대의 자극적인 오락이나 현대의 사회적 고립 사례들은 인간에게 자아실현을 위한 '일'이 얼마나 중요한지를 보여줍니다. 따라서 기술적 풍요가 가져올 부작용에 대비하는 '안전벨트'와 같은 사회적 준비가 필요합니다. 무조건적인 낙관보다는 발생 가능한 디스토피아적 시나리오를 검토하고 이에 대응하는 지혜가 요구되는 시점입니다. 미래 사회에서 인간의 역할은 제조자나 운영자를 넘어 '큐레이터'로 진화할 것입니다. 기계가 모든 것을 생산하고 최적의 옵션을 제공하더라도, 최종적인 가치를 판단하고 선택하는 것은 인간의 영역으로 남기 때문입니다. 이는 객관적인 효율성보다는 인간적인 가치와 공감을 중시하는 선택을 의미합니다. 따라서 앞으로의 교육은 단순한 기술 습득이 아닌, '나는 무엇을 원하는가'와 같은 주관적 가치 설정과 철학적 사고에 집중해야 합니다. 인공지능 시대의 경쟁력은 결국 기계가 흉내 낼 수 없는 인간만의 고유한 지향점을 찾는 데 있습니다.

[강연] 뇌의 미래와 인공 자아의 탄생 (5) 패널토크 | 2016 봄 카오스 강연 '뇌 - Brain' 10강

김대식

카오스재단카오스강연
  • 물리학
  • 뇌인지과학