계산가능성

3 Contents

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (4) _ by이광근 | 2018 봄 카오스 강연 '모든 것의 수數다' 10강 | 10강 ④

우리가 일상에서 접하는 컴퓨터는 정답이 없는 복잡한 문제들을 해결하기 위해 '휴리스틱', 즉 일종의 직관적인 추론 방식을 사용하곤 합니다. 바둑과 같은 게임에서 알파고가 보여준 놀라운 실력도 사실은 완벽한 정답을 찾은 것이 아니라, 방대한 데이터를 바탕으로 최선의 수를 찾아가는 과정이었습니다. 이처럼 컴퓨터가 모든 문제에 대해 즉각적이고 완벽한 해답을 내놓는 것은 아니지만, 인간이 범접하기 어려운 수준의 계산 능력을 통해 실질적인 해결책을 제시하며 우리 삶의 깊숙한 곳까지 들어와 있습니다. 계산이란 무엇인가라는 근본적인 질문에 대해 앨런 튜링은 '튜링 기계'라는 개념을 통해 명쾌한 정의를 내렸습니다. 튜링 기계는 상태를 기록하는 테이프와 이를 읽고 쓰는 헤드, 그리고 정해진 규칙 표로 구성된 매우 단순한 장치입니다. 이 단순한 기계가 수행할 수 있는 모든 과정이 바로 우리가 말하는 계산의 본질입니다. 즉, 계산은 복잡한 전자 회로의 움직임 이전에, 논리적인 규칙에 따라 정보를 처리해 나가는 일련의 절차적 과정을 의미하는 것이라고 할 수 있습니다. 튜링과 비슷한 시기에 미국의 알론조 처치는 '람다 계산법'이라는 프로그래밍 언어의 시초와 같은 방식을 통해 계산을 정의했습니다. 흥미로운 점은 기계적인 접근을 시도한 튜링과 소프트웨어적인 접근을 시도한 처치의 방법론이 결국 동일한 문제를 풀고 있었다는 사실이 증명되었다는 것입니다. 오늘날 우리가 사용하는 스마트폰이나 컴퓨터는 튜링의 만능 기계를 하드웨어로 구현한 것이며, 그 안에서 돌아가는 수많은 앱은 처치의 람다 계산법과 맥을 같이하는 소프트웨어의 결과물입니다. 이론적인 관점에서 계산 가능성을 논할 때, 우리는 계산에 소요되는 시간을 고려하지 않습니다. 어떤 문제가 해결되는 데 천 년이 걸리든 만 년이 걸리든, 언젠가 결과가 나오기만 한다면 그것은 계산으로 풀 수 있는 문제라고 간주합니다. 시간은 상대적인 개념이며 충분한 에너지만 있다면 극복할 수 있는 요소이기 때문입니다. 따라서 계산의 핵심은 '얼마나 빨리'가 아니라 '논리적으로 답에 도달할 수 있는가'라는 본질적인 가능성 여부에 달려 있다고 보아야 합니다. 하지만 컴퓨터가 모든 수학적 난제를 해결할 수 있는 것은 아닙니다. '멈춤 문제'와 같이 튜링 기계로도 결코 해결할 수 없는 문제들이 존재하며, 이러한 불가능한 문제의 개수 또한 무한합니다. 수학자 괴델이 증명했듯이 인간의 논리 체계 안에는 증명할 수 없는 사실들이 존재하며, 이는 컴퓨터 과학에서도 동일하게 적용됩니다. 할 수 있는 일과 할 수 없는 일이 모두 무한하다는 사실은 계산의 세계가 우리가 상상하는 것보다 훨씬 더 깊고 오묘한 영역임을 시사합니다. 컴퓨터 과학의 본질은 추상적인 사고 과정을 논리적인 규칙으로 정립하여 기계가 수행할 수 있도록 만드는 과정을 의미합니다. 이러한 능력을 키우기 위해서는 수학적 사고력이 필수적입니다. 수학은 보이지 않는 개념을 논리적으로 다루는 근육을 단련시켜 주며, 이를 통해 다져진 컴퓨팅 사고력은 인공지능 시대를 살아가는 현대인들에게 읽기나 쓰기만큼이나 중요한 필수 역량이 되고 있습니다. 이는 단순히 기술을 배우는 것을 넘어 세상을 논리적으로 설계하는 힘을 기르는 과정입니다. 컴퓨터 과학은 이제 겨우 80년 정도의 역사를 가진 매우 젊은 학문입니다. 물리학의 역사와 비교하자면 지금의 컴퓨터 과학은 뉴턴이나 갈릴레오가 활동하던 고전 역학의 태동기와 비슷하다고 볼 수 있습니다. 지난 수십 년간 눈부신 발전을 이루었지만, 여전히 해결되지 않은 과제들이 산적해 있으며 앞으로 개척해야 할 영역은 무궁무진합니다. 알파고를 뛰어넘는 혁신적인 기술들이 앞으로 어떻게 펼쳐질지 기대하며, 우리는 이 새로운 과학의 시대를 맞이할 준비를 해야 합니다.

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (4) _ by이광근  | 2018 봄 카오스 강연 '모든 것의 수數다' 10강

박성우, 이광근

카오스재단카오스강연
  • 수학
  • 융합

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (2) _ by이광근 | 2018 봄 카오스 강연 '모든 것의 수數다' 10강 | 10강 ②

앨런 튜링은 기계적인 계산의 본질을 정의하기 위해 상태와 기호, 그리고 규칙 표로 이루어진 추상적인 장치를 고안했습니다. 이 장치는 테이프 위의 기호를 읽고 상태를 변화시키며 정해진 규칙에 따라 작동합니다. 흥미로운 점은 특정 작업을 수행하는 개별 기계들을 글자로 표현하여 하나의 '보편 튜링 기계'에 입력할 수 있다는 사실입니다. 이는 오늘날 우리가 사용하는 하드웨어와 소프트웨어의 개념적 시초가 되었으며, 현대 컴퓨터 과학의 근간을 이루는 위대한 발견이었습니다. 보편 튜링 기계는 테이프에 기록된 다른 기계의 규칙을 읽어 그대로 흉내 냅니다. 우리가 스마트폰에 앱을 설치하고 실행하는 과정은 사실 텍스트로 표현된 튜링 기계의 설계를 메모리에 올리는 것과 본질적으로 같습니다. 하드웨어는 소프트웨어에 적힌 명령을 충실히 따르며 동영상을 재생하거나 메시지를 전달합니다. 이처럼 모든 계산 과정을 기호의 나열로 변환할 수 있다는 통찰은 복잡한 논리 체계를 물리적인 연산 장치로 구현할 수 있는 길을 열어주었습니다. 튜링의 연구는 수학자 쿠르트 괴델의 불완전성 정리에서 큰 영감을 받았습니다. 괴델은 자연수에 관한 참인 명제들 중에는 기계적인 방식으로는 결코 증명할 수 없는 영역이 존재함을 논리적으로 입증했습니다. 튜링은 이러한 추상적인 논리를 자신의 기계 모델로 가져와 재해석하고자 했습니다. 그는 모든 튜링 기계가 유한한 부호의 조합으로 표현될 수 있으며, 따라서 자연수와 일대일로 대응하여 번호를 매길 수 있다는 '가산성'의 개념을 증명에 활용했습니다. 튜링은 '정지 문제'라는 독특한 화두를 던지며 기계적 계산의 한계를 탐구했습니다. 정지 문제란 어떤 기계의 설계도를 보고 이 기계가 작업을 마친 후 멈출지, 아니면 영원히 멈추지 않고 작동할지를 미리 판단하는 문제입니다. 만약 모든 참인 명제를 생성하는 완벽한 기계가 존재한다면 이 정지 문제도 해결할 수 있어야 합니다. 하지만 튜링은 논리적 모순을 통해 이러한 판단을 내릴 수 있는 보편적인 알고리즘이나 기계 장치는 존재할 수 없음을 명확히 보여주었습니다. 증명의 핵심은 칸토어의 대각선 논법을 응용한 것입니다. 모든 가능한 튜링 기계를 일렬로 세우고 각각의 입력값에 대한 결과를 표로 만들었을 때, 튜링은 그 어떤 기계와도 다르게 행동하는 새로운 기계를 상상했습니다. 만약 정지 문제를 푸는 기계가 있다면, 우리는 기존의 모든 기계 목록에 포함되지 않는 기괴한 기계를 설계할 수 있게 됩니다. 이는 모든 기계가 이미 목록에 있다는 전제와 충돌하며, 결국 정지 문제를 해결하는 기계 자체가 논리적으로 불가능하다는 결론에 도달하게 합니다. 흔히 튜링을 하늘에서 떨어진 천재로 묘사하곤 하지만, 그의 업적은 철저히 앞선 연구자들의 토대 위에서 피어난 결과물입니다. 맥스 뉴먼 교수의 강의를 통해 괴델의 정리를 접하고, 이를 자신만의 기계적 언어로 번역하는 과정이 있었기에 가능했습니다. 괴델이 숫자로 논리를 인코딩했다면, 튜링은 이를 기계의 동작으로 시각화했습니다. 이러한 지적 계승의 과정은 원천 지식이 단순히 개인의 천재성에 의존하는 것이 아니라, 기존의 아이디어를 비판적으로 수용하고 재구성하는 노력에서 탄생함을 시사합니다. 튜링의 논문을 추적해 보면 그가 겪었을 사고의 흐름이 고스란히 드러납니다. 무한한 대상을 다루는 고정점의 개념에서 힌트를 얻고, 기계가 기계를 입력으로 받는 구조를 고민하며 보편 튜링 기계의 가능성을 발견했을 것입니다. 우리는 위대한 과학자를 '천재'라는 틀에 가두어 거리감을 두기보다, 그들이 어떻게 문제를 정의하고 해결해 나갔는지 그 과정을 살펴볼 필요가 있습니다. 누구나 논리적인 사고를 통해 원천적인 질문을 던질 수 있다는 자신감을 가질 때, 제2의 튜링이 탄생할 수 있을 것입니다.

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (2) _ by이광근 | 2018 봄 카오스 강연 '모든 것의 수數다' 10강

이광근

카오스재단카오스강연
  • 수학
  • 융합

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (1) _ by이광근 | 2018 봄 카오스 강연 '모든 것의 수數다' 10강 | 10강 ①

컴퓨터는 인류가 발명한 도구 중에서도 매우 독특한 위치를 차지합니다. 칼이나 냉장고 같은 일반적인 도구들은 그 목적이 하나로 고정되어 있지만, 컴퓨터는 사용자가 어떤 명령을 입력하느냐에 따라 무궁무진한 역할을 수행할 수 있는 만능 도구이기 때문입니다. 우리는 이를 소프트웨어라고 부르며, 인간의 사고를 반영한 체계를 통해 기계가 복잡한 일을 수행하도록 만듭니다. 이러한 특성 때문에 컴퓨터는 단순한 기계를 넘어 인간의 지능을 확장하는 특별한 장치로 정의되기도 합니다. 흔히 앨런 튜링을 하늘이 내린 천재 수학자로만 기억하지만, 그의 위대한 업적은 사실 당대 수학계가 직면했던 거대한 좌절과 도전 속에서 탄생했습니다. 튜링은 단순히 새로운 것을 창조하려 했던 것이 아니라, 기존의 권위 있는 수학자들이 내놓은 문제들을 자신만의 방식으로 해결하고자 노력했습니다. 이러한 과정은 천재성이라는 모호한 단어보다는, 주어진 문제를 깊이 있게 파고들어 자신만의 논리를 구축해 나가는 탐구 정신의 결과물입니다. 이는 과학적 성취가 특별한 소수만의 전유물이 아님을 시사합니다. 20세기 초, 수학자 다비트 힐베르트는 모든 수학적 명제에 대한 기계적 판정 방법이 존재할 것이라는 원대한 꿈을 꾸었습니다. 하지만 1931년, 젊은 수학자 쿠르트 괴델은 기계적인 방식으로는 모든 수학적 사실을 증명할 수 없다는 것을 완벽하게 입증하며 수학계에 커다란 충격을 안겨주었습니다. 힐베르트의 꿈은 좌절되었지만, 이 사건은 오히려 '기계적 계산'이란 무엇인가에 대한 근본적인 질문을 던지는 계기가 되었습니다. 수학적 한계를 증명하는 과정에서 역설적으로 새로운 논리적 사고의 지평이 열리게 된 것입니다. 튜링은 불완전성 정리를 접한 뒤, 자신만의 스타일로 이를 재증명하기 위해 '기계적'이라는 개념을 구체적으로 정의하기 시작했습니다. 그는 무한한 테이프와 상태 표시 장치, 그리고 규칙표라는 네 가지 부품만으로 구성된 가상의 장치를 고안해 냈습니다. 이것이 바로 오늘날 컴퓨터의 원형인 '튜링 기계'입니다. 흥미로운 점은 튜링이 처음부터 컴퓨터를 발명하려 했던 것이 아니라, 수학적 불가능성을 증명하기 위한 하나의 도구로서 이 기계를 설계했다는 사실입니다. 논리적 증명을 돕기 위한 소품이 현대 정보 혁명의 핵심이 되었습니다. 1936년에 발표된 튜링의 논문은 수학적 난제를 해결하는 동시에 현대 컴퓨터 과학의 청사진을 제시했습니다. 계산 가능한 수의 범위를 정의하고 기계적 절차의 한계를 밝혀낸 그의 연구는, 오늘날 우리가 사용하는 모든 디지털 기기의 이론적 토대가 되었습니다. 수학의 좌절을 확인하는 과정에서 우연히 탄생한 이 아이디어는 인류의 삶을 송두리째 바꾸어 놓았습니다. 결국 컴퓨터 과학의 역사는 불가능에 도전했던 수학자들의 치열한 고민과, 그 과정에서 발견한 논리적 도구들이 빚어낸 위대한 우연의 산물이라고 할 수 있습니다.

[강연] 컴퓨터과학의 원천 아이디어가 나오기까지 (1) _ by이광근 | 2018 봄 카오스 강연 '모든 것의 수數다' 10강

이광근

카오스재단카오스강연
  • 수학
  • 융합