트랜스포머

4 Contents

챗GPT와 인간의 기억 능력의 차이는? 🧐(feat. 맘바🐍) l 2026 미래 과학 트렌드 북콘서트

인간 기억의 연구 역사에서 헨리 몰레이슨이라는 인물은 매우 중요한 위치를 차지합니다. 그는 어린 시절 사고로 인한 뇌전증을 치료하기 위해 해마를 절제하는 수술을 받았지만, 그 결과 예상치 못한 치명적인 부작용을 겪게 되었습니다. 수술 이전의 일들은 온전하게 기억했음에도 불구하고, 수술을 받은 시점 이후부터는 새로운 장기 기억을 전혀 생성하지 못하게 된 것입니다. 이 사례는 우리 뇌의 특정 부위가 기억의 형성과 저장에 있어서 어떠한 결정적인 역할을 수행하는지를 세상에 알리는 중대한 계기가 되었습니다. 브렌다 밀너 박사의 심도 있는 연구를 통해 해마가 단기 기억을 장기 기억으로 전환하는 핵심적인 가교 역할을 한다는 사실이 밝혀졌습니다. 우리가 일상에서 겪는 수많은 경험은 해마를 거쳐 대뇌피질로 이동하며 고착화되는데, 이 과정에서 신경세포 사이의 연결 통로인 시냅스가 물리적으로 변화하며 견고한 장기 기억이 형성됩니다. 흥미로운 점은 우리가 숙면을 취하는 동안에도 해마가 이 전환 작업을 부지런히 수행한다는 것입니다. 이러한 인간의 뇌 구조와 학습 메커니즘은 오늘날 인공지능 신경망 설계의 중요한 영감이 되었습니다. 인공지능 역시 인간의 시냅스와 유사한 개념인 매개변수를 통해 정보를 저장하고 지능을 구현합니다. 하지만 현재의 거대 언어 모델(LLM)들은 학습이 완료되어 출시되는 순간 그 수치가 동결되는 특성을 가집니다. 만약 대화 도중에 새로운 정보를 실시간으로 장기 기억화하려고 시도하면, 기존에 정교하게 학습된 데이터가 훼손되는 '파괴적 망각' 현상이 발생하기 때문입니다. 따라서 우리가 챗봇과 대화하며 느끼는 지능적인 반응은 실시간 학습의 결과가 아니라, 이미 고정된 신경망 내에서 최적의 답변을 찾아내는 과정에 가깝습니다. 대신 인공지능은 '문맥 창'이라고 불리는 일종의 단기 기억 저장소를 활용해 대화의 흐름을 유지합니다. 대화창 내의 정보는 일정량까지 기억할 수 있지만, 창을 닫거나 용량을 초과하면 정보를 잊게 되는 구조입니다. 최근에는 이러한 한계를 극복하기 위해 검색 증강 생성(RAG) 기술이 활발하게 도입되고 있습니다. 이는 모델이 과거의 대화 기록이나 외부 데이터를 실시간으로 검색하여 참고하게 함으로써, 인공지능에게 파괴적 망각의 위험 없이도 방대한 양의 외부 장기 기억을 부여하는 효과적인 전략으로 자리 잡았습니다. 현재 인공지능의 주류인 트랜스포머 아키텍처는 모든 데이터를 대조하는 방식이라 연산 효율성에 한계가 존재합니다. 이를 보완하기 위해 등장한 '맘바(Mamba)' 모델은 정보를 압축하여 처리하는 선택적 상태 공간 모델(SSM)을 기반으로 훨씬 빠른 연산 속도를 자랑합니다. 뱀처럼 민첩하게 정보를 처리한다는 의미를 담은 이 새로운 신경망이 과연 트랜스포머의 시대를 대체하고 인공지능의 새로운 표준이 될지는 전 세계 연구자들의 주요 관심사입니다. 이러한 혁신적인 시도들은 인공지능이 인간처럼 유연한 연속 학습을 할 수 있는 미래를 앞당기고 있습니다.

챗GPT와 인간의 기억 능력의 차이는? 🧐(feat. 맘바🐍)  l 2026 미래 과학 트렌드 북콘서트
국립과천과학관과학강연👨‍🏫
  • 뇌인지과학
  • 융합

AI의 기억과 생각은 어디까지?🧐 l 2026 미래 과학 트렌드 북콘서트

인공지능의 역사는 영국의 수학자 앨런 튜링이 던진 '기계가 생각할 수 있을까?'라는 질문에서 시작되었습니다. 그는 2014년 영화 '이미테이션 게임'의 실제 주인공으로, 현대 컴퓨터의 최초 청사진을 그린 인물이기도 합니다. 튜링은 기계의 지능을 정의하기 위해 '이미테이션 게임', 즉 튜링 테스트라는 개념을 제안했습니다. 이는 벽 너머의 판단자가 인간과 기계의 대화를 구분하지 못할 때 해당 기계에게 지능이 있다고 간주하는 방식입니다. 이 아이디어는 오늘날 우리가 인공지능과 대화하는 모든 기술적 토대의 출발점이 되었습니다. 자연어 처리라는 분야는 인간이 일상적으로 사용하는 '자연어'를 기계가 이해하고 생성하도록 만드는 연구입니다. 기계가 말을 한다는 것은 기본적으로 다음에 올 단어를 확률적으로 예측하는 과정과 같습니다. 예를 들어 '나의 죽음을 적에게'라는 문구 뒤에 '알리지 말라'가 올 확률이 가장 높다고 계산하여 문장을 완성하는 식입니다. 과거 스마트폰의 자동 완성 기능도 이와 유사한 원리였지만, 최신 인공지능은 그 예측 능력이 아득히 정교해져서 인간과 구분이 어려울 정도로 자연스럽고 탁월한 문장 구사력을 보여줍니다. 챗GPT와 같은 현대의 인공지능은 문장을 직접 인식하기보다 '토큰'이라는 더 작은 단위로 쪼개어 처리합니다. 기계는 자연어 자체를 이해하지 못하므로, 각 토큰을 숫자로 이루어진 벡터값으로 변환하여 고차원적인 의미 공간상에 배치합니다. 이 공간에서 의미가 유사한 단어들은 서로 가깝게 위치하게 되며, 인공지능은 학습을 통해 이러한 의미 관계를 스스로 파악합니다. 즉, 우리가 입력하는 질문은 기계 내부에서 복잡한 숫자들의 연산으로 치환되며, 이를 바탕으로 가장 적절한 답변 토큰을 하나씩 생성해 내는 것입니다. 인공지능의 구조는 인간 뇌의 뉴런과 시냅스 연결망에서 영감을 얻은 '인공신경망'을 기반으로 합니다. 뇌 속의 학습이 시냅스 연결 강도의 변화로 나타나듯, 인공지능 역시 '매개변수'라고 불리는 숫자 값들을 조정하며 학습합니다. GPT-2가 15억 개의 매개변수를 가졌던 것에 비해, 최신 모델인 GPT-4는 무려 1조 7,600억 개의 매개변수를 보유하고 있습니다. 이처럼 방대한 규모의 연산 능력을 갖추었기에 이를 '거대 언어 모델(LLM)'이라 부르며, 챗GPT나 제미나이 같은 고성능 AI들이 탄생할 수 있었습니다. GPT는 생성형(Generative), 사전 학습된(Pre-trained), 트랜스포머(Transformer)의 약자로, 여기서 핵심은 트랜스포머라는 신경망 구조입니다. 2017년에 발표된 이 기술은 문장 내의 모든 토큰 사이의 연관성을 계산하는 '어텐션(Attention)' 메커니즘을 사용합니다. 이전의 기술들을 압도하는 성능을 지닌 이 방식은 문맥의 흐름을 정확히 파악하여 긴 문장도 막힘없이 생성할 수 있게 해주었습니다. 이러한 기술적 진보 덕분에 인공지능은 단순한 도구를 넘어 인간의 언어적 파트너로서 우리 일상 속에 깊숙이 자리 잡게 되었습니다.

AI의 기억과 생각은 어디까지?🧐  l 2026 미래 과학 트렌드 북콘서트
국립과천과학관과학강연👨‍🏫
  • 뇌인지과학
  • 수학
  • 융합

인공지능은 어떻게 우리 질문에 답하는 것일까?

최근 전 세계적으로 ChatGPT에 대한 관심이 매우 뜨겁습니다. 이는 오픈AI가 개발한 생성형 인공지능으로, 방대한 데이터를 바탕으로 인간과 유사한 대화를 가능하게 합니다. 이러한 인공지능이 언어를 이해하는 핵심 원리는 트랜스포머 기술에 있습니다. 텍스트를 잘게 쪼개어 딥러닝 알고리즘으로 분석하는 이 방식은 인간의 뇌와 유사한 정보 처리 과정을 거칩니다. 또한, 인터넷과 서적 등 방대한 소스에서 학습된 매개변수를 활용하는 트랜스포머 아키텍처는 인공지능이 스스로 답변을 생성할 수 있도록 돕는 중추적인 역할을 수행하며 차세대 인공지능 경쟁의 서막을 알리고 있습니다. 인공지능의 언어 이해를 돕는 또 다른 핵심 기술은 셀프 어텐션입니다. 이는 인간의 주의력을 모방하여 문장에서 가장 중요한 단어에 집중하고 단어 간의 관련성을 추론하는 방법입니다. 덕분에 인공지능은 문맥의 전체적인 의미를 명확하게 파악할 수 있습니다. 하지만 이러한 발전에도 불구하고 여전히 보완해야 할 점은 존재합니다. 대표적으로 주관적인 가치 판단의 부재를 들 수 있는데, 특정 선택지에 대해 단정적인 답변을 내놓지 못하는 한계가 있습니다. 또한 과제 대필이나 가짜 뉴스 생성과 같은 윤리적 문제와 정보의 신뢰성 확보는 인공지능 서비스가 앞으로 반드시 해결해야 할 숙제로 남아 있습니다. 이러한 한계를 극복하기 위해 한국전자통신연구원(ETRI)이 개발한 엑소브레인이 주목받고 있습니다. 엑소브레인은 일반적인 대화에 치중하는 기존 서비스와 달리 법률이나 금융 등 전문 분야에서 명확한 설명과 근거를 함께 제시하는 인공지능입니다. 이는 정보의 출처와 근거를 밝힘으로써 가짜 뉴스와 같은 오정보를 선별하는 데 큰 도움을 줍니다. 4차 산업혁명의 핵심 동력인 인공지능 기술은 이제 단순한 답변 생성을 넘어 신뢰할 수 있는 지식 파트너로 진화하고 있습니다. 국내 연구진이 주도하는 인공지능 핵심 기술의 발전은 앞으로 우리 사회의 다양한 문제를 해결하고 새로운 혁신을 이끌어갈 것으로 기대됩니다.

인공지능은 어떻게 우리 질문에 답하는 것일까?
한국전자통신연구원ETRI 인사이드
  • 융합
  • 공학·기술

[강연] 헬로 딥러닝 : 직관적이고 명확하게 딥러닝을 이해하기 _ by남세동 ㅣ 2020 가을 카오스강연 'Ai X' 9강 | 9강

컴퓨터는 본질적으로 숫자를 계산하는 기계입니다. 우리가 화면으로 보는 이미지나 듣는 음악도 결국은 디지털화된 숫자의 집합에 불과합니다. 전통적 프로그래밍 방식은 사람이 직접 논리와 절차를 설계하여 알고리즘을 만들고, 이를 코드로 옮기는 과정이었습니다. 하지만 고양이나 개를 구분하는 것과 같이 복잡한 패턴을 인식하는 문제는 인간이 모든 예외 상황을 코드로 정의하기에 한계가 있었습니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 데이터 스스로 학습하는 딥러닝 기술입니다. 딥러닝의 핵심 구조인 인공신경망은 인간의 뇌 구조에서 영감을 얻었습니다. 인공신경망은 수많은 동그라미 형태의 노드와 이들을 잇는 화살표인 가중치로 구성됩니다. 놀랍게도 이 복잡해 보이는 시스템의 기본 원리는 단순한 곱셈과 덧셈의 반복입니다. 입력값에 가중치를 곱하고 이를 모두 더한 뒤, 활성화 함수를 거쳐 다음 노드로 전달하는 과정이 수없이 반복됩니다. 알파고나 자율주행 엔진 같은 최첨단 기술들도 그 내부를 들여다보면 결국 이러한 단순한 수치 계산의 거대한 집합체라고 할 수 있습니다. 인공지능을 학습시키는 대표적인 방법 중 하나는 정답을 알려주는 지도 학습입니다. 예를 들어 특정 배경색에 어울리는 글자색을 찾을 때, 수많은 예시 데이터를 입력하고 인공지능이 스스로 최적의 가중치를 찾아내도록 유도합니다. 처음에는 무작위로 설정되었던 가중치들이 반복적인 학습 과정을 거치며 점차 정답에 가까운 결과를 내놓게 됩니다. 이는 마치 어린아이가 반복 학습을 통해 사물을 구별하는 법을 배우는 과정과 유사하며, 데이터가 많아질수록 인공신경망은 더욱 정교한 판단을 내릴 수 있게 됩니다. 딥러닝의 가장 신기한 점은 일부 정답 데이터만으로도 학습하지 않은 수많은 사례를 정확히 판별해 낸다는 것입니다. 수천 장의 사진만 학습해도 수억 장의 새로운 사진 속 대상을 구분할 수 있는 이유는 데이터가 가진 고유한 패턴을 3차원 이상의 공간에 매핑하기 때문입니다. 비슷한 특징을 가진 데이터들은 특정 영역에 모이게 되고, 인공신경망은 이 영역들을 구분하는 경계선을 찾아냅니다. 이러한 일반화 능력 덕분에 인공지능은 단순한 암기를 넘어 새로운 상황에 유연하게 대처할 수 있는 지능적인 면모를 갖추게 됩니다. 인공신경망이 최적의 가중치를 찾아가는 과정은 매우 단순하면서도 무식할 정도로 반복적입니다. 입력값에 따른 결과가 정답과 다를 경우, 그 오차를 줄이기 위해 수천만 개에서 수십억 개에 달하는 가중치들을 조금씩 조정합니다. 이를 경사 하강법이라 부르는데, 오차라는 산의 골짜기를 찾아 내려가는 과정과 같습니다. 수학적으로 이러한 가중치가 존재한다는 것은 증명되었지만, 왜 이토록 단순한 방식으로 복잡한 지능이 구현되는지는 여전히 현대 과학의 신비로 남아 있습니다. 최근 딥러닝은 언어 모델인 GPT-3나 단백질 구조를 예측하는 알파폴드 2처럼 인류의 난제를 해결하는 수준에 도달했습니다. 이는 자연계에 존재하는 방대한 패턴을 숫자로 치환하여 분석할 수 있게 되었음을 의미합니다. 문장의 맥락을 파악하여 대화를 나누거나 복잡한 물리 시뮬레이션을 수천 배 빠르게 수행하는 등, 딥러닝은 인간의 지적 능력을 보조하는 강력한 도구가 되었습니다. 결국 딥러닝의 본질은 숫자의 집합속에서 유의미한 패턴을 찾아내어 이를 실용적인 지능으로 변환하는 기술이라 할 수 있습니다. 인류 역사를 돌아보면 기술의 활용이 이론적 이해보다 앞섰던 사례가 많습니다. 증기기관이 열역학 법칙이 정립되기 전부터 산업 혁명을 이끌었듯이, 딥러닝 역시 그 작동 원리를 완벽히 설명하지 못하더라도 이미 세상을 바꾸고 있습니다. 인공지능이 내놓는 결과가 왜 도출되었는지 인간이 완전히 이해하지 못하는 영역이 존재하지만, 이는 오히려 새로운 과학적 발견의 기회가 되기도 합니다. 우리는 이제 딥러닝이라는 거대한 도구를 통해 지능의 본질을 탐구하고 미래의 변화를 맞이할 준비를 해야 합니다.

[강연] 헬로 딥러닝 : 직관적이고 명확하게 딥러닝을 이해하기 _ by남세동 ㅣ 2020 가을 카오스강연 'Ai X' 9강

남세동

카오스재단카오스강연
  • 뇌인지과학