투명성

2 Contents

[강연] AI의 사고과정을 설명할 수 있을까 _ by최재식 ㅣ 2020 가을 카오스강연 'Ai X' 6강 | 6강

인공지능(AI) 기술은 자율주행, 금융, 의료 등 우리 삶의 핵심적인 영역으로 깊숙이 침투하고 있습니다. 하지만 시스템이 복잡해질수록 그 내부 작동 원리를 파악하기 어려워지는 '블랙박스' 문제가 발생합니다. 만약 AI가 중대한 결정을 내렸을 때 그 이유를 설명하지 못한다면, 예상치 못한 오류가 발생했을 때 인간의 생명과 재산에 심각한 위협이 될 수 있습니다. 따라서 AI가 내린 결론의 근거를 사람이 이해할 수 있는 방식으로 제시하는 '설명 가능 인공지능(XAI)' 기술은 이제 선택이 아닌 필수적인 요소로 자리 잡고 있습니다. 유럽연합의 일반 데이터 보호 규정(GDPR)은 자동화된 의사결정에 대해 설명을 요구할 권리를 법적으로 보장하고 있습니다. 이는 AI가 대출 심사나 채용 등에서 편향된 판단을 내리지 않도록 감시하는 중요한 장치가 됩니다. 실제로 특정 딥러닝 모델이 성적 지향이나 인종과 같은 민감한 정보를 학습하여 편견을 가질 수 있다는 연구 결과는 설명 가능성의 중요성을 시사합니다. 기업들은 이제 알고리즘의 투명성을 확보하지 못할 경우 막대한 벌금을 부과받을 수 있으며, 이는 기술적 신뢰를 넘어 사회적 윤리를 지키는 토대가 됩니다. 복잡한 딥러닝 모델을 설명하기 위한 대표적인 방법 중 하나는 '계층별 관련성 전파(LRP)' 기술입니다. 이는 AI가 최종 결정을 내리는 데 있어 입력 데이터의 어떤 부분이 가장 큰 기여를 했는지 역추적하는 방식입니다. 예를 들어, 자율주행 자동차가 핸들을 왼쪽으로 꺾었다면 도로의 특정 픽셀이나 장애물이 그 결정에 얼마나 영향을 미쳤는지 수치화하여 보여줄 수 있습니다. 수천만 개의 뉴런이 얽힌 복잡한 구조라도 각 레이어의 기여도를 분석함으로써, 우리는 블랙박스 내부의 논리적 흐름을 시각적으로 확인하고 검증할 수 있게 됩니다. 인공지능(AI) 내부를 들여다보는 연구는 마치 해부학 실습처럼 정교하게 진행되고 있습니다. 특정 레이어의 노드들이 어떤 사물에 반응하는지 분석해 보면, 놀랍게도 딥러닝 내부에는 비행기, 하늘, 식물 등 특정 물체를 전담해서 인식하는 유닛들이 존재함을 알 수 있습니다. 이는 AI가 단순히 데이터를 암기하는 것이 아니라, 스스로 유의미한 특징을 추출하여 세상을 이해하고 있음을 보여줍니다. 이러한 내부 구조의 가시화는 AI가 학습 과정에서 무엇을 중요하게 여기는지 파악하게 해주며, 모델의 성능 개선과 오류 수정을 위한 결정적인 단서를 제공합니다. 고차원 공간에서 작동하는 생성 모델의 내부를 탐색하기 위해 로봇 공학의 알고리즘을 도입하기도 합니다. 수천 차원의 복잡한 경계면을 효율적으로 찾아내는 기술을 통해, AI가 생성하는 이미지의 미세한 변화가 어떤 노드의 영향인지 정확히 짚어낼 수 있습니다. 예를 들어 안경의 유무나 배경의 색감 변화가 결정되는 경계 지점을 찾아냄으로써, 모델의 작동 범위를 명확히 규정하는 것이 가능해집니다. 이러한 정밀한 분석 도구는 AI가 단순히 결과를 내놓는 수준을 넘어, 그 결과가 도출되는 전체적인 지형도를 인간에게 제시하는 역할을 수행합니다. 설명 가능 인공지능(XAI)은 실제 산업 현장에서도 혁신적인 성과를 거두고 있습니다. 거대한 용광로인 고로의 온도를 예측하고 제어하는 시스템에 이 기술을 적용한 사례가 대표적입니다. 숙련된 조업자들은 처음에는 AI의 판단을 불신하기도 했지만, AI가 특정 센서값과 압력을 근거로 제시하며 이유를 설명하자 기술을 신뢰하고 협업하기 시작했습니다. 그 결과 연료 절감과 생산성 향상을 동시에 달성하며 국가 핵심 기술로 지정되는 쾌거를 이루었습니다. 이는 기술적 완성도만큼이나 인간과의 소통과 신뢰 형성이 산업 현장에서 얼마나 중요한지를 증명합니다. 인공지능(AI)의 미래는 인간의 지능을 대체하는 것이 아니라 보완하고 확장하는 '증강 지능'의 방향으로 나아가고 있습니다. 설명 가능 인공지능(XAI)은 AI가 잘하는 것과 못하는 것을 명확히 구분해 줌으로써, 기술에 대한 막연한 두려움이나 과도한 기대를 걷어내는 역할을 합니다. 이는 과거 AI 기술이 한계에 부딪혀 겪었던 'AI 빙하기'를 방지하고, 지속 가능한 기술 발전을 이끄는 안전장치가 될 것입니다. 결국 인간과 AI가 서로의 사고 과정을 이해하고 협력할 때, 우리는 더욱 안전하고 효율적인 인공지능(AI) 시대를 맞이할 수 있을 것입니다.

[강연] AI의 사고과정을 설명할 수 있을까 _ by최재식 ㅣ 2020 가을 카오스강연 'Ai X' 6강

최재식

카오스재단카오스강연
  • 뇌인지과학

[석학인터뷰] 전주용_ 경제학자가 말하는 블록체인! | 2020 봄 카오스강연 '첨단기술의 과학'

공학을 전공하던 시절 마주한 외환위기와 인터넷의 보급은 기술이 사회와 얼마나 밀접하게 연결되어 있는지를 깨닫게 하는 중요한 계기가 되었습니다. 단순히 기계적인 원리를 탐구하는 것을 넘어, 우리가 사는 세상을 이해하고 그 안에서 발생하는 복잡한 상호작용을 분석할 필요성을 느낀 것입니다. 이러한 고민 끝에 공학적 사고방식을 유지하면서도 사회 시스템을 깊이 있게 통찰할 수 있는 학문으로 경제학을 선택하게 되었습니다. 기술과 사회의 접점에서 새로운 시각을 정립하려는 시도는 이후 블록체인과 같은 혁신적인 기술을 바라보는 근간이 되었습니다. 블록체인 기술의 핵심은 모든 거래 내역을 투명하게 공개하여 부정직한 시도를 원천적으로 차단하는 데 있습니다. 누군가를 일시적으로 속일 수는 있을지 몰라도, 네트워크에 참여하는 모든 구성원을 영원히 기만하는 것은 불가능하다는 원리가 이 시스템의 바탕을 이룹니다. 정상적인 거래 정보가 모두에게 공유됨으로써 위조나 사기와 같은 부적절한 행위는 자연스럽게 걸러지게 되며, 결과적으로 신뢰할 수 있는 데이터만이 생태계에 남게 됩니다. 이는 기술적 장치를 통해 사회적 신뢰를 구축하려는 시도로, 경제적 거래의 투명성을 획기적으로 높이는 역할을 합니다. 과학기술의 발전은 단순히 자연법칙의 발견에 그치지 않고, 그것을 수행하는 과학자사회의 가치관과 시대적 배경에 큰 영향을 받습니다. 과학자들 역시 인간이기에 편견과 오류에서 완전히 자유로울 수 없으며, 이러한 한계를 인식하는 것이 진정한 과학적 태도의 시작입니다. 따라서 기술의 원리를 파악하는 것만큼이나 과학철학이나 과학사회학적 관점에서 기술이 사회와 맺는 관계를 성찰하는 과정이 중요합니다. 블록체인 역시 단순한 기술적 구현을 넘어, 경제적 제도와 인간의 상호작용이라는 거대한 틀 안에서 그 본질과 한계를 명확히 이해하려는 노력이 필요합니다.

[석학인터뷰] 전주용_ 경제학자가 말하는 블록체인! | 2020 봄 카오스강연 '첨단기술의 과학'

전주용

카오스재단카오스강연
  • 수학
  • 융합