설명가능인공지능

2 Contents

[카오스 짧강] 2026 카오스 콘서트 예습하기: AI의 사고과정을 설명할 수 있을까_PART 3

딥러닝이 아닌 기계 학습 모델 중에서도 설명 가능한 인공지능을 구현할 수 있는 다양한 방법론이 존재합니다. 그중 베이지안 통계를 기반으로 한 '자동 통계학자' 모델은 케임브리지와 MIT가 공동 개발한 것으로, 복잡한 모델을 우리가 이해할 수 있는 연산자와 기저 모델의 조합으로 풀어냅니다. 마치 수학 공식처럼 모델을 더하거나 곱하는 연산 과정을 통해 전체를 파악할 수 있게 하는 것입니다. 이는 과거 통계학자들이 수동으로 수행하던 데이터 분석과 검증 과정을 알고리즘이 스스로 수행하면서도, 그 과정을 인간이 납득할 수 있는 언어로 설명해 준다는 점에서 혁신적인 기술로 평가받고 있습니다. 이러한 설명 가능한 인공지능 모델의 효용성은 실제 데이터 분석에서 명확히 드러납니다. 인공지능은 별도의 사전 지식 없이도 11년 주기의 태양 흑점 활동이나 100년 단위의 변화, 그리고 역사적인 소빙하기 시점의 온도 변화를 정확히 포착해 냈습니다. 더 나아가 '관계 자동 통계학자' 기술은 여러 개의 시계열 데이터가 공유하는 공통 특징과 개별적 특성을 동시에 파악합니다. 금, 석유, 나스닥 지수처럼 서로 얽혀 있는 지표들 사이의 상관관계를 분석하고, 특정 시점의 급격한 변동 원인을 설명함으로써 복잡한 경제 흐름을 읽어내는 데 큰 도움을 줍니다. 의사 결정 트리 기반의 모델 역시 설명 가능성 측면에서 강점을 보입니다. 특히 성능이 뛰어난 'XGBoost' 알고리즘은 수많은 트리가 결합된 복잡한 형태를 띠지만, 각 트리의 가중치와 노드별 결정 기준을 시각화함으로써 판단 근거를 명확히 할 수 있습니다. 예를 들어 타이타닉 생존자 데이터를 분석할 때, 인공지능이 어떤 변수를 중요하게 고려했는지 구체적인 수치로 보여줍니다. 객실 등급, 요금, 나이 등의 요인이 생존 결정에 미친 영향력을 개별적으로 분석할 수 있기에, 블랙박스처럼 결과만 내놓는 것이 아니라 인공지능의 사고 과정을 인간이 투명하게 들여다볼 수 있게 합니다. 산업 현장에서의 응용은 설명 가능한 인공지능의 가치를 더욱 빛나게 합니다. 포스코의 고로 자동 제어 시스템에 적용된 '군집 딥러닝' 기술은 수천 개의 센서 데이터를 효율적으로 처리하며 쇳물의 온도를 정밀하게 예측합니다. 이 기술은 연간 수백억 원의 비용 절감 효과를 거두었을 뿐만 아니라, 국가 핵심 기술로 선정되는 쾌거를 이루었습니다. 무엇보다 중요한 성과는 현장 조업자들의 신뢰를 얻었다는 점입니다. 인공지능이 왜 특정 제어를 제안했는지 설명 가능한 근거를 제시함으로써, 숙련된 기술자들과 인공지능 시스템 사이의 간극을 줄이고 협업 효율을 극대화할 수 있었습니다. 인공지능의 미래는 수치 데이터를 넘어 글을 읽고 스스로 설명하는 형태로 진화할 것입니다. 워런 버핏이 기업의 보고서를 읽고 투자를 결정하듯, 미래의 인공지능은 텍스트와 수치를 동시에 분석하여 종합적인 판단을 내리고 그 이유를 보고서 형태로 작성해 줄 것입니다. 단순히 상승 혹은 하락을 예측하는 수준을 넘어, 구체적으로 어떤 지표가 위험하며 어떤 외부 요인이 변동을 일으켰는지를 사람처럼 상세하게 설명해 주는 시대가 머지않았습니다. 이러한 다학제적 통합은 인공지능이 인간의 진정한 파트너로서 복잡한 세상을 함께 이해해 나가는 토대가 될 것입니다.

[카오스 짧강] 2026 카오스 콘서트 예습하기: AI의 사고과정을 설명할 수 있을까_PART 3
카오스재단카오스 짧강(짧은 강연)
  • 수학
  • 융합

[강연] AI의 사고과정을 설명할 수 있을까 _ by최재식 ㅣ 2020 가을 카오스강연 'Ai X' 6강 | 6강

인공지능(AI) 기술은 자율주행, 금융, 의료 등 우리 삶의 핵심적인 영역으로 깊숙이 침투하고 있습니다. 하지만 시스템이 복잡해질수록 그 내부 작동 원리를 파악하기 어려워지는 '블랙박스' 문제가 발생합니다. 만약 AI가 중대한 결정을 내렸을 때 그 이유를 설명하지 못한다면, 예상치 못한 오류가 발생했을 때 인간의 생명과 재산에 심각한 위협이 될 수 있습니다. 따라서 AI가 내린 결론의 근거를 사람이 이해할 수 있는 방식으로 제시하는 '설명 가능 인공지능(XAI)' 기술은 이제 선택이 아닌 필수적인 요소로 자리 잡고 있습니다. 유럽연합의 일반 데이터 보호 규정(GDPR)은 자동화된 의사결정에 대해 설명을 요구할 권리를 법적으로 보장하고 있습니다. 이는 AI가 대출 심사나 채용 등에서 편향된 판단을 내리지 않도록 감시하는 중요한 장치가 됩니다. 실제로 특정 딥러닝 모델이 성적 지향이나 인종과 같은 민감한 정보를 학습하여 편견을 가질 수 있다는 연구 결과는 설명 가능성의 중요성을 시사합니다. 기업들은 이제 알고리즘의 투명성을 확보하지 못할 경우 막대한 벌금을 부과받을 수 있으며, 이는 기술적 신뢰를 넘어 사회적 윤리를 지키는 토대가 됩니다. 복잡한 딥러닝 모델을 설명하기 위한 대표적인 방법 중 하나는 '계층별 관련성 전파(LRP)' 기술입니다. 이는 AI가 최종 결정을 내리는 데 있어 입력 데이터의 어떤 부분이 가장 큰 기여를 했는지 역추적하는 방식입니다. 예를 들어, 자율주행 자동차가 핸들을 왼쪽으로 꺾었다면 도로의 특정 픽셀이나 장애물이 그 결정에 얼마나 영향을 미쳤는지 수치화하여 보여줄 수 있습니다. 수천만 개의 뉴런이 얽힌 복잡한 구조라도 각 레이어의 기여도를 분석함으로써, 우리는 블랙박스 내부의 논리적 흐름을 시각적으로 확인하고 검증할 수 있게 됩니다. 인공지능(AI) 내부를 들여다보는 연구는 마치 해부학 실습처럼 정교하게 진행되고 있습니다. 특정 레이어의 노드들이 어떤 사물에 반응하는지 분석해 보면, 놀랍게도 딥러닝 내부에는 비행기, 하늘, 식물 등 특정 물체를 전담해서 인식하는 유닛들이 존재함을 알 수 있습니다. 이는 AI가 단순히 데이터를 암기하는 것이 아니라, 스스로 유의미한 특징을 추출하여 세상을 이해하고 있음을 보여줍니다. 이러한 내부 구조의 가시화는 AI가 학습 과정에서 무엇을 중요하게 여기는지 파악하게 해주며, 모델의 성능 개선과 오류 수정을 위한 결정적인 단서를 제공합니다. 고차원 공간에서 작동하는 생성 모델의 내부를 탐색하기 위해 로봇 공학의 알고리즘을 도입하기도 합니다. 수천 차원의 복잡한 경계면을 효율적으로 찾아내는 기술을 통해, AI가 생성하는 이미지의 미세한 변화가 어떤 노드의 영향인지 정확히 짚어낼 수 있습니다. 예를 들어 안경의 유무나 배경의 색감 변화가 결정되는 경계 지점을 찾아냄으로써, 모델의 작동 범위를 명확히 규정하는 것이 가능해집니다. 이러한 정밀한 분석 도구는 AI가 단순히 결과를 내놓는 수준을 넘어, 그 결과가 도출되는 전체적인 지형도를 인간에게 제시하는 역할을 수행합니다. 설명 가능 인공지능(XAI)은 실제 산업 현장에서도 혁신적인 성과를 거두고 있습니다. 거대한 용광로인 고로의 온도를 예측하고 제어하는 시스템에 이 기술을 적용한 사례가 대표적입니다. 숙련된 조업자들은 처음에는 AI의 판단을 불신하기도 했지만, AI가 특정 센서값과 압력을 근거로 제시하며 이유를 설명하자 기술을 신뢰하고 협업하기 시작했습니다. 그 결과 연료 절감과 생산성 향상을 동시에 달성하며 국가 핵심 기술로 지정되는 쾌거를 이루었습니다. 이는 기술적 완성도만큼이나 인간과의 소통과 신뢰 형성이 산업 현장에서 얼마나 중요한지를 증명합니다. 인공지능(AI)의 미래는 인간의 지능을 대체하는 것이 아니라 보완하고 확장하는 '증강 지능'의 방향으로 나아가고 있습니다. 설명 가능 인공지능(XAI)은 AI가 잘하는 것과 못하는 것을 명확히 구분해 줌으로써, 기술에 대한 막연한 두려움이나 과도한 기대를 걷어내는 역할을 합니다. 이는 과거 AI 기술이 한계에 부딪혀 겪었던 'AI 빙하기'를 방지하고, 지속 가능한 기술 발전을 이끄는 안전장치가 될 것입니다. 결국 인간과 AI가 서로의 사고 과정을 이해하고 협력할 때, 우리는 더욱 안전하고 효율적인 인공지능(AI) 시대를 맞이할 수 있을 것입니다.

[강연] AI의 사고과정을 설명할 수 있을까 _ by최재식 ㅣ 2020 가을 카오스강연 'Ai X' 6강

최재식

카오스재단카오스강연
  • 뇌인지과학