과학 포털 iKAOS

[2021 ETRI Technology Report ①] 인간과 인공지능의 교감시대를 만들어가는 도전

엑소브레인은 한국어를 이해하는 인공지능 프로젝트로, 사람이 사용하는 언어를 분석하고 지식을 학습하여 질문에 대한 정답과 근거를 제시하는 기술을 연구합니다. 이 기술은 최근 주목받는 GPT-3와 같은 모델을 활용한 딥러닝 언어 처리 기술과 사람이 언어를 이해하는 방식을 모사하는 심볼릭 언어 처리 기술이 결합된 형태입니다. 심볼릭 방식은 형태소 분석, 개체명 인식, 의존 구문 분석 등 문장의 구조와 의미를 세밀하게 파악하며, 이를 통해 컴퓨터가 인간의 언어를 지능적으로 처리할 수 있게 돕습니다. 국가 차원의 장기 인공지능 프로젝트 필요성에 따라 2013년부터 엑소브레인 과제가 본격적으로 수행되었습니다. 이 기술은 장차 인공지능 법률 상담사나 인공지능 세무 상담사, 혹은 지능형 고객 센터 상담사와 같은 전문적인 영역에서 폭넓게 활용될 수 있는 잠재력을 지니고 있습니다. 고도화된 언어 처리 기술이 다양한 서비스 플랫폼에 안착하게 된다면, 복잡한 지식 기반의 상담 업무를 자동화하고 사용자에게 최적의 답변을 실시간으로 제공하는 혁신적인 서비스 환경이 우리 사회 전반에 구축될 것입니다. 앞으로 엑소브레인이 나아갈 방향은 단순한 정보 전달을 넘어 인간의 의사 결정 지원하는 지능형 시스템을 개발하는 것입니다. 사용자가 처한 상황을 분석하고 최선의 결정을 내릴 수 있도록 타당한 판단 근거와 추론 과정을 논리적으로 설명해 주는 기술에 집중하고 있습니다. 연구팀은 현재 개발된 성과를 대중에게 공개하여 다양한 산업 분야에서 활용되도록 돕고 있습니다. 비록 기술이 겉으로 직접 보이지 않더라도, 다양한 서비스 안에 자연스럽게 녹아들어 사용자에게 편의를 제공하는 것이 연구의 궁극적인 목표입니다.

[2021] 02 엑소브레인 심층 QA 기술

엑소브레인은 인간의 언어 이해 방식을 모사하여 텍스트의 의미를 정밀하게 분석하는 인공지능 기술입니다. 이 기술은 크게 한국어 분석, 딥러닝 언어 모델, 그리고 기계 독해 기반의 심층 질의응답이라는 세 가지 축으로 구성됩니다. 특히 어휘와 문법을 파악하는 수준을 넘어 문장 간의 관계를 이해하고 생략된 정보를 복원하는 등 고차원적인 자연어 처리를 지향합니다. 이러한 기술적 토대는 단순히 데이터를 처리하는 수준을 지나 기계가 인간처럼 문맥을 파악하고 지식을 습득하는 핵심적인 역할을 수행하며 미래 인공지능 서비스의 기반이 되고 있습니다. 한국어 분석 기술은 어휘 레벨의 형태소 분석부터 문장 단위의 의존 구문 분석, 그리고 문맥적 의미를 파악하는 의미역 인식까지 체계적으로 이루어집니다. 특히 개체명 인식과 엔티티 정규화 과정은 텍스트 속 고유명사가 위키백과의 어떤 대상과 일치하는지를 정확히 판별하여 지식의 연결을 가능하게 합니다. 또한, 최근에는 뉴스 기사 같은 문어체뿐만 아니라 챗봇이나 AI 스피커에서 주로 쓰이는 구어체 분석 모델까지 개발되었습니다. 이는 기존 모델 대비 오류율을 약 40%가량 개선하여 일상 언어 영역에서도 높은 정확도를 보여주며 다양한 산업 분야에 활발히 도입되고 있습니다. 한국어 특성에 최적화된 범용 언어 모델인 KorBERT는 수십억 개의 형태소를 학습하여 독보적인 성능을 발휘합니다. KorBERT는 형태소 단위와 워드피스 단위 등 용도에 따라 세분화되어 제공되며, 기계 독해나 문장 유사도 분석 같은 응용 기술에서 글로벌 기업의 모델보다 우수한 수치를 입증했습니다. 이러한 기술력은 학계와 산업계에서 널리 인정받고 있으며, 수많은 논문에서 인용되거나 단기간에 수백 건의 기술 이전이 이루어지는 등 실질적인 성과를 거두고 있습니다. 이는 한국어 자연어 처리 기술이 세계적인 수준에 도달했음을 보여주는 지표라고 할 수 있습니다. 심층 질의응답 기술은 사용자의 질문에 대해 단순히 관련 문서를 찾아주는 것을 넘어, 방대한 본문 속에서 정확한 정답을 추출하여 제시합니다. 이 과정에는 시맨틱 검색과 딥러닝 기반의 재순위화 기술이 적용되어, 정답을 포함할 가능성이 높은 단락을 실시간으로 선별해냅니다. 특히 법률이나 기술 문서처럼 전문적인 도메인에서도 뛰어난 성능을 보이며, 복잡한 서술형 질문에 대해서도 정교한 답변을 생성할 수 있습니다. 이는 정보 검색의 효율성을 획기적으로 높여 사용자가 원하는 정보에 도달하는 시간을 단축하고, 기업이나 기관의 업무 생산성을 향상하는 데 결정적인 기여를 합니다. 질의응답 서비스의 신뢰성을 극대화하기 위해서는 정형화된 지식을 관리하는 FAQ 기술의 결합이 필수적입니다. 기계 독해 모델이 문맥상 발생할 수 있는 오답의 위험을 최소화하고, 하이브리드 문장 유사도 분석을 통해 검증된 정보를 제공함으로써 시스템의 안정성을 확보하기 때문입니다. 현재 엑소브레인 기술은 국회도서관의 입법 지원 서비스나 국가과학기술연구회의 법무 자문 등 공공 영역에서 실무적인 성과를 내고 있습니다. 고도화된 한국어 인공지능 기술은 이제 전문 지식 기반의 의사결정을 돕는 지능형 비서로서 우리 사회의 디지털 혁신을 가속화하고 있습니다.

형태소분석

[2021 ETRI Technology Report ①] 인간과 인공지능의 교감시대를 만들어가는 도전

한국전자통신연구원ETRI 테크놀로지 리포트

[2021] 02 엑소브레인 심층 QA 기술

한국전자통신연구원ETRI 아카이브