과학 포털 iKAOS

ETRI Conference 2022 인공지능연구소 02. 엑소브레인

엑소브레인은 인간의 언어 이해 방식을 모사하여 텍스트에 담긴 의미를 심층적으로 분석하는 한국어 인공지능 기술입니다. 이 기술은 어휘, 문장, 문장 간 관계를 아우르는 이해의 폭과 심벌, 구문, 의미 레벨을 관통하는 이해의 깊이를 두 축으로 삼아 구성되었습니다. 특히 형태소 분석부터 의존 구문 분석, 의미역 인식에 이르기까지 정교한 세부 기술들이 유기적으로 결합되어 한국어의 복잡한 문법과 의미 구조를 정확하게 파악합니다. 이러한 기술적 토대는 인공지능이 인간처럼 자연스럽게 정보를 처리하고 대화할 수 있게 만드는 핵심적인 밑거름이 됩니다. 한국어 분석 과정은 문장 분리에서 시작하여 형태소 분석과 개체명 인식을 거치며 점진적으로 고도화됩니다. 엔터티 정규화 기술은 문서 내의 서로 다른 명칭들이 동일한 대상을 지칭함을 인식하여 정보의 일관성을 확보해 줍니다. 또한 동음이의어 분석을 통해 다각적인 의미를 지닌 단어 중 문맥에 맞는 정확한 뜻을 추출하고, 문장을 트리 구조로 변환하는 의존 구문 분석을 통해 단어 간의 연관 관계를 규명합니다. 이러한 체계적인 분석 흐름은 엑소브레인이 한국어 언어 분석 분야의 국가 표준 기술로 자리매김하는 강력한 원동력이 되었습니다. 본격적인 발전을 거듭한 KoBERT 모델은 대규모 비정형 데이터를 사전에 학습하는 범용적 언어 모델로, 특정 작업에 국한되지 않고 다양한 자연어 처리 분야에 적용될 수 있는 2세대 AI 기술의 정수입니다. 약 15년 치 뉴스 데이터와 수십억 개의 형태소를 학습한 이 모델은 한국어의 특성을 완벽히 반영하며, 글로벌 기업의 모델보다도 뛰어난 정확도를 입증했습니다. 특히 형태소 단위의 세밀한 학습을 통해 문장 분류나 기계 독해 등 실무적인 응용 분야에서 기존 모델 대비 획기적인 성능 향상을 이끌어내며 학계와 산업계의 큰 주목을 받고 있습니다. 기계 독해 기술은 질문에 대한 답을 방대한 단락 내에서 스스로 찾아내는 고도의 인공지능 역량을 요구합니다. 엑소브레인은 단순한 단답형 답변을 넘어 서술형 답변까지 가능한 수준으로 진화했으며, 학습하지 않은 도메인에서도 일정한 성능을 유지하는 일반화 능력을 갖추었습니다. 이와 더불어 두 문장의 의미적 유사도를 판별하는 기술은 정보 검색의 정확도를 극대화합니다. 사용자가 입력한 자연어 질문의 의도를 정확히 파악하고, 수많은 문서 중에서 가장 적합한 정보를 추출하여 제시하는 과정은 현대 검색 엔진이 지향하는 심층 질의응답의 핵심 요소입니다. 엑소브레인의 심층 질의응답 기술은 현재 법령 정보 서비스와 같은 전문적인 영역에서 실질적인 성과를 거두고 있습니다. 특히 국회도서관의 입법 지원 서비스에 도입되어 복잡한 법률 문서 속에서 정확한 답을 찾아냄으로써 업무 효율성을 획기적으로 개선하고 있습니다. 또한 기계 독해의 한계를 보완하기 위해 FAQ 기술을 하이브리드 방식으로 적용함으로써, 사회적으로 민감한 이슈나 고정된 정답이 필요한 경우에도 신뢰할 수 있는 정보를 제공합니다. 이처럼 엑소브레인은 단순한 연구 단계를 넘어 우리 사회의 지식 인프라를 지탱하는 실용적인 인공지능으로 발전하고 있습니다.

한국전자통신연구원ETRI 컨퍼런스

뇌인지과학
공학·기술

[2021] 02 엑소브레인 심층 QA 기술

엑소브레인은 인간의 언어 이해 방식을 모사하여 텍스트의 의미를 정밀하게 분석하는 인공지능 기술입니다. 이 기술은 크게 한국어 분석, 딥러닝 언어 모델, 그리고 기계 독해 기반의 심층 질의응답이라는 세 가지 축으로 구성됩니다. 특히 어휘와 문법을 파악하는 수준을 넘어 문장 간의 관계를 이해하고 생략된 정보를 복원하는 등 고차원적인 자연어 처리를 지향합니다. 이러한 기술적 토대는 단순히 데이터를 처리하는 수준을 지나 기계가 인간처럼 문맥을 파악하고 지식을 습득하는 핵심적인 역할을 수행하며 미래 인공지능 서비스의 기반이 되고 있습니다. 한국어 분석 기술은 어휘 레벨의 형태소 분석부터 문장 단위의 의존 구문 분석, 그리고 문맥적 의미를 파악하는 의미역 인식까지 체계적으로 이루어집니다. 특히 개체명 인식과 엔티티 정규화 과정은 텍스트 속 고유명사가 위키백과의 어떤 대상과 일치하는지를 정확히 판별하여 지식의 연결을 가능하게 합니다. 또한, 최근에는 뉴스 기사 같은 문어체뿐만 아니라 챗봇이나 AI 스피커에서 주로 쓰이는 구어체 분석 모델까지 개발되었습니다. 이는 기존 모델 대비 오류율을 약 40%가량 개선하여 일상 언어 영역에서도 높은 정확도를 보여주며 다양한 산업 분야에 활발히 도입되고 있습니다. 한국어 특성에 최적화된 범용 언어 모델인 KorBERT는 수십억 개의 형태소를 학습하여 독보적인 성능을 발휘합니다. KorBERT는 형태소 단위와 워드피스 단위 등 용도에 따라 세분화되어 제공되며, 기계 독해나 문장 유사도 분석 같은 응용 기술에서 글로벌 기업의 모델보다 우수한 수치를 입증했습니다. 이러한 기술력은 학계와 산업계에서 널리 인정받고 있으며, 수많은 논문에서 인용되거나 단기간에 수백 건의 기술 이전이 이루어지는 등 실질적인 성과를 거두고 있습니다. 이는 한국어 자연어 처리 기술이 세계적인 수준에 도달했음을 보여주는 지표라고 할 수 있습니다. 심층 질의응답 기술은 사용자의 질문에 대해 단순히 관련 문서를 찾아주는 것을 넘어, 방대한 본문 속에서 정확한 정답을 추출하여 제시합니다. 이 과정에는 시맨틱 검색과 딥러닝 기반의 재순위화 기술이 적용되어, 정답을 포함할 가능성이 높은 단락을 실시간으로 선별해냅니다. 특히 법률이나 기술 문서처럼 전문적인 도메인에서도 뛰어난 성능을 보이며, 복잡한 서술형 질문에 대해서도 정교한 답변을 생성할 수 있습니다. 이는 정보 검색의 효율성을 획기적으로 높여 사용자가 원하는 정보에 도달하는 시간을 단축하고, 기업이나 기관의 업무 생산성을 향상하는 데 결정적인 기여를 합니다. 질의응답 서비스의 신뢰성을 극대화하기 위해서는 정형화된 지식을 관리하는 FAQ 기술의 결합이 필수적입니다. 기계 독해 모델이 문맥상 발생할 수 있는 오답의 위험을 최소화하고, 하이브리드 문장 유사도 분석을 통해 검증된 정보를 제공함으로써 시스템의 안정성을 확보하기 때문입니다. 현재 엑소브레인 기술은 국회도서관의 입법 지원 서비스나 국가과학기술연구회의 법무 자문 등 공공 영역에서 실무적인 성과를 내고 있습니다. 고도화된 한국어 인공지능 기술은 이제 전문 지식 기반의 의사결정을 돕는 지능형 비서로서 우리 사회의 디지털 혁신을 가속화하고 있습니다.

한국전자통신연구원ETRI 아카이브

뇌인지과학
융합
공학·기술

[2020] 03 엑소브레인 일반 법률분야 심층 질의 응답v2

엑소브레인은 한국전자통신연구원(ETRI)에서 개발한 인공지능 기술로, 과거 인간과의 지식 대결에서 당당히 우승을 차지하며 그 우수성을 증명한 바 있습니다. 이 기술의 대표적인 기능 중 하나는 한국어 지식검색입니다. 사용자가 문서 편집 소프트웨어를 사용하다가 생소한 정보나 상식을 찾아야 할 때, 포털 사이트를 따로 방문하지 않고도 즉석에서 필요한 내용을 검색하여 편집 중인 문서에 바로 반영할 수 있도록 지원합니다. 이는 사용자의 맥락을 이해하고 필요한 데이터를 정교하게 추출해냄으로써 업무의 연속성과 효율성을 획기적으로 개선하는 역할을 수행합니다. 엑소브레인은 일반 상식뿐만 아니라 법률과 같은 고도의 전문 분야에서도 탁월한 지능을 발휘합니다. 예를 들어 복잡한 질병의 증상에 대한 질문에 정확한 정보를 찾아 제시하거나, 국회법과 같은 전문 법령을 분석하여 구체적인 공고 기한 등을 정확히 안내해 줍니다. 엑소브레인은 사용자의 질문을 정의형, 관계형, 독해형으로 세밀하게 구분하고 각각의 유형에 최적화된 알고리즘을 적용하여 최선의 정답을 도출합니다. 이러한 다각적인 질의응답 프로세스는 정보의 정확도를 극대화하며, 단순한 검색을 넘어선 진정한 의미의 지식 서비스를 구현하고 있습니다. ETRI는 기술의 공유와 확산을 위해 오픈 API를 공개하여 국내 인공지능 생태계 활성화에 앞장서고 있습니다. 특히 독자적으로 개발한 KorBERT는 글로벌 대기업의 모델보다 우수한 성능을 기록하며 이미 수천 개의 기관에서 활발하게 활용되고 있습니다. 매일 수만 건에 달하는 API 요청이 처리되고 있으며, 수십 건의 기술 이전과 사업화 성과를 통해 그 실용성을 입증했습니다. 기계 독해 챌린지 1위 달성이라는 쾌거는 엑소브레인이 세계적 수준에 도달했음을 보여주는 지표입니다. 앞으로도 상용화 기술을 더욱 고도화하여 지능형 서비스 발전에 기여할 전망입니다.

한국전자통신연구원

뇌인지과학
융합
공학·기술

BeeAI 공모전 교육 영상(11) - 융합서빙(134~148p)

KSB AI+ 9.0은 인공지능 모델의 학습과 서빙을 체계적으로 관리할 수 있는 강력한 플랫폼입니다. 사용자 매뉴얼은 엔진의 구조와 개념부터 구체적인 회원가입 절차와 UI 활용법까지 상세히 안내하며, 초보자도 쉽게 시스템에 적응할 수 있도록 돕습니다. 특히 8가지 엔진 유형을 통해 배치 방식과 스트림 방식의 처리 과정을 한눈에 파악할 수 있으며, CPU와 GPU 자원을 효율적으로 활용하여 복잡한 연산 작업을 수행할 수 있는 기반을 제공합니다. 이러한 체계적인 구성은 복잡한 AI 프로젝트의 초기 진입 장벽을 낮추는 데 큰 기여를 합니다. 실시간 데이터 처리를 위한 스트림 엔진은 구조화된 스트리밍 기술을 기반으로 구현되어 있습니다. 이를 통해 워터마크나 체크포인트 같은 정교한 기능을 활용할 수 있으며, IoT 디바이스에서 유입되는 정제되지 않은 로우 데이터를 신속하고 정확하게 변환할 수 있습니다. 예를 들어, 교통 속도 센서에서 들어오는 데이터를 실시간으로 분석하여 1분 혹은 5분 단위의 평균 속도를 예측하는 모델은 도시 교통 관제 시스템 등에 즉각적으로 적용될 수 있는 실무적인 예시입니다. 데이터의 전 주기를 관리하는 이러한 방식은 실시간 대응이 필요한 현대 인공지능 서비스의 핵심 요소로 자리 잡고 있습니다. 파이썬 사용자 정의 함수(UDF)를 활용하면 복잡한 로직도 손쉽게 REST API 형태로 변환할 수 있습니다. 사용자가 작성한 코드는 도커 이미지로 자동 생성되어 특정 포트를 통해 서비스되며, 이는 모델의 배포와 확장을 매우 간편하게 만듭니다. 또한 AutoML이나 텐서플로우와 같은 외부 프레임워크와의 연동을 지원하는 익스터널 엔진은 개발자가 익숙한 도구를 활용하면서도 플랫폼의 강력한 관리 기능을 동시에 누릴 수 있게 합니다. 이러한 유연한 연동 구조는 다양한 요구사항을 가진 프로젝트 환경에서 모델의 가치를 극대화하고 개발 효율성을 높이는 중요한 역할을 수행합니다. 융합 서빙은 개별적으로 작동하는 여러 모델이나 외부 오픈 API를 유기적으로 연결하여 더욱 지능화된 서비스를 창출하는 고도화된 기술입니다. 이는 단순히 하나의 모델이 결과를 도출하는 것을 넘어, 언어 지능이나 시각 지능 같은 다양한 모듈을 조합하여 복잡한 문제를 해결할 수 있게 합니다. 온디맨드 파이프 서빙 엔진을 활용하면 여러 개의 REST API를 파이프라인으로 연결하여 일련의 처리 과정을 자동화할 수 있으며, 이는 사용자에게 더욱 완성도 높은 인공지능 응답을 제공하는 기반이 됩니다. 결과적으로 서비스의 유연성과 확장성을 획기적으로 높여 차세대 지능형 서비스 구축을 가능하게 합니다. 구체적인 활용 사례로 외부의 엑소브레인 오픈 API와 내부 모델을 결합한 건물 에너지 제어 서비스를 들 수 있습니다. 자연어로 입력된 사용자의 요구사항을 대화 처리 및 기계 독해 API를 통해 분석하고, 여기서 추출된 핵심 키워드를 바탕으로 적절한 제어 로직을 실행하는 구조입니다. 예를 들어 날씨 정보나 사용자의 의도를 파악하여 '맑은 날' 혹은 '흐린 날'에 최적화된 모델로 요청을 라우팅함으로써 에너지를 효율적으로 관리할 수 있습니다. 이러한 방식은 파편화된 기술들을 하나의 완성된 비즈니스 시나리오로 통합하는 인공지능 서비스 개발의 정수를 보여주는 좋은 예시입니다. 융합 서빙의 핵심은 지능적인 라우트 매핑 기술에 있습니다. 입력된 데이터의 특성에 따라 인덱스 값을 부여하고, 이를 바탕으로 서로 다른 모델로 작업을 배정하는 과정은 시스템의 효율성을 극대화합니다. 맑은 날씨에는 특정 조건에 따라 환기를 권고하고, 추운 날씨에는 창문을 닫도록 유도하는 등의 세밀한 제어가 가능해지는 것입니다. 오퍼레이터들이 체인처럼 연결되어 요청과 응답을 주고받는 과정은 복잡한 데이터 흐름을 체계적으로 제어할 수 있게 하며, 이는 개발자가 복잡한 백엔드 인프라를 직접 구축하지 않고도 수준 높은 마이크로서비스 아키텍처를 구현할 수 있도록 돕습니다. 마지막으로 데이터 생성부터 전처리, 학습, 예측, 결과 저장에 이르는 엔드 투 엔드 시나리오는 인공지능 서비스의 전체 생명주기를 완성합니다. 실시간으로 유입되는 데이터를 기반으로 모델이 주기적으로 재학습되고, 새롭게 학습된 모델이 서비스 중단 없이 즉각적으로 교체되어 적용되는 과정은 플랫폼의 자동화 역량을 입증합니다. 모델 자동 갱신(Auto Reload) 기능을 통해 신규 모델을 감지하고 서빙에 반영함으로써, 변화하는 환경 데이터에 기민하게 대응하는 진정한 의미의 지능형 시스템 구축이 가능해집니다. 이러한 전 주기 통합 관리 환경은 미래 인공지능 산업에서 강력한 경쟁력이 될 것입니다.

한국전자통신연구원ETRI 클래스

융합
공학·기술