과학 포털 iKAOS

거대언어모델 개발의 전 과정을 하나로 통합한 플랫폼, AIDE

인공지능(AI) 기술이 산업 전반을 혁신하며 거대언어모델(LLM)의 역할이 나날이 확대되고 있습니다. 방대한 텍스트를 학습해 인간처럼 소통하는 LLM은 무한한 가능성을 지녔지만, 이를 실제로 개발하는 과정은 결코 만만치 않습니다. 데이터의 수집과 정제, 모델 학습과 정교한 평가에 이르기까지 막대한 시간과 비용, 전문 지식이 필수적이기 때문입니다. 이러한 장벽을 허물기 위해 KISTI는 연구자와 기업이 기술적 한계에 부딪히지 않고도 독자적인 언어 모델을 성공적으로 구축할 수 있도록 돕는 강력한 도구를 설계했습니다. 이 플랫폼은 채팅 기능과 사용자의 문서를 활용한 맞춤형 질의응답 시스템인 검색증강생성(RAG) 등 실용적인 도구들을 제공합니다. 특히 2025년에는 단일 머신에서도 구동할 수 있도록 경량화되어 사용자의 편의성을 대폭 높였습니다. 이러한 기술력은 실제 현장에서도 빛을 발하고 있습니다. 국방 분야에서는 행정 및 군수 정비 지원 AI를 구축하고, 위성 운영 분야에서는 시스템 모니터링과 이상 상태 감지에 활용되어 업무 효율성을 극대화하고 있습니다. 이는 사용자가 데이터만 있다면 최첨단 인공지능(AI)을 즉시 실무에 도입하여 성과를 낼 수 있음을 보여줍니다. AIDE는 KISTI의 다른 지능형 플랫폼들과 결합하여 더욱 강력한 시너지를 창출합니다. 과학기술 정보를 직접 검색하는 KISTI-MCP, 문서의 표와 이미지를 종합적으로 분석하는 DOREA, 그리고 25종 이상의 도구로 모델을 공정하게 평가하는 SpectraBench가 그 예입니다. 이러한 통합적인 생태계는 연구 기관과 기업이 안전하고 신속하게 맞춤형 AI를 개발하여 최신 정보를 업무에 반영할 수 있는 최적의 환경을 제공합니다. KISTI는 앞으로도 과학기술 데이터와 인공지능(AI)의 결합을 통해 대한민국의 AI 혁신을 선도하며 미래를 함께 만들어 나갈 계획입니다.

한국과학기술정보연구원키스티 이런 곳입니다👾

융합
공학·기술

EXAONE 3.0 7.8B Instruction Tuned Language Model

LG AI Research는 2021년 GPT-3의 등장 직후부터 거대 언어 모델의 가능성을 예견하고 EXAONE 프로젝트를 시작했습니다. 초기에는 학술적 질문에 답하는 전문가용 모델 개발에 주력하며 RAG 개념을 결합한 성과를 거두었으며, 이러한 기술력을 바탕으로 최근 성능이 대폭 향상된 EXAONE 3.0을 공개했습니다. 이번 모델은 단순한 성능 지표를 넘어 실제 사용자들이 일상에서 체감할 수 있는 실용적인 사용성을 확보하는 데 중점을 두었습니다. 한국어 연구 생태계의 발전을 위해 개방형 연구 문화를 지향하며 누구나 활용 가능한 환경을 구축하고자 노력하고 있습니다. 모델 설계 단계에서는 하드웨어 효율성을 극대화하기 위해 7.8B 매개변수 규모를 선택하고, A100 GPU 한 장으로도 원활한 운용이 가능하도록 최적화했습니다. 특히 그룹 쿼리 어텐션(GQA)을 도입하여 연산 효율을 높였으며, 한국어와 영어를 동시에 처리할 수 있는 10만 개의 어휘 사전을 구축했습니다. 독자적인 토크나이저 기술을 통해 한국어 문장을 다른 글로벌 모델 대비 훨씬 효율적으로 압축함으로써, 동일한 문맥 창 안에서 더 많은 정보를 처리하고 추론 속도를 높이는 강점을 확보했습니다. 이는 한국어 특유의 의미 단위를 세밀하게 반영한 결과입니다. 학습 과정에서는 한정된 컴퓨팅 자원을 극대화하기 위해 데이터의 양보다 품질에 집중하는 전략을 취했습니다. 단순히 방대한 웹 데이터를 넣는 대신, 두 단계의 사전 학습 과정을 거쳐 학술적 가치가 높고 정제된 고품질 데이터를 선별하여 학습시켰습니다. 그 결과 Llama 3.1과 같은 글로벌 모델에 비해 훨씬 적은 토큰 학습량으로도 대등하거나 그 이상의 성능을 발휘할 수 있었습니다. 특히 중복된 저품질 문구를 과감히 제거하고 데이터 문서의 구성력을 엄격하게 평가함으로써 모델의 지능적 깊이를 더했으며, 이는 한국어와 영어 두 영역 모두에서 균형 잡힌 성장을 이끌어냈습니다. 사후 학습 단계에서는 지시 이행 능력을 강화하기 위한 SFT와 사용자 친화적인 답변 생성을 돕는 DPO 알고리즘을 적용했습니다. 특히 한국어 성능을 객관적으로 검증하기 위해 전문 번역가의 검수를 거친 Ko-MT-Bench를 제작하여 평가에 활용했으며, 실제 사용자 지시를 수행하는 '실제 사용 사례' 항목에서 압도적인 성과를 기록했습니다. 8B 이하 규모의 공개 모델 중에서는 최고 수준의 점수를 획득하며 한국어 특화 모델로서의 입지를 굳혔고, 수학적 추론이나 코딩 능력에서도 경쟁력 있는 지표를 보여주며 다양한 응용 가능성을 입증했습니다. 기술적 성취뿐만 아니라 AI 윤리와 신뢰성 확보에도 심혈을 기울였습니다. 사내 전담 팀과 법률 전문가를 통해 데이터 저작권과 개인 정보 보호 문제를 철저히 점검하고 있으며, 한국지능정보사회진흥원의 신뢰성 평가에서 GPT-4와 대등한 수준을 인정받았습니다. 허깅페이스를 통해 공개된 이번 모델은 이미 많은 연구자에 의해 양자화 모델로 제작되거나 다른 기술과 결합하며 오픈 소스 생태계의 이점을 톡톡히 누리고 있습니다. 앞으로도 사용자들의 피드백을 적극적으로 수용하여 더욱 안전하고 고도화된 모델을 지속적으로 선보일 계획입니다.

한국전자통신연구원오픈소스 테크데이

수학
융합
공학·기술

BeeAI 활용 교육 영상 (03) - [2단계] 데이터 배치 처리하기

데이터 분석의 여정은 수집된 데이터를 적재하는 것에서 시작되어 본격적인 처리 단계로 이어집니다. 적재된 데이터가 여러 테이블로 분산되어 있다면 가장 먼저 수행해야 할 작업은 리소스를 하나로 합치는 병합 과정입니다. 조인 기술을 활용해 흩어진 정보를 통합하고, 데이터의 형태는 동일하지만 구조가 다른 경우를 정제하여 분석이 가능한 상태로 만듭니다. 이 과정에서 중복된 데이터를 제거하고 결측치(Missing Value)나 이상치(Outlier)를 처리하는 전처리 작업은 데이터의 신뢰성을 확보하는 핵심적인 기초 공사가 됩니다. 정제된 데이터는 그대로 학습에 사용되기보다는 학습 효율을 고려해 축소하는 과정을 거치기도 합니다. 이는 컴퓨팅 리소스를 관리하고 학습 속도를 높이기 위한 필수적인 단계입니다. 특히 피처(Feature)의 수가 과도하게 많으면 모델이 학습 데이터에만 과하게 최적화되는 오버피팅(Overfitting) 현상이 발생할 수 있습니다. 이를 방지하기 위해 차원 축소 기법을 도입하거나 고품질의 모델 생성을 위해 변수 변환과 피처 엔지니어링(Feature Engineering)을 반복 수행하며 데이터의 전반적인 품질을 높여나가는 것이 일반적인 절차입니다. 데이터 처리 API는 이러한 일련의 과정을 효율적으로 지원하는 다양한 오퍼레이터를 제공합니다. 파일 병합이나 그룹화(Group By) 기능은 물론, 결측치(Missing Value)를 평균값이나 중앙값으로 대체하는 클렌징 오퍼레이터들이 대표적입니다. 결측치 처리 방식은 연구 분야가 매우 방대하여 상황에 따라 삭제하거나 특정 값으로 채우는 등 다양한 전략이 사용됩니다. 또한 시계열 데이터의 경우에는 분이나 시간 단위로 데이터를 축약하여 통계적 의미를 도출하는 유틸리티를 활용함으로써 데이터가 지닌 시간적 특성을 분석에 용이하게 변환할 수 있습니다. 데이터 처리가 스파크(Spark) 기반으로 이루어질 때는 데이터 타입 관리에 매우 유의해야 합니다. 기계는 사람이 보는 것과 달리 데이터의 위치나 형식을 엄격하게 구분하기 때문입니다. 예를 들어 타임스탬프 정보가 문자열로 적재되면 필터링이 제대로 작동하지 않을 수 있습니다. 스파크(Spark)는 데이터를 읽어올 때 타입을 추론하는 기능을 갖추고 있지만, 정확한 연산을 위해 사용자가 직접 타입을 변환하는 타입 캐스팅(Type Casting) 과정이 빈번하게 발생합니다. 이는 산술 연산이나 복잡한 쿼리 처리를 위한 필수적인 준비 단계라 할 수 있습니다. 특정 조건을 만족하는 데이터만을 추출하는 필터링 기능은 분석의 정밀도를 높여줍니다. 단순한 수치 비교부터 문자열 패턴 매칭, 그리고 특정 시간 범위를 지정하는 시계열 필터까지 다양한 방식이 활용됩니다. 특히 SQL 쿼리를 직접 사용하여 데이터를 조작하거나 전체 데이터 중 일부만을 무작위로 추출하는 샘플링 기법은 대규모 데이터셋을 다룰 때 매우 유용합니다. 이러한 기능들을 조합하면 수만 개의 행(Row)으로 이루어진 복잡한 데이터에서도 분석 목적에 부합하는 핵심 정보만을 효과적으로 추려낼 수 있습니다. 머신러닝 모델에 데이터를 입력하기 전에는 수치형 데이터로의 변환이 반드시 필요합니다. 스파크 ML(Spark ML)은 문자열 레이블이 포함될 경우 오류를 발생시키므로, 문자열 인덱서(String Indexer)를 통해 카테고리 데이터를 숫자로 변환하는 과정을 거칩니다. 또한 여러 피처(Feature) 컬럼(Column)을 하나의 벡터로 통합하는 벡터 어셈블러(Vector Assembler) 작업은 모델이 데이터를 인식할 수 있도록 만드는 필수 단계입니다. 원-핫 인코딩(One-Hot Encoding)이나 데이터 분할(Split)을 통해 학습용과 테스트용 데이터를 분리하는 작업까지 완료되어야 비로소 실질적인 모델 학습을 위한 준비가 끝났다고 볼 수 있습니다. 실제 환경에서는 이러한 일련의 과정이 워크플로우 형태로 구성되어 자동화됩니다. HDFS와 같은 분산 저장소에서 데이터를 불러와 전처리 오퍼레이터를 거친 뒤, K-평균(K-means) 군집화와 같은 알고리즘을 적용하여 결과를 도출하는 방식입니다. 사용자는 모니터링 페이지를 통해 전체 처리 과정을 실시간으로 확인하고, 작업이 완료되면 히스토리를 통해 분류 결과나 통계치를 텍스트 형태로 상세히 점검할 수 있습니다. 이러한 체계적인 데이터 처리 파이프라인은 복잡한 데이터로부터 가치 있는 통찰을 얻어내는 강력한 도구가 됩니다.

한국전자통신연구원

수학
융합
공학·기술