EXAONE 3.0 7.8B Instruction Tuned Language Model
LG AI Research는 2021년 GPT-3의 등장 직후부터 거대 언어 모델의 가능성을 예견하고 EXAONE 프로젝트를 시작했습니다. 초기에는 학술적 질문에 답하는 전문가용 모델 개발에 주력하며 RAG 개념을 결합한 성과를 거두었으며, 이러한 기술력을 바탕으로 최근 성능이 대폭 향상된 EXAONE 3.0을 공개했습니다. 이번 모델은 단순한 성능 지표를 넘어 실제 사용자들이 일상에서 체감할 수 있는 실용적인 사용성을 확보하는 데 중점을 두었습니다. 한국어 연구 생태계의 발전을 위해 개방형 연구 문화를 지향하며 누구나 활용 가능한 환경을 구축하고자 노력하고 있습니다. 모델 설계 단계에서는 하드웨어 효율성을 극대화하기 위해 7.8B 매개변수 규모를 선택하고, A100 GPU 한 장으로도 원활한 운용이 가능하도록 최적화했습니다. 특히 그룹 쿼리 어텐션(GQA)을 도입하여 연산 효율을 높였으며, 한국어와 영어를 동시에 처리할 수 있는 10만 개의 어휘 사전을 구축했습니다. 독자적인 토크나이저 기술을 통해 한국어 문장을 다른 글로벌 모델 대비 훨씬 효율적으로 압축함으로써, 동일한 문맥 창 안에서 더 많은 정보를 처리하고 추론 속도를 높이는 강점을 확보했습니다. 이는 한국어 특유의 의미 단위를 세밀하게 반영한 결과입니다. 학습 과정에서는 한정된 컴퓨팅 자원을 극대화하기 위해 데이터의 양보다 품질에 집중하는 전략을 취했습니다. 단순히 방대한 웹 데이터를 넣는 대신, 두 단계의 사전 학습 과정을 거쳐 학술적 가치가 높고 정제된 고품질 데이터를 선별하여 학습시켰습니다. 그 결과 Llama 3.1과 같은 글로벌 모델에 비해 훨씬 적은 토큰 학습량으로도 대등하거나 그 이상의 성능을 발휘할 수 있었습니다. 특히 중복된 저품질 문구를 과감히 제거하고 데이터 문서의 구성력을 엄격하게 평가함으로써 모델의 지능적 깊이를 더했으며, 이는 한국어와 영어 두 영역 모두에서 균형 잡힌 성장을 이끌어냈습니다. 사후 학습 단계에서는 지시 이행 능력을 강화하기 위한 SFT와 사용자 친화적인 답변 생성을 돕는 DPO 알고리즘을 적용했습니다. 특히 한국어 성능을 객관적으로 검증하기 위해 전문 번역가의 검수를 거친 Ko-MT-Bench를 제작하여 평가에 활용했으며, 실제 사용자 지시를 수행하는 '실제 사용 사례' 항목에서 압도적인 성과를 기록했습니다. 8B 이하 규모의 공개 모델 중에서는 최고 수준의 점수를 획득하며 한국어 특화 모델로서의 입지를 굳혔고, 수학적 추론이나 코딩 능력에서도 경쟁력 있는 지표를 보여주며 다양한 응용 가능성을 입증했습니다. 기술적 성취뿐만 아니라 AI 윤리와 신뢰성 확보에도 심혈을 기울였습니다. 사내 전담 팀과 법률 전문가를 통해 데이터 저작권과 개인 정보 보호 문제를 철저히 점검하고 있으며, 한국지능정보사회진흥원의 신뢰성 평가에서 GPT-4와 대등한 수준을 인정받았습니다. 허깅페이스를 통해 공개된 이번 모델은 이미 많은 연구자에 의해 양자화 모델로 제작되거나 다른 기술과 결합하며 오픈 소스 생태계의 이점을 톡톡히 누리고 있습니다. 앞으로도 사용자들의 피드백을 적극적으로 수용하여 더욱 안전하고 고도화된 모델을 지속적으로 선보일 계획입니다.
